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“本 书 是 算法 领域 的 一 部 经 由 党 作 ， 书 中 系统 、 全 面 地 介绍 了 现代 算法 : 从 最 快 算法 和 数据 结构 到 用 于 
看 似 难 以 解决 问题 的 多 项 式 时 间 算 法 ; 从 图 论 中 的 经 典 算 法 到 用 于 全 符 串 匹配 、 计 算 儿 何 党 和 数论 的 特 处 
算法 ”本 书 第 3 版 尤其 增加 了 两 党 专门 讨论 van Emde Boas 树 (最 有 用 的 数据 结构 之 一 ) 和 多 线程 算法 CH 
从 重要 的 一 个 让 题 ) 

一 一 Daniel Spielman， 耶 鲁 大 学 计算 机 科学 系 教授 


“作为 个 在 算法 领 碾 有 善 近 30 年 教育 和 研究 经 验 的 教育 次 和 研究 大 员 ， 我 可 以 清楚 明 听 地 说 这 本 书 是 
我 所 见 到 的 该 领域 最 好 的 教材 ， 它 对 算法 给 出 了 清晰 透彻 、 焉 科 全 书 式 的 闲 述 我 们 将 继续 使 用 这 本 书 的 
新 版 作为 研究 生 和 本 科 生 的 教材 及 参 鞭 书 


一 一 Gabriel Robins， 弗 吉 尼 亚 大 学 计算 机 科学 系 教授 


在 有 关 算 法 的 书 中 ， 有 一 些 叙述 非常 严谨 ， 但 不 够 全 面 ; 另 一 些 涉及 了 大 量 的 题材 ， 但 又 缺乏 严谨 
性 。 本 书 将 严谨 性 和 全 面 性 融 为 一 体 ， 深 入 讨论 各 类 算法 ， 并 着 力 使 这 些 算法 的 设计 和 分 析 能 为 各 个 层次 
的 读者 接受 。 全 书 各 章 自 成 体系 ， 可 以 作为 独立 的 学 习 单元 ; 算法 以 英语 和 伪 代 码 的 形式 描述 ， 具 备 初步 
程序 设计 经 验 的 人 就 能 看 懂 ; 说 明和 解释 力求 浅显 易 懂 ， 不 失 深度 和 数学 严谨 性 


第 3 版 的 主要 变化 : 
e 新 增 了 van Emde Boas 树 和 多 线程 算法 ， 并 且 将 和 矩阵 基础 移 至 附录 
o 修订 了 递归 式 ( 现在 称 为 “分 治 策略 ” ) 那 一 章 的 内 容 ， 更 广泛 地 覆盖 分 治 法 
e 移 除 两 章 很 少 讲授 的 内 容 : 二 项 堆 和 排序 网 络 
o 修订 了 动态 规划 和 贪心 算法 相关 内 容 
o 由 于 关于 和 矩阵 基础 和 Strassen 算 法 的 材料 移 到 了 其 他 章 ， 和 矩阵 运算 这 一 章 的 内 容 所 占 篇 幅 更 小 
e 修改 了 对 Knuth-Morris-Pratt 字 符 串 匹配 算法 的 讨论 
o 新 增 100 道 练习 和 28 道 思考 题 ， 还 更 新 并 补充 了 参考 文献 
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本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 性 的 介绍 。 全 书 共 八 部 分 ， 内 容 涵 
, 盖 基 础 知识 、 排 序 和 顺序 统计 量 、 数 据 结构 、 高 级 设计 和 分 析 技 术 、 高 级 数据 结构 、 图 算法 、 
算法 问题 选编 ， 以 及 数学 基础 知识 。 书 中 深入 浅 出 地 介绍 了 大 量 的 算法 及 相关 的 数据 结构 ， 
以 及 用 于 解决 一 些 复杂 计算 问题 的 高 级 策略 〈 如 动态 规划 、 贪 心算 法 、 摊 还 分 析 等 )， 重 点 在 
于 算法 的 分 析 与 设计 。 对 于 每 一 个 专题 ， 作 者 都 试图 提供 目前 最 新 的 研究 成 果 及 样 例 解 答 ， 
并 通过 清晰 的 图 示 来 说 明 算法 的 执行 过 程 。 此 外 ， 全 书包 含 957 道 练习 和 158 道 思 考题 ， 并 且 
作者 在 网 站 上 给 出 了 部 分 题 的 答案 。 

本 书 内 容 丰 富 ， 叙 述 深 入 浅 出 ， 适 合作 为 计算 机 及 相关 专业 本 科 生 数据 结构 课程 和 研究 
生 算法 课程 的 教材 ， 同 时 也 适合 专业 技术 人 员 参 考 使 用 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 的 各 
个 领域 取得 了 垄断 性 的 优势 ; 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 家 辈 
出 、 独 领 风 骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 学 科 中 的 
许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科 学 著作 ， 不 仅 忌 划 了 研究 的 
范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 因 年 月 的 流逝 而 
减退 。 

近年 ， 在 全 球 信 息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 日 益 迫 
切 。 这 对 计算 机 教育 界 和 出 版 界 既是 机 遇 ， 也 是 挑战 ;而 专业 教材 的 建设 在 教育 战略 上 显得 举 足 
轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国 家 在 其 计算 机 科学 发 展 的 几 十 年 
间 积 淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计算 机 教材 将 对 我 
国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 的 世界 一 流 大 学 的 
必由之路 。 

机 械 工业 出 版 社 华 章 公司 较 早 意识 到 “出 版 要 为 教育 服务 >”。 自 1998 年 开始 ， 我 们 就 将 工作 
重点 放 在 了 遂 选 、 移 译 国 外 优秀 教材 上。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson, McGraw- Hill, 
Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 良好 的 合作 关系 ， 从 他 
们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S Tanenbaum, Bjarne Stroustrup, Brain W. Kernighan, Den- 
nis Ritchie, Jim Gray, Afred V. Aho, John E. Hopcroft, Jeffrey D. Ullman, Abraham Silbers- 
chatz, William Stallings, Donald E. Knuth, John L. Hennessy, Larry L. Peterson 等 大 师 名 家 的 
一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 大 理 石 纹理 的 封 
面 ， 也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 相助 ， 国 内 的 专家 不 仅 提供 了 中 肯 
的 选 题 指导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ;而 原 书 的 作者 也 相当 关注 其 作品 在 中 国 
的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 两 百 个 品种 ， 
这 些 书籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 其 影印 版 “经 
典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 图 书 
有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 深化 ， 教 
育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 和 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 而 反馈 
的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公 司 欢迎 老师 和 读者 对 我 们 的 工作 提出 建 
议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 
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我 从 1994 年 开始 每 年 都 为 本 科 生 讲授 “算法 设计 与 分 析 ” 课 程 ， 粗 略 地 统计 一 下 ， 发 现 至 
今 已 有 5 000 余 名 各 类 学 生 听 过 该 课 。 算 法 的 重要 性 不 言 而 喻 ， 因 为 不 管 新 概念 、 新 方法 、 新 理 
论 如 何 引 人 注目 ， 信 息 的 表示 与 处 理 总 是 计算 技术 〈 含 软件 、 硬 件 、 应 用 、 网 络 、 安 全 、 智 能 
等 ) 永恒 的 主题 。 信 息 处 理 的 核心 是 算法 。 在 大 数据 时 代 ， 设 计 高 效 的 算法 显得 格外 重要 。 

当初 ， 为 了 教 好 这 门 基础 必修 课 ， 提 高 教学 质量 ， 我 觉得 应 该 从 教学 内 容 的 改革 人 手 ， 具 体 
来 说 ， 采 用 的 教材 应 该 与 国际 一 流 大 学 接轨 。1997 年 访 美 期 间 ， 在 Stanford 大 学 了 解 到 他 们 采 
用 的 教材 是 Thomas H. Cormen 等 人 著 的 《Introduction to Algorithms》， 于 是 从 Stanford 书店 买 
了 一 本 带 回 来 ， 从 第 二 年 开始 便 改 用 该 书 作 为 教材 。 至 今 ，15 年 过 去 了 ， 我 们 一 直 追 随 其 变迁 ， 
从 第 2 版 到 第 3 版 。 教 学 实践 证 明 它 确实 是 一 本 好 教材 ， 难怪 志 界 范围 内 包括 MIT. CMU, 
Stanford, UCB, Cornell, UIUC 等 国际 、 国 内 名 校 在 内 的 1000 余 所 大 学 都 一 直 用 它 作 为 教材 或 
教学 参考 书 ， 也 难怪 它 印 数 巨 大 且 在 《高 引用 计算 机 科学 文献 》( (Most Cited Computer Science 
Citations)) 一 览 表 中 名 列 前 茅 。 

这 本 书 的 原版 有 1 200 多 页 ， 内 容 非 常 丰富 ， 不 但 涵盖 了 典型 算法 、 算 法 分 析 、 算 法 设计 方法 
和 NP 完全 等 内 容 ， 而 且 还 包括 数据 结构 ， 其 至 高 级 数据 结构 的 介绍 。 后 者 可 以 作为 国内 “数据 结 
构 ” 课 程 的 教材 或 教学 参考 资料 。 在 学 时 有 限 的 情况 下 ， 要 在 本 科 阶 段 教 完 前 者 的 所 有 内 容 也 是 困难 
的 ， 故 要 做 取舍 。 好 在 该 书 的 各 个 章节 相对 独立 且 难 度 由 浅 和 人 深 ， 我 们 的 做 法 是 将 相对 容易 的 、 一 般 
的 入 门 性 内 容留 在 本 科 阶 段 ， 而 将 相对 难 的 、 专 门 的 、 较 深入 的 内 容 并 入 研究 生 课 程 “ 算 法 及 复杂 
性 ”或 “计算 复杂 性 ”。 除 本 校外 ， 本 人 就 曾 多 次 应 邀 在 兰州 大 学 、 湖 南大 学 和 浙江 师范 大 学 等 院 校 
为 研究 生 讲授 过 这 些 内 容 。 其 实 该 书 也 适合 希望 增强 自身 程序 设计 能 力 和 程序 评判 能 力 的 广大 应 用 计 
算 技 术 的 社会 公众 ， 特 别 是 参加 信息 学 奥林匹克 竞赛 和 ACM 程序 设计 竞赛 的 选手 及 其 教练 员 。 

在 教学 过 程 中 ， 我们 发 现 该 书 具 有 以 下 特点 : 1) 选材 与 时 俱 进 ， 具 有 实用 性 且 能 引起 读者 
的 兴趣 。 该 书 中 研究 的 许多 问题 都 是 当前 现实 应 用 中 的 关键 技术 问题 。2) 采用 伪 代 码 描述 算法 ， 
既 简洁 易 懂 又 便于 抓 住 本 质 ， 再 配 上 丰富 的 插图 来 描述 和 解释 算法 的 执行 过 程 ， 使 得 教学 内 容 
更 加 通俗 ， 便 于 自学 。3) 对 算法 正确 性 和 复杂 度 的 分 析 比 较 全 面 ， 既 有 严密 的 论证 ， 又 有 直观 
的 解释 。4) 既 有 结论 性 知识 的 介绍 ， 也 有 逐步 导出 结论 的 研究 过 程 的 展示 。5) 丰富 的 练习 题 和 
思考 题 使 得 及 时 检验 所 学 知识 掌握 情况 和 进一步 拓展 学 习 内 容 成 为 可 能 。 

在 第 3 版 的 《Introduction to Algorithms》 出 版 后 ， 我 们 应 机 械 工业 出 版 社 编辑 的 邀请 ， 启 
动 了 长 久 的 翻译 工程 ， 先 后 参加 翻译 工作 的 老师 有 : BRERA EN REE RR (翻译 第 
1 一 3 章 ) 、 中 国 科 学 技术 大 学 的 徐 云 教 授 (翻译 第 10 一 14 章 、 第 18 一 21 章 和 第 27 章 )、 南 开 大 
学 的 王刚 教授 (翻译 第 4 章 和 第 15 一 17 章 ) 、 南 开 大 学 的 刘晓光 教授 (翻译 第 6 一 9 章 ) 、 南 开 大 
学 的 苏 明 副 研 究 员 〈 翻 译 第 5 章 和 第 28 一 30 FE), 、 上 海 交 通 大 学 的 邹 恒 明教 授 (翻译 第 22 一 26 
章 )、 哈 尔 滨 工业 大 学 的 王 宏 志 副教授 (翻译 第 31 一 35 章 和 附录 部 分 )。 由 于 水 平 有 限 且 工作 量 
巨大 ， 译 文中 一 定 存在 许多 不 足 ， 在 此 敬 请 各 位 同行 专家 学 者 和 广大 读者 批评 指正 ， 欢 迎 大 家 将 
发 现 的 错误 或 提出 的 意见 与 建议 发 送 到 邮箱 : algorithms@hzbook. com。 在 整个 工程 即将 完成 之 
际 ， 我 们 要 特别 感谢 潘 金 贵 RAR. ERI TRGB ARES 2 版 翻译 的 老师 ， 是 他 们 使 得 
这 本 重要 教材 在 国内 有 了 广泛 读者 。 同 时 也 要 感谢 机 械 工业 出 版 社 的 温 莉 芳 编辑 和 王 春 华 编辑 ， 
没有 你 们 的 信任 、 耐 心 和 支持 ， 整 个 翻译 工作 不 可 能 完成 。 


fst F 
2012 #11 月 于 长 沙 


| 前 言 


Introduction to Algorithms，Third Edition 


在 计算 机 出 现 之 前 ， 就 有 了 算法 。 现 在 有 了 计算 机 ， 就 需要 更 多 的 算法 ， 算 法 是 计算 的 
核心 。 

本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 的 介绍 。 书 中 给 出 了 多 个 算法 ， 并 对 它 
们 进行 了 较为 深入 的 分 析 ， 使 得 这 些 算 法 的 设计 和 分 析 易 于 被 各 个 层次 的 读者 所 理解 。 我 们 力 
求 在 不 牺牲 分 析 的 深度 和 数学 严密 性 的 前 所 下 ， 给 出 深入 浅 出 的 说 明 。 

书 中 每 一 章 都 给 出 了 一 个 算法 、 一 种 算法 设计 技术 、 一 个 应 用 领域 或 一 个 相关 的 主题 。 算 法 
是 用 英语 和 一 种 “ 伪 代 码 ” 来 描述 的 ， 任 何 有 一 点 程序 设计 经 验 的 人 都 能 看 得 懂 。 书 中 给 出 了 
244 幅 图 ， 说 明 各 个 算法 的 工作 过 程 。 我 们 强调 将 算法 的 效率 作为 一 种 设计 标准 ， 对 书 中 的 所 有 
算法 ， 都 给 出 了 关于 其 运行 时 间 的 详细 分 析 。 

本 书 主要 供 本 科 生 和 研究 生 的 算法 或 数据 结构 课程 使 用 。 因 为 书 中 讨论 了 算法 设计 中 的 工 
程 问题 及 其 数学 性 质 ， 所 以 ， 本 书 也 可 以 供 专业 技术 人 员 自 学 之 用 。 

本 书 是 第 3 版 。 在 这 个 版 本 里 ， 我 们 对 全 书 进行 了 更 新 ， 包 括 新 增 了 若干 章 、 修 订 了 伪 代 
码 等 。 


致使 用 本 书 的 教师 

本 书 的 设计 目标 是 全 面 、 适 用 于 多 种 用 途 。 它 可 用 于 若干 课程 ， 从 本 科 生 的 数据 结构 课程 到 
研究 生 的 算法 课程 。 由 于 书 中 给 出 的 内 容 比较 多 ， 只 讲 一 学 期 一 般 讲 不 完 ， 因 此 ， 教 师 们 应 该 将 
本 书 看 成 是 一 种 “缓存 区 ”或 “瑞典 式 自助 餐 ”， 从 中 挑选 出 能 最 好 地 支持 自己 希望 教授 的 课程 
的 内 容 。 

教师 们 会 发 现 ， 要 围绕 自己 所 需 的 各 个 章节 来 组 织 课 程 是 比较 容易 的 。 书 中 的 各 章 都 是 相 
对 独立 的 ， 因 此 ， 你 不 必 担 心意 想不到 的 或 不 必要 的 各 章 之 间 的 依赖 关系 。 每 一 章 都 是 以 节 为 单 
位 ， 内 容 由 易 到 难 。 如 果 将 本 书 用 于 本 科 生 的 课程 ， 可 以 选用 每 一 章 的 前 面 几 节 内 容 ， 用 于 研究 
生 的 课程 中 ， 则 可 以 完整 地 讲授 每 一 章 。 

全 书包 含 957 道 练习 和 158 道 思考 题 。 每 一 节 结 束 时 给 出 练习 ， 每 一 章 结 束 时 给 出 思考 题 。 
练习 一 般 比 较 短 ， 用 于 检查 学 生 对 书 中 内 容 的 基本 掌握 情况 。 有 一 些 是 简单 的 自 查 性 练习 ， 有 一 
些 则 要 更 充实 ， 可 以 作为 家 庭 作 业 布 置 给 学 生 。 每 一 章 后 的 思考 题 都 是 一 些 令 述 较 为 详细 的 实 
例 研 究 ， 它 们 常常 会 介绍 一 些 新 的 知识 。 一 般 来 说 ， 这 些 思 考题 都 会 包含 几 个 小 问题 ， 引 导 学 生 
逐步 得 到 问题 的 解 。 

根据 本 书 前 几 版 的 读者 反馈 ， 我 们 在 本 书 配套 网 站 上 公布 了 其 中 一 些 练习 和 思考 题 的 答案 
(但 不 是 全 部 )， 网 址 为 http://mitpress. mit. edu/algorithms/ 。 我 们 会 定期 更 新 这 些 答案 ， 因 此 需 
要 教师 每 次 授课 前 都 到 这 个 网 站 上 来 查看 。 

在 那些 不 太 适 合 本 科 生 、 更 适合 研究 生 的 章节 和 练习 前 面 ， 都 加 上 了 星 号 C). WESH 
章节 也 不 一 定 就 比 不 带 星 号 的 更 难 ， 但 可 能 要 求 了 解 更 多 的 数学 知识 。 类 似 地 ， 带 星 号 的 练习 可 
能 要 求 有 更 好 的 数学 背景 或 创造 力 。 


致使 用 本 书 的 学 生 


希望 本 教材 能 为 学 生 提供 关于 算法 这 一 领域 的 有 趣 介绍 。 我 们 力求 使 书 中 给 出 的 每 一 个 算 
法 都 易于 理解 和 有 趣 。 为 了 在 学 生 遇 到 不 熟悉 或 比较 困难 的 算法 时 提供 帮助 ， 我 们 逐个 步骤 地 
描述 每 一 个 算法 。 此 外 ， 为 了 便于 大 家 理解 书 中 对 算法 的 分 析 ， 对 于 其 中 所 需 的 数学 知识 ， 我 们 


给 出 了 详细 的 解释 。 如 果 对 某 一 主题 已 经 有 所 了 解 ， 会 发 现 根据 书 中 各 章 的 编排 顺序 ， 可 以 跳 过 
一 些 介绍 性 的 小 节 ， 直 接 阅 读 更 高 级 的 内 容 。 
本 书 是 一 本 大 部 头 著作 ， 学 生 所 修 的 课程 可 能 只 讲授 其 中 的 一 部 分 。 我 们 试图 使 它 能 成 为 
一 本 现在 对 学 生 有 用 的 教材 ， 并 在 其 将 来 的 职业 生涯 中 ， 也 能 成 为 一 本 案头 的 数学 参考 书 或 工 
程 实践 手册 。 
阅读 本 书 需要 哪些 预备 知识 呢 ? 
。 需要 有 一 些 程序 设计 方面 的 经 验 ， 尤 其 需要 理解 递归 过 程 和 简单 的 数据 结构 ， 如 数组 和 
链表 。 
。 应 该 能 较为 熟练 地 利用 数学 归纳 法 进行 证 明 。 书 中 有 一 些 内 容 要 求学 生 具 备 初等 微 积 分 
方面 的 知识 。 除 此 之 外 ， 本 书 的 第 一 部 分 和 第 八 部 分 将 介绍 需要 用 到 的 所 有 数学 技巧 。 
我 们 收 到 学 生 的 反馈 ,他们 强烈 希望 提供 练习 和 思考 题 的 答案 ， 为 此 ,我们 在 http://mit- 
press. mit. edu/algorithms/ 这 个 网 站 上 给 出 了 少数 练习 和 思考 题 的 答案 ， 学 生 可 以 根据 我 们 的 答 
案 来 检验 自己 的 解答 。 


致使 用 本 书 的 专业 技术 人 员 


本 书 涉及 的 主题 非常 广泛 ， 因 而 是 一 本 很 好 的 算法 参考 手册 。 因 为 每 一 章 都 是 相对 独立 的 ， 
所 以 读者 可 以 重点 查阅 自己 感 兴趣 的 主题 。 

在 我 们 所 讨论 的 算法 中 ， 多 数 都 有 着 极 大 的 实用 价值 。 因 此 ， 我 们 在 书 中 涉及 了 算法 实现 方 
面 的 考虑 和 其 他 工程 方面 的 问题 。 对 于 那些 为 数 不 多 的 、 主 要 具有 理论 研究 价值 的 算法 ， 通 常 还 
给 出 其 实用 的 替代 算法 。 

如 果 和 希望 实现 这 些 算法 中 的 任何 一 个 ， 你 会 发 现 将 书 中 的 伪 代 码 翻 译 成 你 熟悉 的 某 种 程序 
设计 语言 是 一 件 相当 直接 的 事 。 伪 代码 被 设计 成 能 够 清晰 、 简 明 地 描述 每 一 个 算法 。 因 此 ， 我 们 
不 考虑 错误 处 理 和 其 他 需要 对 读者 所 用 编程 环境 有 特定 假设 的 软件 工程 问题 。 我 们 力求 简单 而 
直接 地 给 出 每 一 个 算法 ， 而 不 会 让 某 种 特定 程序 设计 语言 的 特殊 性 掩盖 算法 的 本 质 内 容 。 

如 果 你 是 在 课堂 外 使 用 本 书 ， 那 么 可 能 无 法 从 教师 那里 得 到 答案 来 验证 自己 的 解答 ， 因 此 ， 
我 们 在 http: //mitpress. mit. edu/algorithms/ 这 个 网 站 上 给 出 了 部 分 练习 和 思考 题 的 答案 ， 读 者 可 
以 免费 下 载 参考 。 


致 我 们 的 同事 

我 们 在 本 书 中 给 出 了 详尽 的 参考 文献 。 每 一 章 在 结束 时 都 给 出 了 “本 章 注 记 ”， 介 绍 一 些 历 
史 性 的 细节 和 参考 文献 。 但 是 ， 各 章 的 注 记 并 没有 提供 整个 算法 领域 的 全 部 参考 文献 。 有 一 点 可 
能 是 让 人 难以 置信 的 ， 即 使 是 在 本 书 这 样 一 本 大 部 头 中 ， 由 于 篇 幅 的 原因 ， 很 多 有 趣 的 算法 都 没 
能 包括 进来 。 

尽管 学 生 们 发 来 了 大 量 的 请 求 ， 希望 我 们 提供 思考 题 和 练习 的 解答 ， 但 我 们 还 是 决定 基本 
上 不 提供 思考 题 和 练习 的 参考 答案 (少数 除外 )， 以 打消 学 生 们 试图 查阅 答案 ， 而 不 是 自己 动手 
得 出 答案 的 念头 。 


第 3 版 中 所 做 的 修改 

在 本 书 的 第 2 版 和 第 3 版 之 间 有 哪些 变化 呢 ? 这 两 版 之 间 的 变化 量 和 第 2 版 与 第 1 版 之 间 的 
变化 量 相当 ， 正 如 在 第 2 版 的 前 言 中 所 说 ， 这 些 版 本 之 间 的 变化 可 以 说 不 太 大 ， 也 可 以 说 很 大 ， 
具体 要 看 读者 怎么 看 待 这 些 变化 了 。 

快速 地 浏览 一 遍 目录 ， 你 就 会 发 现 ， 第 2 版 中 的 多 数 章节 在 第 3 版 中 都 出 现 了 。 在 第 3 版 


中 ， 去 掉 了 两 章 和 一 节 的 内 容 ， 新 增加 了 三 章 以 及 两 节 的 内 容 。 如 果 单 从 目录 来 判断 第 3 版 中 改 
动 的 范围 ， 得 出 的 结论 很 可 能 是 改动 不 大 。 

我 们 依然 保持 前 两 版 的 组 织 结构 ， 既 按照 问题 领域 又 根据 技术 来 组 织 章节 内 容 。 书 中 既 包 
含 基于 技术 的 章 ， 如 分 治 法 、 动 态 规划 、 贪 心算 法 、 摊 还 分 析 、NP 完全 性 和 近似 算法 ， 也 包含 
关于 排序 、 动 态 集 的 数据 结构 和 图 问题 算法 的 完整 部 分 。 我 们 发 现 虽然 读者 需要 了 解 如 何 应 用 
这 些 技术 来 设计 和 分 析 算 法 ， 但 是 思考 题 中 很 少 提示 应 用 哪个 技术 来 解决 这 些 问 题 。 

下 面 总 结 了 第 3 版 的 主要 变化 : 


网 站 


新 增 了 讨论 van Emde Boas 树 和 多 线程 算法 的 章节 ， 并 且 将 和 矩阵 基础 移 至 附录 。 

修订 了 递归 式 那 一 章 的 内 容 ， 更 广泛 地 覆盖 分 治 法 ， 并 且 前 两 节 介 绍 了 应 用 分 治 法 解决 两 
个 问题 。4. 2 节 介 绍 了 用 于 矩阵 乘法 的 Strassen 算法 ， 关 于 和 矩阵 运算 的 内 容 已 从 本 章 移 除 。 
移 除 两 章 很 少 讲授 的 内 容 : 二 项 堆 和 排序 网 络 。 排 序 网 络 中 的 关键 思想 一 一 0-1 原理 ， 
在 本 版 的 思考 题 8-7 中 作为 比较 交换 算法 的 0-1 排序 引 理 进 行 介 绍 。 斐 波 那 契 堆 的 处 理 
不 再 依赖 二 项 堆 。 

修订 了 动态 规划 和 贪心 算法 相关 内 容 。 与 第 2 版 中 的 装配 线 调度 问题 相 比 ， 本 版 用 一 个 
更 有 趣 的 问题 一 一 钢 条 切割 来 引入 动态 规划 。 而 且 ， 我 们 比 在 第 2 版 中 更 强调 助 记性 ， 
并 且 引 入 子 问题 图 这 一 概念 来 阐释 动态 规划 算法 的 运行 时 间 。 在 我 们 给 出 的 贪心 算法 例 
T (活动 选择 问题 ) 中 ， 我 们 以 更 直接 的 方式 给 出 贪心 算法 。 

我 们 从 二 又 搜索 树 〈 包 括 红 黑 树 ) 删除 一 个 结 点 的 方式 ， 现 在 保证 实际 所 删除 的 结 点 就 
是 请 求 删除 的 结 点 〈 在 前 两 版 中 ， 有 些 情况 下 某 个 其 他 结 点 可 能 被 删除 ) 。 用 这 种 新 的 方 
式 删 除 结 点 ， 如 果 程 序 的 其 他 部 分 保持 指针 指向 树 中 的 结 点 ， 那 么 终止 时 就 不 会 错误 地 
将 指针 指向 已 删 去 的 结 点 。 

流 网 络 相关 材料 现在 基于 边 上 的 全 部 流 。 这 种 方法 比 前 两 版 中 使 用 的 净 流 更 直观 。 

由 于 关于 矩阵 基础 和 Strassen 算法 的 材料 移 到 了 其 他 章 ， 和 矩阵 运算 这 一 章 的 内 容 比 第 2 
版 中 所 占 的 篇 幅 更 小 。 

修改 了 对 Knuth-Morris-Pratt 字符 串 匹配 算法 的 讨论 。 

修正 了 上 一 版 中 的 一 些 错 误 。 在 网 站 上 ， 这 些 错 误 大 多 数 都 已 在 第 2 版 的 勘误 中 给 出 ， 
但 是 有 些 没 有 给 出 。 

根据 许多 读者 的 要 求 ， 我 们 改变 了 书 中 伪 代 码 的 语法 ， 现 在 用 “二 ”表示 赋值 ， 用 “二 ==” 
表示 检验 相等 ， 正 如 C、C 十 十 、Java 和 Python 所 用 的 。 同 样 ， 我 们 不 再 使 用 关键 字 do 
和 then 而 是 使 用 “//” 作 为 程序 行 末 尾 的 注释 符号 。 我 们 现在 还 使 用 点 标记 法 表明 对 象 
属性 。 书 中 的 伪 代 码 仍 是 过 程 化 的 ， 而 不 是 面向 对 象 的 。 换 句 话说 ， 我 们 只 是 简单 地 调 
用 过 程 ， 将 对 象 作 为 参数 传递 ， 而 不 是 关于 对 象 的 运行 方法 。 

新 增 100 道 练 习 和 28 道 思考 题 ， 还 更 新 并 补充 了 参考 文献 。 

最 后 ， 我 们 对 书 中 的 语句 、 段 落 和 小 节 进 行 了 一 些 调整 ， 以 使 本 书 条 理 更 清晰 。 





读者 可 以 通过 http: //mitpress. mit. edu/algorithms/ 这 个 网 站 来 获取 补充 资料 ， 以 及 与 我 们 联 
系 。 这 个 网 站 上 给 出 了 已 知 错误 的 清单 、 部 分 练习 和 思考 题 的 答案 等 。 此 外 ， 网 站 上 还 告诉 读者 
如 何 报告 错误 或 者 提出 建议 。 
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Introduction to Algorithms, Third Edition 


基础 知识 





这 一 部 分 将 引导 读者 开始 思考 算法 的 设计 和 分 析 问 题 ， 简 单 介绍 算法 
的 表达 方法 、 将 在 本 书 中 用 到 的 一 些 设计 策略 ， 以 及 算法 分 析 中 用 到 的 许 
多 基本 思想 。 本 书后 面 的 内 容 都 是 建立 在 这 些 基础 知识 之 上 的 。 

第 1 章 是 对 算法 及 其 在 现代 计算 系统 中 地 位 的 一 个 综述 。 本 章 给 出 了 
算法 的 定义 和 一 些 算法 的 例子 。 此 外 ， 本 章 还 说 明了 算法 是 一 项 技术 ， 就 
像 快速 的 硬件 、 图 形 用 户 界面 、 面 向 对 象 系统 和 网 络 一 样 。 

在 第 2 章 中 ， 我 们 给 出 了 书 中 的 第 一 批 算 法 ， 它 们 解决 的 是 对 = 个 数 
进行 排序 的 问题 。 这 些 算法 是 用 一 种 伪 代 码 形式 给 出 的 ， 这 种 伪 代 码 尽管 
不 能 直接 翻译 为 任何 常规 的 程序 设计 语言 ， 但 是 足够 清晰 地 表达 了 算法 的 
结构 ,以便 任何 一 位 能 力 比 较 强 的 程序 员 都 能 用 自己 选择 的 语言 将 算法 实 
现 出 来 。 我 们 分 析 的 排序 算法 是 插入 排序 ， 它 采用 了 一 种 增 量 式 的 做 法 ; 
另外 还 分 析 了 归并 排序 ， 它 采用 了 一 种 递归 技术 ， 称 为 “分 治 法 ”。 尽 管 这 
两 种 算法 所 需 的 运行 时 间 都 随 n 的 值 而 增长 ， 但 增长 的 速度 是 不 同 的。 我 
们 在 第 2 章 分 析 了 这 两 种 算法 的 运行 时 间 ， 并 给 出 了 一 种 有 用 的 表示 方法 
来 表达 这 些 运行 时 间 。 

第 3 章 给 出 了 这 种 表示 法 的 准确 定义 ， 称 为 渐 近 表示 。 在 第 3 章 的 一 
开始 ， 首 先 定 义 几 种 渐 近 符号 ， 它 们 主要 用 于 表示 算法 运行 时 间 的 上 界 和 
下 界 。 第 3 章 余 下 的 部 分 主要 给 出 了 一 些 数 学 表示 方法 。 这 一 部 分 的 作用 
更 多 的 是 为 了 确保 读者 所 用 的 记号 能 与 本 书 的 记号 体系 相 匹 配 ， 而 不 是 教 
授 新 的 数学 概念 。 

第 4 章 更 深入 地 讨论 了 第 2 章 引 入 的 分 治 法 ,给 出 了 更 多 分 治 法 的 例 
子 ， 包 括 用 于 两 方 阵 相 乘 的 Strassen 方法 。 第 4 章 包 含 了 求解 递归 式 的 方 
法 。 递 归 式 用 于 描述 递归 算法 的 运行 时 间 。"“ 主 方法 "是 一 种 功能 很 强 的 技 
A, 通常 用 于 解决 分 治 算法 中 出 现 的 递归 式 。 虽 然 第 4 章 中 的 相当 一 部 分 
内 容 都 是 在 证 明 主 方法 的 正确 性 ,但 是 如 果 跳 过 这 一 部 分 证 明 内 容 ， 也 没 
有 什么 太 大 的 影响 。 
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第 5 章 介绍 概率 分 析 和 随机 化 算法 。 概 率 分 析 一 般 用 于 确定 一 些 算法 的 运行 时 间 ， 在 这 些 算 
法 中 ,由 于 同一 规模 的 不 同 输入 可 能 有 着 内 在 的 概率 分 布 ， 因 而 在 这 些 不 同 输入 之 下 ， 算 法 的 运 
行 时 间 可 能 有 所 不 同 。 在 有 些 情况 下 ， 我 们 假定 算法 的 输入 服从 某 种 已 知 的 概率 分 布 ， 于 是 ， 算 
法 的 运行 时 间 就 是 在 所 有 可 能 的 输入 之 下 ， 和 运行 时 间 的 平均 值 。 在 其 他 情况 下 ， 概 率 分 布 不 是 来 
自 于 输入 ， 而 是 来 自 于 算法 执行 过 程 中 所 做 出 的 随机 选择 。 如 果 一 个 算法 的 行为 不 仅 由 其 输入 
决定 ， 还 要 由 一 个 随机 数 生成 器 生成 的 值 来 决定 ， 那 么 它 就 是 一 个 随机 化 算法 。 我 们 可 以 利用 随 
机 化 算法 强行 使 算法 的 输入 服从 某 种 概率 分 布 ， 从 而 确保 不 会 有 某 一 输入 会 始终 导致 算法 的 性 
能 变 坏 ; 或 者 ， 对 于 那些 允许 产生 不 正确 结果 的 算法 ， 甚 至 能 够 将 其 错误 率 限制 在 某 个 范围 
之 内 。 

附录 A~D 包含 了 一 些 数 学 知识 ,它们 对 读者 阅读 本 书 可 能 会 有 所 帮助 。 在 阅读 本 书 之 前 ， 
读者 很 有 可 能 已 经 知道 了 附录 中 给 出 的 大 部 分 知识 (我 们 采用 的 某 些 符号 约定 与 读者 过 去 见 过 的 
可 能 会 有 所 不 同 )， 因 而 可 以 将 附录 视 为 参考 材料 。 另 外 ， 你 很 可 能 从 未 见 过 第 一 部 分 中 给 出 的 

[4] 内 容 。 第 一 部 分 中 的 所 有 各 章 和 附录 都 是 以 一 种 人 门 指 南 的 风格 来 编写 的 。 
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算法 在 计算 中 的 作用 


什么 是 算法 ? 为 什么 算法 值得 研究 相对 于 计算 机 中 使 用 的 其 他 技术 来 说 算法 的 作用 是 什 
么 ? 本 章 我 们 将 回答 这 些 问题 。 


1.1 算法 

非 形 式 地 说 ， 算 法 (algorithm) 就 是 任何 良 定 义 的 计算 过 程 ， 该 过 程 取 某 个 值 或 值 的 集合 作为 
输入 并 产生 某 个 值 或 值 的 集合 作为 输出 。 这 样 算法 就 是 把 输入 转换 成 输出 的 计算 步骤 的 一 个 
序列 。 

我 们 也 可 以 把 算法 看 成 是 用 于 求解 良 说 明 的 计算 问题 的 工具 。 一 般 来 说 ， 问 题 陈述 说 明了 
期 望 的 输入 /输出 关系 。 算 法 则 描述 一 个 特定 的 计算 过 程 来 实现 该 输入 /输出 关系 。 

例如 ， 我 们 可 能 需要 把 一 个 数列 排 成 非 递 减 序 。 实 际 上 ， 这 个 问题 经 常 出 现 ， 并 且 为 引入 许 
多 标准 的 设计 技术 和 分 析 工 具 提 供 了 足够 的 理由 。 下 面 是 我 们 关于 排序 问题 的 形式 定义 。 

输入 : n 个 数 的 一 个 序列 (a ， Q2， °*"s Qn) 

输出 : 输入 序列 的 一 个 排列 (ai ， az, tah a,)s 满足 aKa, S Kal. 
例如 ， 给 定 输入 序列 (31，41，59，26，41，58)， 排 序 算法 将 返回 序列 (26，31，41，41，58， 
59) 作 为 输出 。 这 样 的 输入 序列 称 为 排序 问题 的 一 个 实例 (instance)。 一 般 来 说 ， 问 题 实例 由 计算 
该 问题 解 所 必需 的 (满足 问题 陈述 中 强加 的 各 种 约束 的 ) 输 入 组 成 。 

因为 许多 程序 使 用 排序 作为 一 个 中 间 步 ， 所 以 排序 是 计算 机 科学 中 的 一 个 基本 操作 。 因 此 ， 
已 有 许多 好 的 排序 算法 供 我 们 任意 使 用 。 对 于 给 定 应 用 ， 哪 个 算法 最 好 依赖 于 以 下 因素 : 将 被 排 
序 的 项 数 、 这 些 项 已 被 稍微 排序 的 程度 、 关 于 项 值 的 可 能 限制 、 计 算 机 的 体系 结构 ， 以 及 将 使 用 
的 存储 设备 的 种 类 ( 主 存 、 磁 盘 或 者 磁带 ) 。 

若 对 每 个 输入 实例 算法 都 以 正确 的 输出 停机 ， 则 称 该 算法 是 正确 的 ， 并 称 正 确 的 算法 解决 了 
给 定 的 计算 问题 。 不 正确 的 算法 对 某 些 输入 实例 可 能 根本 不 停机 ， 也 可 能 以 不 正确 的 回答 停机 。 
与 人 们 期 望 的 相反 ， 不 正确 的 算法 只 要 其 错误 率 可 控 有 时 可 能 是 有 用 的 。 在 第 31 章 ， 当 我 们 研究 
求 大 素数 算法 时 ， 将 看 到 一 个 具有 可 控 错 误 率 的 算法 例子 。 但 是 通常 我 们 只 关心 正确 的 算法 。 

算法 可 以 用 英语 说 明 ， 也 可 以 说 明成 计算 机 程序 ， 甚 至 说 明成 硬件 设计 。 唯 一 的 要 求 是 这 个 
说 明 必 须 精确 描述 所 要 遵循 的 计算 过 程 。 

算法 解决 哪 种 问题 

排序 绝 不 是 已 开发 算法 的 唯一 计算 问题 ( 当 看 到 本 书 的 厚度 时 ， 你 可 能 觉得 算法 也 同样 多 )。 
算法 的 实际 应 用 无 处 不 在 ， 包 括 以 下 例子 : 

。 人 类 基因 工程 已 经 取得 重大 进展 ， 其 目标 是 识别 人 类 DNA 中 的 所 有 10 万 个 基因 ， 确 定 
构成 人 类 DNA 的 30 亿 个 化 学 基 对 的 序列 ， 在 数据 库 中 存储 这 类 信息 并 为 数据 分 析 开 发 
工具 。 这 些 工作 都 需要 复杂 的 算法 。 虽 然 对 涉及 的 各 种 问题 的 求解 超出 了 本 书 的 范围 ， 
但 是 求解 这 些 生物 问题 的 许多 方法 采用 了 本 书 多 章 内 容 的 思想 ， 从 而 使 得 科学 家 能 够 有 
效 地 使 用 资源 以 完成 任务 。 因 为 可 以 从 实验 技术 中 提取 更 多 的 信息 ， 所 以 既 能 节省 人 和 
机 器 的 时 间 又 能 节省 金钱 。 
互联 网 使 得 全 世界 的 人 都 能 快速 地 访问 与 检索 大 量 信 息 。 借 助 于 一 些 聪明 的 算法 ， 互 联 
网 上 的 网 站 能 够 管理 和 处 理 这 些 海量 数据 。 必 须 使 用 算法 的 问题 示例 包括 为 数据 传输 寻 
找 好 的 路 由 (求解 这 些 问题 的 技术 在 第 24 章 给 出 )， 使 用 一 个 搜索 引擎 来 快速 地 找到 特定 
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信息 所 在 的 网 页 (有 关 技 术 在 第 11 章 和 第 32 章 中 )。 

电子 商务 使 得 货物 与 服务 能 够 以 电子 方式 洽谈 与 交换 ， 并 且 它 依赖 于 像 信用 卡号 、 密 码 
和 银行 结 单 这 类 个 人 信息 的 保密 性 。 电 子 商 务 中 使 用 的 核心 技术 包括 (第 31 章 中 包含 的 ) 
公 钥 密码 与 数字 签名 ， 它 们 以 数值 算法 和 数论 为 基础 。 

制造 业 和 其 他 商务 企业 常常 需要 按 最 有 益 的 方式 来 分 配 稀有 资源 。 一 家 石油 公司 也 许 希 
望 知道 在 什么 地 方 设置 其 油井 ， 以 便 最 大 化 其 预期 的 利润 。 一 位 政治 候选 人 也 许 想 确定 
在 什么 地 方 花 钱 购 买 竞选 广告 ， 以 便 最 大 化 赢得 竞选 的 机 会 。 一 家 航空 公司 也 许 希 望 按 
尽 可 能 最 廉价 的 方式 把 乘务 员 分 配 到 班机 上 ， 以 确保 每 个 航班 被 覆盖 并 且 满 足 政府 有 关 
乘务 员 调 度 的 法 规 。 一 个 互联 网 服务 提供 商 也 许 希 望 确定 在 什么 地 方 放置 附加 的 资源 ， 
以 便 更 有 效 地 服务 其 顾客 。 所 有 这 些 都 是 可 以 用 线性 规划 来 求解 的 问题 的 例子 ， 我 们 将 
在 第 29 章 学 习 这 种 技术 。 


虽然 这 些 例 子 的 一 些 细 节 已 超出 本 书 的 范围 ， 但 是 我 们 确实 说 明了 一 些 适 用 于 这 些 问 题 和 
问题 领域 的 基本 技术 。 我 们 还 说 明 如 何 求解 许多 具体 问题 ， 包 括 以 下 问题 : 


给 定 一 张 交通 图 ， 上 面 标记 了 每 对 相 邻 十 字 路 口 之 间 的 距离 ， 我 们 希望 确定 从 一 个 十 
字 路 口 到 另 一 个 十 字 路 口 的 最 短 道路 。 即 使 不 允许 穿 过 自身 的 道路 ， 可 能 路 线 的 数量 
也 会 很 大 。 在 所 有 可 能 路 线 中 ， 我 们 如 何 选择 哪 一 条 是 最 短 的 ? 这 里 首先 把 交通 图 ( 它 
本 身 就 是 实际 道路 的 一 个 模型 ) 建 模 为 一 个 图 (第 六 部 分 和 附录 也 将 涉及 这 个 概念 )， 然 
后 寻找 图 中 从 一 个 顶点 到 另 一 个 顶点 的 最 短路 径 。 第 24 章 将 介绍 如 何 有 效 地 求解 这 个 
问题 。 

给 定 两 个 有 序 的 符号 序列 KST, Trs ts mM YS, yoo tts W) RIK X MY 
的 最 长 公共 子 序列 。X 的 子 序列 就 是 去 掉 一 些 元 素 ( 可 能 是 所 有 ， 也 可 能 一 个 没有 ) 后 的 
X。 例 如 ，(A，B，C，D,， 正 ， 下 ，G)? 的 一 个 子 序列 是 (B，C， 天 ，G)。X MY 的 最 长 公 
共 子 序列 的 长 度 度量 了 这 两 个 序列 的 相似 程序 。 例 如 ， 若 两 个 序列 是 DNA 链 中 的 基 对 ， 
则 当 它 们 具有 长 的 公共 子 序列 时 我 们 认为 它们 是 相似 的 。 若 X Am 个 符号 且 Y 有 n 个 符 
号 ， 则 X 和 工分 别 有 2” 和 2" 个 可 能 的 子 序列 。 除 非 mr An 很 小 ， 否 则 选择 X ALY 的 所 
有 可 能 子 序列 做 匹配 将 花费 使 人 望而却步 多 的 时 间 。 第 15 章 将 介绍 如 何 使 用 一 种 称 为 动 
态 规 划 的 一 般 技 术 来 有 效 地 求解 这 个 问题 。 

给 定 一 个 依据 部 件 库 的 机 械 设 计 ， 其 中 每 个 部 件 可 能 包含 其 他 部 件 的 实例 ， 我 们 需要 依 
次 列 出 这 些 部 件 ， 以 使 每 个 部 件 出 现在 使 用 它 的 任何 部 件 之 前 。 若 该 设计 由 ”个 部 件 组 
R. WFE n! 种 可 能 的 顺序 ， 其 中 n! 表示 阶乘 函数 。 因 为 阶乘 函数 甚至 比 指数 函数 增 
长 还 快 ，( 除 非 我 们 只 有 几 个 部 件 ， 否则) 先生 成 每 种 可 能 的 顺序 再 验证 按 该 顺序 每 个 部 
件 出 现在 使 用 它 的 部 件 之 前 ， 是 不 可 行 的 。 这 个 问题 是 拓扑 排序 的 一 个 实例 ， 第 22 章 将 
介绍 如 何 有 效 地 求解 这 个 问题 。 

给 定 平 面 上 的 盖 个 点 ， 我 们 希望 寻找 这 些 点 的 凸 克 。 凸 壳 就 是 包含 这 些 点 的 最 小 的 凸 多 
边 形 。 直 观 上 ， 我 们 可 以 把 每 个 点 看 成 由 从 一 块 木 板 钉 出 的 一 颗 钉子 来 表示 。 凸 壳 则 由 
一 根 拉 紧 的 环绕 所 有 钉子 的 橡皮 筋 来 表示 。 如 果 橡 皮 筋 因 绕 过 某 颗 钉子 而 转弯 ， 那 么 这 
颗 钉 子 就 是 凸 壳 的 一 个 顶点 (例子 参见 图 33-6)。n 个 点 的 2" 个 子 集中 的 任何 一 个 都 可 能 
是 凸 壳 的 顶点 集 。 仅 知道 哪些 点 是 凸 沉 的 顶点 还 很 不 够 ， 因 为 我 们 还 必须 知道 它们 出 现 
的 顺序 。 所 以 为 求 凸 壳 的 项 点 ， 存 在 许多 选择 。 第 33 章 将 给 出 两 种 用 于 求 凸 壳 的 好 
方法 。 


虽然 这 些 问题 的 列表 还 远 未 穷尽 (也 许 你 已 经 再 次 从 本 书 的 重量 推测 到 这 一 点 )， 但 是 它们 


却 展 示 了 许多 有 趣 的 算法 问题 所 共有 的 两 个 特征 : 
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1. 存在 许多 候选 解 ， 但 绝 大 多 数 候选 解 都 没有 解决 手头 的 问题 。 寻 找 一 个 真正 的 解 或 一 个 
最 好 的 解 可 能 是 一 个 很 大 的 挑战 。 

2. 存在 实际 应 用 。 在 上 面 所 列 的 问题 中 ， 最 短路 径 问题 提供 了 最 易 懂 的 例子 。 一 家 运输 公 
司 ( 如 公路 运输 或 铁路 运输 公司 ) 对 如 何在 公路 或 铁路 网 中 找 出 最 短路 径 ， 有 着 经 济 方面 的 利益 ， 
因为 采用 的 路 径 越 短 ， 其 人 力 和 燃料 的 开销 就 越 低 。 互 联网 上 的 一 个 路 由 结 点 为 了 快速 地 发 送 
一 条 消息 可 能 需要 寻找 通过 网 络 的 最 短路 径 。 希 望 从 纽约 开车 去 波士顿 的 人 可 能 想 从 一 个 恰当 
的 网 站 寻找 开车 方向 ， 或 者 开车 时 她 可 能 使 用 其 GPS。 

算法 解决 的 每 个 问题 并 不 都 有 一 个 容易 识别 的 候选 解 集 。 例 如 ， 假 设 给 定 一 组 表示 信号 样 
本 的 数值 ， 我 们 想 计 算 这 些 样本 的 离散 傅 里 叶 变换 。 离 散 傅 里 叶 变换 把 时 域 转变 为 频 域 ， 产 生 一 
组 数值 系数 ， 使 得 我 们 能 够 判定 被 采样 信号 中 各 种 频率 的 强度 。 除 了 处 于 信号 处 理 的 中 心 之 外 ， 
离散 傅 里 叶 变换 还 应 用 于 数据 压缩 和 大 多 项 式 与 整数 相 乘 。 第 30 章 为 该 问题 给 出 了 一 个 有 效 的 
算法 一 一 快速 傅 里 叶 变 换 ( 通 常 称 为 FFT)， 并 且 这 章 还 概述 了 计算 FFT 的 硬件 电路 的 设计 。 

数据 结构 

本 书 也 包含 几 种 数据 结构 。 数 据 结 构 是 一 种 存储 和 组 织 数据 的 方式 ， 旨 在 便于 访问 和 修改 。 
没有 一 种 单一 的 数据 结构 对 所 有 用 途 均 有 效 ， 所 以 重要 的 是 知道 几 种 数据 结构 的 优势 和 局 限 。 

技术 

虽然 可 以 把 本 书 当做 一 本 有 关 算 法 的 “菜谱 "来 使 用 ,但 是 也 许 在 某 一 天 你 会 遇 到 一 个 问题 ， 
一 时 无 法 很 快 找到 一 个 已 有 的 算法 来 解决 它 (例如 本 书 中 的 许多 练习 和 思考 题 就 是 这 样 的 情况 )。 
本 书 将 教 你 一 些 算法 设计 与 分 析 的 技术 ， 以 便 你 能 自行 设计 算法 、 证 明 其 正确 性 和 理解 其 效率 。 
不 同 的 章 介绍 算法 问题 求解 的 不 同方 面 。 有些 章 处 理 特定 的 问题 例如， 第 9 章 的 求 中 位 数 和 顺 
序 统计 量 ， 第 23 章 的 计算 最 小 生成 树 ， 第 26 章 的 确定 网 络 中 的 最 大 流 。 其 他 章 介 绍 一 些 技术 ， 
例如 第 4 章 的 分 治 策略 ， 第 15 章 的 动态 规划 ， 第 17 章 的 摊 还 分 析 。 

难题 

本 书 大 部 分 讨论 有 效 算法 。 我 们 关于 效率 的 一 般 量 度 是 速度 ， 即 一 个 算法 花 多 长 时 间 产 生 
结果 。 然 而 有 一 些 问题 ， 目 前 还 不 知道 有 效 的 解法 。 第 34 章 研究 这 些 问 题 的 一 个 有 趣 的 子 集 ， 
其 中 的 问题 被 称 为 NP 完全 的 。 

为 什么 NP 完全 问题 有 趣 呢 ? 第 一 ， 虽然 迄 今 为 止 不 曾 找 到 对 一 个 NP 完全 问题 的 有 效 算 
法 ,但 是 也 没有 人 能 证 明 NP 完全 问题 确实 不 存在 有 效 算 法 。 换 句 话 说， 对 于 NP 完全 问题 ， 是 
否 存在 有 效 算 法 是 未 知 的 。 第 二 ，NP 完全 问题 集 具 有 一 个 非凡 的 性 质 : 如果 任何 一 个 NP 完全 
问题 存在 有 效 算法 ， 那 么 所 有 NP 完全 问题 都 存在 有 效 算法 。NP 完全 问题 之 间 的 这 种 关系 使 得 
有 效 解 的 缺乏 更 加 诱 人 。 第 三 ， 有 几 个 NP 完全 问题 类 似 于 (但 又 不 完全 同 于 ) 一 些 有 着 已 知 有 效 
算法 的 问题 。 计 算 机 科学 家 迷恋 于 如 何 通 过 对 问题 陈述 的 一 个 小 小 的 改变 来 很 大 地 改变 其 已 知 
最 佳 算法 的 效率 。 

你 应 该 了 解 NP 完全 问题 ， 因 为 有 些 NP 完全 问题 会 时 不 时 地 在 实际 应 用 中 冒 出 来 。 如 果 要 
求 你 找 出 某 一 NP 完全 问题 的 有 效 算法 ， 那 么 你 可 能 花费 许多 时 间 在 毫 无 结果 的 探寻 中 。 如 果 你 
能 证 明 这 个 问题 是 NP 完全 的 ， 那 么 你 可 以 把 时 间 花 在 开发 一 个 有 效 的 算法 ， 该 算法 给 出 一 个 好 
的 解 ， 但 不 一 定 是 最 好 的 可 能 解 。 

作为 一 个 具体 的 例子 ， 考 虑 一 家 具有 一 个 中 心 仓库 的 投递 公司 。 每 天 在 中 心 仓 库 为 每 辆 投 
递 车 装 货 并 发 送出 去 ， 以 将 货物 投递 到 几 个 地 址 。 每 天 结束 时 每 辆 货车 必须 最 终 回 到 仓库 ， 以 便 
准备 好 为 第 二 天 装 货 。 为 了 减少 成 本 ， 公 司 希 望 选择 投递 站 的 一 个 序 ， 按 此 序 产生 每 辆 货车 行驶 
的 最 短 总 距离 。 这 个 问题 就 是 著名 的 “旅行 商 问题 "， 并 且 它 是 NP 完全 的 。 它 没有 已 知 的 有 效 算 
法 。 然 而 ， 在 某 些 假设 条 件 下 ， 我 们 知道 一 些 有 效 算法 ， 它 们 给 出 一 个 离 最 小 可 能 解 不 太 远 的 总 
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距离 。 第 35 章 将 讨论 这 样 的 “近似 算法 ”。 

并 行 性 

我 们 或 许可 以 指望 处 理 器 时 钟 速度 能 以 某 个 持续 的 比率 增加 多 年 。 然 而 物理 的 限制 对 不 断 
提高 的 时 钟 速度 给 出 了 一 个 基本 的 路 障 : 因为 功率 密度 随时 钟 速度 超 线性 地 增加 ， 一 旦 时 钟 速 
度 变 得 足够 快 ， 芯 片 将 有 熔化 的 危险 。 所 以 ， 为 了 每 秒 执行 更 多 计算 ， 芯 片 被 设计 成 包含 不 止 一 
个 而 是 几 个 处 理 * 核 ”。 我 们 可 以 把 这 些 多 核 计 算 机 比拟 为 在 单一 芯片 上 的 几 台 顺序 计算 机 ， 换 名 
话说 ,它们 是 一 类 “并 行 计算 机 ”。 为 了 从 多 核 计算 机 获得 最 佳 的 性 能 ， 设 计算 法 时 必须 考虑 并 行 
性 。 第 27 章 给 出 了 充分 利用 多 核 的 “多 线程 "算法 的 一 个 模型 。 从 理论 的 角度 来 看 ， 该 模型 具有 
一 些 优 点 ， 它 形成 了 几 个 成 功 的 计算 机 程序 的 基础 ， 包 括 一 个 国际 象棋 博弈 程序 。 


练习 


1.1-1 给 出 现实 生活 中 需要 排序 的 一 个 例子 或 者 现实 生活 中 需要 计算 凸 壳 的 一 个 例子 。 

1.1-2 除 速 度 外 ， 在 真实 环境 中 还 可 能 使 用 哪些 其 他 有 关 效 率 的 量度 ? 

1.1-3 选择 一 种 你 以 前 已 知 的 数据 结构 ， 并 讨论 其 优势 和 局 限 。 

1.1-4 前 面 给 出 的 最 短路 径 与 旅行 商 问题 有 哪些 相似 之 处 ? 又 有 哪些 不 同 ? 

1.1-5 ”提供 一 个 现实 生活 的 问题 ， 其 中 只 有 最 佳 解 才 行 。 然 后 提供 一 个 问题 ， 其 中 近似 最 佳 的 
一 个 解 也 足够 好 。 


1.2 作为 一 种 技术 的 算法 


假设 计算 机 是 无 限 快 的 并 且 计 算 机 存储 器 是 免费 的 ， 你 还 有 什么 理由 来 研究 算法 吗 ? 即使 
只 是 因为 你 还 想 证 明 你 的 解法 会 终止 并 以 正确 的 答案 终止 ， 那 么 回答 也 是 肯定 的 。 

如 果 计 算 机 无 限 快 ,那么 用 于 求解 某 个 问题 的 任何 正确 的 方法 都 行 。 也 许 你 希望 你 的 实现 
在 好 的 软件 工程 实践 的 范围 内 (例如 ， 你 的 实现 应 该 具有 良好 的 设计 与 文档 )， 但 是 你 最 常 使 用 的 
是 最 容易 实现 的 方法 。 

当然 ， 计 算 机 也 许 是 快 的 ， 但 它们 不 是 无 限 快 。 存 储 器 也 许 是 廉价 的 ， 但 不 是 免费 的 。 所 以 
计算 时 间 是 一 种 有 限 资源 ， 存 储 器 中 的 空间 也 一 样 。 你 应 该 明智 地 使 用 这 些 资源 ， 在 时 间或 空间 
方面 有 效 的 算法 将 帮助 你 这 样 使 用 资源 。 

效率 

为 求解 相同 问题 而 设计 的 不 同 算法 在 效率 方面 常常 具有 显著 的 差别 。 这 些 差别 可 能 比 由 于 
硬件 和 软件 造成 的 差别 要 重要 得 多 。 

作为 一 个 例子 ,第 2 章 将 介绍 两 个 用 于 排序 的 算法 。 第 一 个 称 为 插入 排序 ， 为 了 排序 个 
项 ， 该 算法 所 花 时 间 大 致 等 于 cz ， 其 中 c 是 一 个 不 依赖 于 的 常数 。 也 就 是 说 ， 该 算法 所 花 时 
间 大 致 与 ww 成 正比 。 第 二 个 称 为 归并 排序 ， 为 了 排序 个 项 ,该 算法 所 花 时 间 大 致 等 于 conlgn， 
SEP Ign 代表 log,n H cs 是 男 一 个 不 依赖 于 的 常数 。 与 归并 排序 相 比 ， 插 入 排序 通常 具有 一 个 
较 小 的 常数 因子 ， 所 以 c, 二 cs。 我 们 将 看 到 就 运行 时 间 来 说 ， 常 数 因子 可 能 远 没 有 对 输入 规模 
的 依赖 性 重要 。 把 插入 排序 的 运行 时 间 写 成 cn* nn 并 把 归并 排序 的 运行 时 间 写 成 czn* lgn。 这 时 
就 运行 时 间 来 说 ， 插 入 排序 有 一 个 因子 n 的 地 方 归并 排序 有 一 个 因子 lgn， 后 者 要 小 得 多 。( 例 如 ， 
当 n=1 000 BY, lgn 大 致 为 10， 当 nn 等 于 100 万 时 ,lgn 大 致 仅 为 20。) 虽 然 对 于 小 的 输入 规模 ， 插 入 
排序 通常 比 归 并 排序 要 快 ， 但 是 一 旦 输入 规模 n 变 得 足够 大 ， 归 并 排序 lgn 对 的 优点 将 足以 补偿 
常数 因子 的 差别 。 不 管 a 比 c 小 多 少 ， 总 会 存在 一 个 交叉 点 ， 超 出 这 个 点 ， 归 并 排序 更 快 。 

作为 一 个 具体 的 例子 ， 我 们 让 运行 插 和 排序 的 一 台 较 快 的 计算 机 (计算 机 A) 与 运行 归并 排序 
的 一 台 较 慢 的 计算 机 (计算 机 B) 竞 争 。 每 台 计算 机 必须 排序 一 个 具有 1 000 万 个 数 的 数组 。( 虽 然 
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1000 万 个 数 似乎 很 多 ， 但 是 ， 如 果 这 些 数 是 8 字 节 的 整数 ， 那 么 输入 将 占用 大 致 50MB， 即 使 一 
台 便 宜 的 便携 式 计算 机 的 存储 器 也 能 多 次 装 和 人 这么 多 数 。) 假 设计 算 机 A 每 秒 执行 百 亿 条 指令 ( 快 
于 写本 书 时 的 任何 单 台 串 行 计算 机 )， 而 计算 机 B 每 秒 仅 执行 1 000 万 条 指令 ， 结 果 计 算 机 A 就 
纯 计算 能 力 来 说 比 计算 机 B 快 1 000 倍 。 为 使 差别 更 具 戏 剧 性 ， 假 设 世上 最 巧妙 的 程序 员 为 计算 
机 A 用 机 器 语言 编码 插入 排序 ， 并 且 为 了 排序 ”个 数 ， 结 果 代码 需要 2 条 指令 。 进 一 步 假设 仅 
由 一 位 水 平一 般 的 程序 员 使 用 某 种 带 有 一 个 低 效 编译 器 的 高 级 语言 来 实现 归并 排序 ， 结 果 代 码 
需要 50nlgn 条 指令 。 为 了 排序 1 000 万 个 数 ， 计 算 机 A 需要 


2. 00) 条 指令 _ 
TO” APES Be 一 20 000 秒 (多 于 5.5 小 时 ) 


而 计算 机 B 需要 


50。107 lg107 条 指令 、 


通过 使 用 一 个 运行 时 间 增 长 较 慢 的 算法 ， 即 使 采用 一 个 较 差 的 编译 器 ， 计算机 B 比 计算 机 A 还 
快 17 倍 ! 当 我 们 排序 1 亿 个 数 时 ， 归 并 排序 的 优势 甚至 更 明显 : 这 时 插入 排序 需要 23 天 多 ， 而 
归并 排序 不 超过 4 小 时 。 一 般 来 说 ， 随 着 问题 规模 的 增 大 ， 归 并 排序 的 相对 优势 也 会 增 大 。 

算法 与 其 他 技术 

上 面 的 例子 表明 我 们 应 该 像 计算 机 硬件 一 样 把 算法 看 成 是 一 种 技术 。 整 个 系统 的 性 能 不 但 
依赖 于 选择 快速 的 硬件 而 且 还 依赖 于 选择 有 效 的 算法 。 正 如 其 他 计算 机 技术 正在 快速 推进 一 样 ， 
算法 也 在 快速 发 展 。 

你 也 许 想 知道 相对 其 他 先进 的 计算 机 技术 (如 以 下 列 出 的 ), 算法 对 于 当代 计算 机 是 否 真 的 
那么 重要 : 

。 先进 的 计算 机 体系 结构 与 制造 技术 

。 易于 使 用 、 直 观 的 图 形 用 户 界面 (GUT) 

。 面向 对 象 的 系统 

。 集成 的 万 维 网 技术 

。 有 线 与 无 线 网 络 的 快速 组 网 
回答 是 肯定 的 。 虽然 某 些 应 用 在 应 用 层 不 明确 需要 算法 内 容 ( 如 某 些 简 单 的 基于 万 维 网 的 应 用 )， 但 是 
许多 应 用 确实 需要 算法 内 容 。 例 如 ， 考 虑 一 种 基于 万 维 网 的 服务 ， 它 确定 如 何 从 一 个 位 置 旅行 到 另 一 
个 位 置 。 其 实现 依赖 于 快速 的 硬件 、 一 个 图 形 用 户 界面 、 广 域 网 ， 还 可 能 依赖 于 面向 对 象 技术 。 然 
而 ， 对 某 些 操作 ， 如 寻找 路 线 (可 能 使 用 最 短路 径 算法 ) 、 描 绘 地 图 、 插 和 人 地址， 它 还 是 需要 算法 。 

而 且 ， 即 使 是 那些 在 应 用 层 不 需要 算法 内 容 的 应 用 也 高 度 依 赖 于 算法 。 该 应 用 依赖 于 快速 
的 硬件 吗 ? 硬件 设计 用 到 算法 。 该 应 用 依赖 于 图 形 用 户 界面 吗 ? 任何 图 形 用 户 界面 的 设计 都 依赖 
于 算法 。 该 应 用 依赖 于 网 络 吗 ? 网 络 中 的 路 由 高 度 依赖 于 算法 。 该 应 用 采用 一 种 不 同 于 机 器 代码 
的 语言 来 书写 吗 ? 那么 它 被 某 个 编译 器 、 解 释 器 或 汇编 器 处 理 过 ， 所 有 这 些 都 广泛 地 使 用 算法 。 
算法 是 当代 计算 机 中 使 用 的 大 多 数 技术 的 核心 。 

进一步 ， 随 着 计算 机 能 力 的 不 断 增强 ， 我 们 使 用 计算 机 来 求解 比 以 前 更 大 的 问题 。 正 如 我 们 
在 上 面 对 插入 排序 与 归并 排序 的 比较 中 所 看 到 的 ， 正 是 在 较 大 问题 规模 时 ， 算法 之 间 效 率 的 差 
别 才 变 得 特别 显著 。 

是 否 具有 算法 知识 与 技术 的 坚实 基础 是 区 分 真正 熟练 的 程序 员 与 初学 者 的 一 个 特征 。 使 用 
现代 计算 技术 ， 如 果 你 对 算法 懂得 不 多 ， 你 也 可 以 完成 一 些 任务 , 但是， 如果 有 一 个 好 的 算法 背 
景 ， 那么 你 可 以 做 的 事情 就 多 得 多 。 


练习 
1.2-1 给 出 在 应 用 层 需要 算法 内 容 的 应 用 的 一 个 例子 ， 并 讨论 涉及 的 算法 的 功能 。 
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1.2-2 ”假设 我 们 正比 较 插 入 排序 与 归并 排序 在 相同 机 器 上 的 实现 。 对 规模 为 n 的 输入 ， 插 入 排 
序 运行 8r 步 ， 而 归并 排序 运行 64nlgn 步 。 问 对 哪些 nn 值 ， 插 入 排序 优 于 归并 排序 ? 

1.2-3 nn 的 最 小 值 为 何 值 时 ， 运 行 时 间 为 1007 的 一 个 算法 在 相同 机 器 上 快 于 运行 时 间 为 2" 的 
另 一 个 算法 ? 


思考 题 
1-1 (运行 时 间 的 比较 ) 假设 求解 问题 的 算法 需要 f(n) 毫 秒 ， 对 下 表 中 的 每 个 函数 f(n) 和 时 间 














t， 确 定 可 以 在 时 间 上 内 求解 的 问题 的 最 大 规模 nn。 
ioe | | i J _[ 18 
aod 
本 章 注 记 


关于 算法 的 一 般 主 题 存 在 许多 优秀 的 教科 书 ， 包 括 由 以 下 作者 编写 的 那些 : Aho、Hopcroft 
和 Ullman[5, 6], Baase 和 Van Gelder[ 28], Brassard 和 Bratley[54], Dasgupta, Papadimitriou 
和 Vazirani[82], Goodrich 和 Tamassia[ 148], Hofri[175], Horowitz, Sahni 和 Rajasekaran 
[181], Johnsonbaugh 和 Schaefer[ 193], Kingston[205], Kleinberg 和 Tardos[208], Knuth[209, 
210, 211], Kozen[220], Levitin[235], Manber[242], Mehlhorn[249, 250, 251], Purdom 和 
Brown[ 287], Reingold, Nievergelt 和 Deo[293], Sedgewick[306], Sedgewick 和 Flajolet[307], 
SkienaL318]， 以 及 Wilf[356]。Bentley[42，43] 和 Gonnet[145] 讨 论 了 算法 设计 的 一 些 更 实际 的 
方面 。 算 法 领域 的 全 面 评 述 也 可 以 在 4《 Handbook of Theoretical Computer Science, Volume A) 
[342] 以 及 CRC 出 版 的 《Algorithms and Theory of Computation Handbook》[25] 中 找到 。 计 算 生 物 
学 中 使 用 的 算法 的 概述 可 以 在 由 Gusfield[156], Pevzner[275], Setubal 和 Meidanis[ 310] 以 及 
Waterman[ 350] 编 写 的 教材 中 找到 。 
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算法 基础 


本 章 将 要 介绍 一 个 贯穿 本 书 的 框架 ,后续 的 算法 设计 与 分 析 都 是 在 这 个 框架 中 进行 的 。 这 
一 部 分 内 容 基本 上 是 独立 的 ， 但 也 有 对 第 3 章 和 第 4 章 中 一 些 内 容 的 引用 (本 章 也 包含 几 个 求 和 
的 式 子 ， 附 录 A 将 给 出 如 何 求 和 )。 

首先 ， 我 们 考察 求解 第 1 章 中 引入 的 排序 问题 的 插入 排序 算法 。 我 们 定义 一 种 对 于 已 经 编写 
过 计算 机 程序 的 读者 来 说 应 该 熟悉 的 “ 伪 代 码 ”， 并 用 它 来 表明 我 们 将 如 何 说 明 算 法 。 然 后 ， 在 说 
明了 插入 排序 算法 后 ， 我 们 将 证 明 该 算法 能 正确 地 排序 并 分 析 其 运行 时 间 。 这 种 分 析 引 入 了 一 
种 记号 ， 该 记号 关注 时 间 如 何 随 着 将 被 排序 的 项 数 而 增加 。 在 讨论 完 插 入 排序 之 后 ， 我 们 引入 用 
于 算法 设计 的 分 治 法 并 使 用 这 种 方法 开发 一 个 称 为 归并 排序 的 算法 。 最 后 ， 我 们 分 析 归 并 排序 
的 运行 时 间 。 


2.1 插入 排序 


我 们 的 第 一 个 算法 (插入 排序 ) 求 解 第 1 章 中 引入 的 排序 问题 : 

输入 : n 个 数 的 一 个 序列 (a ， r *y Ando 

输出 : 输入 序列 的 一 个 排列 (ql ，as ，…，a,)， 满 足 aKa, SKa. 

我 们 希望 排序 的 数 也 称 为 关键 词 。 虽 然 概 念 上 我 们 在 排序 一 个 序列 ， 但 是 输入 是 以 n 个 元 素 
的 数组 的 形式 出 现 的 。 

本 书 中 ， 我 们 通常 将 算法 描述 为 用 一 种 伪 代 码 书写 的 程序 ， 该 伪 代 码 在 许多 方面 类 似 于 C 
C 十 十 、Java、Python 或 Pascal。 如 果 你 学 过 这 些 语 言 中 的 任何 一 种 ， 那 么 在 阅读 我 们 的 算法 时 
应 该 没有 困难 。 伪 代码 与 真 码 的 区 别 在 于 ， 在 伪 代 码 中 ， 我 们 使 用 最 清晰 、 最 简洁 的 表示 方法 来 
说 明 给 定 的 算法 。 有 时 最 清晰 的 表示 方法 是 英语 ， 所 以 如 果 你 遇 到 一 个 英文 短语 或 句子 供 人 在 
一 段 真 码 中 就 不 要 吃惊 。 伪 代码 与 真 码 的 另 一 个 区 别 是 伪 代 码 通常 不 关心 软件 工程 的 问题 。 为 
了 更 简洁 地 表达 算法 的 本 质 ， 和 常常 忽略 数据 抽象 、 模 块 性 和 错误 处 理 的 问题 。 

我 们 首先 介绍 插入 排序 ， 对 于 少量 元 素 的 排序 ， 它 是 一 个 有 效 的 算法 。 插 入 排序 的 工作 方式 
像 许多 人 排序 一 手 扑克 牌 。 开 始 时 ， 我 们 的 左手 为 空 并 且 桌 子 上 的 牌 面向 下 。 然 后 ， 我 们 每 次 从 
桌子 上 拿 走 一 张 牌 并 将 它 插 人 左手 中 正确 的 位 置 。 
为 了 找到 一 张 牌 的 正确 位 置 ， 我 们 从 右 到 左 将 它 与 
已 在 手中 的 每 张 牌 进行 比较 ， 如 图 2-1 所 示 。 拿 在 
左手 上 的 牌 总 是 排序 好 的 ， 原 来 这 些 牌 是 桌子 上 牌 
堆 中 顶部 的 牌 。 

对 于 插入 排序 ， 我 们 将 其 伪 代 码 过 程 命名 为 
INSERTION-SORT， 其 中 的 参数 是 一 个 数组 AL.. n], 
包含 长 度 为 的 要 排序 的 一 个 序列 。( 在 代码 中 ，A 
中 元 素 的 数目 n HA. length 来 表示 。) 该 算法 原址 排 
序 输 入 的 数 : 算法 在 数组 A 中 重 排 这 些 数 ， 在 任何 
时 候 ， 最 多 只 有 其 中 的 常数 个 数字 存储 在 数组 外 
面 。 在 过 程 INSERTION-SORT 结束 时 ， 输 入 数组 
人 包含 排序 好 的 输出 序列 。 图 2-1 使 用 插入 排序 来 排序 手中 扑克 牌 
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INSERTION-SORT(A): ， 
1 forj = 2 to A. length 
2 key = ALj] 
3 // Insert A[j] into the sorted sequence A[1..7 — 1]. 
4 i=j-1 
5 while i > 0 and Afi] > key 
6 A[i+1] = AÇ] 
7 i=i-1 
8 Alit1] =key 

循环 不 变 式 与 插入 排序 的 正确 性 

图 2-2 表明 对 A 二 (5，2，4，6，1，3) 该 算法 如 何 工 作 。 下 标 j 指出 正 被 插 和 人 到 手中 的 “当前 
牌 ”。 在 for 循环 (循环 变量 为 力 的 每 次 迭代 的 开始 ， 包 含 元 素 A[L1. .一 1] 的 子 数 组 构成 了 当前 
排序 好 的 左手 中 的 牌 ， 剩余 的 子 数组 A[j 十 1..nj 对 应 于 仍 在 桌子 上 的 牌 堆 。 事 实 上 ， 元 素 
A[1..j 一 1] 就 是 原来 在 位 置 1 到 j 一 1 的 元 素 ， 但 现在 已 按 序 排列 。 我 们 把 ALL. . ;一 1j 的 这 些 性 
质 形 式 地 表示 为 一 个 循环 不 变 式 : 

在 第 1 一 8 行 的 for 循环 的 每 次 移 代 开始 时 ， 子 数组 A[1..j 一 1] 由 原来 在 A[1..j 一 1] 
中 的 元 素 组 成 ， 但 已 按 序 排列 。 


下 1 ke 4 S26 L 2.3 4 5:6 
w [sD] œ Wil o 
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图 2-2 在 数组 A=(5，2，4，6，]1，3) 上 INSERTION-SORT 的 操作 。 数 组 下 标 出 现在 长 方形 
的 上 方 ， 数 组 位 置 中 存储 的 值 出 现在 长 方形 中 。(a) 一 (e) 第 1 一 8 FF for 循环 的 迭代 。 每 
KERF, 黑色 的 长 方形 保存 取 自 A[ 门 的 关键 字 ， 在 第 5 行 的 测试 中 将 它 与 其 左边 的 加 
阴影 的 长 方形 中 的 值 进 行 比较 。 加 阴影 的 箭头 指出 数组 值 在 第 6 行 向 右 移动 一 个 位 置 ， 
黑色 的 箭头 指出 在 第 8 行 关键 字 被 移 到 的 地 方 。(f) 最 终 排 序 好 的 数组 


循环 不 变 式 主要 用 来 帮助 我 们 理解 算法 的 正确 性 。 关 于 循环 不 变 式 ， 我 们 必须 证 明 三 条 
性 质 : 

初始 化 : 循环 的 第 一 次 迭代 之 前 ， 它 为 真 。 

保持 : 如 果 循 环 的 某 次 迭代 之 前 它 为 真 ， 那 么 下 次 迭代 之 前 它 仍 为 真 。 

终止 : 在 循环 终止 时 ， 不 变 式 为 我 们 提供 一 个 有 用 的 性 质 ， 该 性 质 有 助 于 证 明 算 法 是 正 
确 的 。 
当前 两 条 性 质 成 立时 ， 在 循环 的 每 次 迭代 之 前 循环 不 变 式 为 真 。( 当 然 ， 为 了 证 明 循 环 不 变 
式 在 每 次 迭代 之 前 保持 为 真 ， 我 们 完全 可 以 使 用 不 同 于 循环 不 变 式 本 身 的 其 他 已 证 实 的 事实 。》 
注意 ， 这 类 似 于 数学 归纳 法 ， 其 中 为 了 证 明 某 条 性 质 成 立 ， 需 要 证 明 一 个 基本 情况 和 一 个 归纳 
步 。 这 里 ,证 明 第 一 次 迭代 之 前 不 变 式 成 立 对 应 于 基本 情况 ， 证 明 从 一 次 迭代 到 下 一 次 迭代 不 变 
式 成 立 对 应 于 归纳 步 。 

第 三 条 性 质 也 许 是 最 重要 的 ， 因 为 我 们 将 使 用 循环 不 变 式 来 证 明正 确 性 。 通 常 ， 我们 和 导致 
循环 终止 的 条 件 一 起 使 用 循环 不 变 式 。 终 止 性 不 同 于 我 们 通常 使 用 数学 归纳 法 的 做 法 ， 在 归纳 
法 中 ， 归 纳 步 是 无 限 地 使 用 的 ， 这 里 当 循 环 终 止 时 ,停止 “归纳 ”。 

让 我 们 看 看 对 于 插入 排序 ， 如 何 证 明 这 些 性 质 成 立 。 
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初始 化 : 首先 证 明 在 第 一 次 循环 迭代 之 前 ( 当 j= 二 2 时 )， TER ARO, 所 以 子 数组 
A[1..j 一 1] 仅 由 单个 元 素 A[1] 组 成 ,实际 上 就 是 A[1] 中 原来 的 元 素 。 而 且 该 子 数组 是 排序 好 的 
(当然 很 平凡 )。 这 表明 第 一 次 循环 迭代 之 前 循环 不 变 式 成 立 。 

保持 : 其 次 处 理 第 二 条 性 质 : 证 明 每 次 迭代 保持 循环 不 变 式 。 非 形式 化 地 ，for 循环 体 的 第 
4 一 7 行将 AL[j 一 1]、A[j 一 2]、A[j 一 3j 等 向 右 移动 一 个 位 置 ， 直 到 找到 A[Ljj] 的 适当 位 置 , 第 8 
行将 A[ 门 的 值 插入 该 位 置 。 这 时 子 数组 A[1. .让 由 原来 在 A[1. .四 中 的 元 素 组 成 ,但 已 按 序 排 
列 。 那 么 对 for 循环 的 下 一 次 迭代 增加 j 将 保持 循环 不 变 式 。 

第 二 条 性 质 的 一 种 更 形式 化 的 处 理 要 求 我 们 对 第 5 一 7 行 的 while 循环 给 出 并 证 明 一 个 循环 不 
变 式 。 然 而 ， 这 里 我 们 不 愿 陷 人 形式 主义 的 困境 ， 而 是 依赖 以 上 非 形式 化 的 分 析 来 证 明 第 二 条 性 
质 对 外 层 循环 成 立 。 

终止 : 最 后 研究 在 循环 终止 时 发 生 了 什么 。 导 致 for 循环 终止 的 条 件 是 7 >A. length=n. Al 
为 每 次 循环 迭代 j 增加 1， 那 么 必 有 j= 二 =n 十 1。 在 循环 不 变 式 的 表述 中 将 j 用 nn 十 1 代替 ， 我 们 有 : 
子 数组 A[1. .nj 由 原来 在 A[1.. 巴 中 的 元 素 组 成 ,但 已 按 序 排列 。 注 意 到 ， 子 数组 AL1. .nj 就 是 整 
个 数组 ， 我 们 推断 出 整个 数组 已 排序 。 因 此 算法 正确 。 

在 本 章 后 面 以 及 其 他 章 中 ， 我 们 将 采用 这 种 循环 不 变 式 的 方法 来 证 明 算法 的 正确 性 。 

伪 代 码 中 的 一 些 约定 

我 们 在 伪 代 码 中 采用 以 下 约定 : 

。 缩 进 表 示 块 结构 。 例 如 ， 第 1 行 开 始 的 for 循环 体 由 第 2 一 8 行 组 成 ， 第 5 行 开 始 的 while 
循环 体 包含 第 6 一 7 行 但 不 包含 第 8 行 。 我 们 的 缩 进 风 格 也 适用 于 if-else 语句 。 采 用 缩 
进来 代替 常规 的 块 结 构 标 志 ， 如 begin 和 end 语句 ， 可 以 大 大 提高 代码 的 清晰 性 。 
while, for 与 repeat-until 等 循环 结构 以 及 if-else 等 条 件 结构 与 C、C 十 十 、Java、Python 
和 Pascal 中 的 那些 结构 具有 类 似 的 解释 2 。 不 像 某 些 出 现 于 CHH, Java 和 Pascal 中 的 情 
况 ， 本 书 中 在 退出 循环 后 ， 循 环 计数 器 保持 其 值 。 因 此 ， 紧 接 在 一 个 for 循环 后 ， 循 环 
计数 器 的 值 就 是 第 一 个 超出 for 循环 界限 的 那个 值 。 在 证 明 插 入 排序 的 正确 性 时 ， 我 们 
使 用 了 该 性 质 。 第 1 行 的 for 循环 头 为 for j=2 to A. length， 所 以 ， 当 该 循环 终止 时 ， 
j=A. length 十 1( 或 者 等 价 地 ，j 二 n 十 1， 因 为 n= 二 A. length)。 当 一 个 for 循环 每 次 迭代 增 
加 其 循环 计数 器 时 ， 我 们 使 用 关键 词 to。 当 一 个 for 循环 每 次 迭代 减少 其 循环 计数 器 时 ， 
我 们 使 用 关键 词 downto。 当 循环 计数 器 以 大 于 1 的 一 个 量 改变 时 ， 该 改变 量 跟 在 可 选 关 
键 词 by 之 后 。 
符号 “//”" 表 示 该 行 后 面部 分 是 个 注释 。 

形 如 i=j=e 的 多 重 赋值 将 表达 式 e 的 值 赋 给 变量 i 和 j; 它 应 被 处 理 成 等 价 于 赋值 j =e 
后 跟着 赋值 ;一 7 。 

。 ZREN i, j 和 Aey) 是 局 部 于 给 定 过 程 的 。 若 无 显 式 说 明 ， 我 们 不 使 用 全 局 变量 。 

数组 元 素 通 过 “数组 名 [下 标 ]” 这 样 的 形式 来 访问 。 例 如 ，A[ 站 表示 数组 A 的 第 i 个 元 素 。 
记号 “.. ”用 于 表示 数组 中 值 的 一 个 范围 ， 这 样 ，A[1. .让 表示 A 的 一 个 子 数组 ， 它 包含 j 
个 元 素 A[1], AL2], =, AD]. 


OQ MMA for 循环 时 ， 在 第 一 次 迭代 开始 之 前 ， 我 们 将 检查 循环 不 变 式 的 时 刻 是 在 对 循环 计数 变量 的 初始 赋值 
后 、 在 循环 头 的 第 一 次 测试 之 前 。 对 INSERTION-SORT， 这 个 时 刻 就 是 把 2 赋 给 变量 j 之 后 但 在 第 一 次 测试 
JSA. length 是 否 成 立 之 前 。 

© 在 if-else 语句 中 ， 我们 缩 进 else 到 其 匹配 的 让 相同 的 层次 。 虽 然 省 略 了 关键 词 then， 但 是 我 们 偶尔 把 紧 跟 if 的 测 
试 为 真 时 执行 的 部 分 称 为 一 个 then 子 句 。 对 于 多 路 测试 ， 在 第 一 个 测试 之 后 ， 使 用 elseif 来 测试 。 

© 大 多 数 块 结构 化 语言 虽然 其 准确 句法 也 许 不 同 ， 但 却 具 有 等 价 的 结构 。Python 缺乏 repeat-until 循环 并 且 其 for 
循环 操作 与 本 书 中 的 for 循环 有 些 不 同 。 
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复合 数据 通常 被 组 织 成 对 象 ， 对 象 又 由 属性 组 成 。 我 们 使 用 许多 面向 对 象 编程 语言 中 创 
建 的 句法 来 访问 特定 的 属性 : 对 象 名 后 跟 一 个 点 再 跟 属性 名 。 例 如 ， 数 组 可 以 看 成 是 一 
个 对 象 ， 它 具有 属性 length， 表 示 数 组 包含 多 少 元 素 ， 如 A. length 就 表示 数组 A 中 的 元 
RBA. 

我 们 把 表示 一 个 数组 或 对 象 的 变量 看 做 指向 表示 数组 或 对 象 的 数据 的 一 个 指针 。 对 于 
某 个 对 象 工 的 所 有 属性 fo 赋值 y= 二 xz 导致 y fF x. fo 进一步 ， 若 现在 置 x. f=3, W 
赋值 后 不 但 zx. f 等 于 3， 而 且 y f 也 等 于 3。 换 句 话 说 ， 在 赋值 y= ji, xA y 指向 相 
同 的 对 象 。 

我 们 的 属性 记号 可 以 “串联 ”。 例 如 ， 假 设 属性 f 本 身 是 指向 某 种 类 型 的 具有 属性 g 
的 对 象 的 一 个 指针 。 那 么 记号 x. f. g 被 隐 含 地 加 括号 成 (z. 有).g。 换 句 话 说 ， 如 果 已 经 
赋值 y=z. f, HA z. f.g 与 y. g 相同 。 

有 时 ， 一 个 指针 根本 不 指向 任何 对 象 。 这 时 ， 我 们 赋 给 它 特殊 值 NIL. 
我 们 按 值 把 参数 传递 给 过 程 : 被 调用 过 程 接收 其 参数 自身 的 副本 。 如 果 它 对 某 个 参数 赋 
值 ， 调 用 过 程 看 不 到 这 种 改变 。 当 对 象 被 传递 时 ， 指 向 表示 对 象 数 据 的 指针 被 复制 ， 而 
对 象 的 属性 却 未 被 复制 。 例 如 ， 如 果 xz 是 某 个 被 调用 过 程 的 参数 ， 在 被 调用 过 程 中 的 赋 
{i c= y 对 调用 过 程 是 不 可 见 的 。 然 而 ， 赋 值 xz. f=3 却 是 可 见 的 。 类 似 地 ， 数 组 通过 指 
针 来 传递 ， 结 果 指 向 数组 的 一 个 指针 被 传递 ， 而 不 是 整个 数组 ， 单 个 数组 元 素 的 改变 对 
调用 过 程 是 可 见 的 。 
一 个 return 语句 立即 将 控制 返回 到 调用 过 程 的 调用 点 。 大 多 数 return 语句 也 将 一 个 值 传 
递 回调 用 者 。 我 们 的 伪 代 码 与 许多 编程 语言 不 同 ， 因 为 我 们 允许 在 单一 的 return 语句 中 
返回 多 个 值 。 
布尔 运算 符 “and” 和 “or” 都 是 短路 的 。 也 就 是 说 ， 当 求 值 表达 式 “x and y” 时 ， 首 先 求 值 
xo WIR z 求 值 为 FALSE， 那 么 整个 表达 式 不 可 能 求 值 为 TRUE， 所 以 不 再 求 值 y。 另 
Sb, WMR x RHA TRUE, ABA RMADRA y 以 确定 整个 表达 式 的 值 。 类 似 地 ， 对 表达 
式 “z or y”, NH x RIAA FALSE RY, 才 求 值 表达 式 y。 短 路 的 运算 符 使 我 们 能 书写 像 
“ANIL and x. f 二 y” 这 样 的 布尔 表达 式 ， 而 不 必 担 心 当 工 为 NIL 时 我 们 试图 求 值 x. f 
将 会 发 生 什么 情况 。 
关键 词 error 表示 因为 已 被 调用 的 过 程 情况 不 对 而 出 现 了 一 个 错误 。 调 用 过 程 负责 处 理 该 
错误 ， 所 以 我 们 不 用 说 明 将 采取 什么 行动 。 


以 图 2-2 为 模型 ， 说 明 INSERTION-SORT 在 数组 A=(31, 41, 59, 26, 41, 58) EK AYTH 
THE. 

重 写 过 程 INSERTION-SORT， 使 之 按 非 升 序 (而 不 是 非 降序 ) 排 序 。 

考虑 以 下 查找 问题 : 

输入 : nn 个 数 的 一 个 序列 A 二 《a ，as，…，a,) 和 一 个 值 v。 

输出 : 下 标 i 使 得 v 二 A[i] 或 者 当 v 不 在 A 中 出 现时 ，z 为 特殊 值 NIL, 

写 出 线性 查找 的 伪 代 码 ， 它 扫描 整个 序列 来 查找 v。 使 用 一 个 循环 不 变 式 来 证 明 你 的 算法 
是 正确 的 。 确 保 你 的 循环 不 变 式 满足 三 条 必要 的 性 质 。 

考虑 把 两 个 n 位 二 进 制 整数 加 起 来 的 问题 ， 这 两 个 整数 分 别 存储 在 两 个 元 数组 A 和 B 
中 。 这 两 个 整数 的 和 应 按 二 进 制 形式 存储 在 一 个 (n 十 1) 元 数组 C 中 。 请 给 出 该 问题 的 形 
式 化 描述 ， 并 写 出 伪 代 码 。 
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2.2 分 析 算 法 

分 析 算 法 的 结果 意味 着 预测 算法 需要 的 资源 。 虽 然 有 时 我 们 主要 关心 像 内 存 、 通 信 带 宽 或 
计算 机 硬件 这 类 资源 ， 但 是 通常 我 们 想 度量 的 是 计算 时 间 。 一 般 来 说 ， 通 过 分 析 求 解 某 个 问题 的 
几 种 候选 算法 ， 我 们 可 以 选 出 一 种 最 有 效 的 算法 。 这 种 分 析 可 能 指出 不 止 一 个 可 行 的 候选 算法 ， 
但 是 在 这 个 过 程 中 ， 我 们 往往 可 以 抛弃 几 个 较 差 的 算法 。 

在 能 够 分 析 一 个 算法 之 前 ， 我 们 必须 有 一 个 要 使 用 的 实现 技术 的 模型 ， 包 括 描述 所 用 资源 
及 其 代价 的 模型 。 对 本 书 的 大 多 数 章节 ， 我 们 假定 一 种 通用 的 单 处 理 器 计算 模型 一 一 随机 访问 
机 (random-access machine，RAMD) 来 作为 我 们 的 实现 技术 ， 算 法 可 以 用 计算 机 程序 来 实现 。 在 
RAM 模型 中 ， 指 令 一 条 接 一 条 地 执行 ， 没 有 并 发 操作 。 

严格 地 说 ， 我 们 应 该 精确 地 定义 RAM 模型 的 指令 及 其 代价 。 然 而 ， 这 样 做 既 乏 味 又 对 算法 
的 设计 与 分 析 没 有 多 大 意义 。 我 们 还 要 注意 不 能 滥用 RAM 模型 。 例 如 ， 如 果 一 台 RAM 有 一 条 
排序 指令 ， 会 怎样 呢 ? 这 时 ， 我 们 只 用 一 条 指令 就 能 排序 。 这 样 的 RAM 是 不 现实 的 ， 因 为 真实 
的 计算 机 并 没有 这 样 的 指令 。 所 以 ， 我 们 的 指导 性 意见 是 真实 计算 机 如 何 设计 ，RAM 就 如 何 设 
计 。RAM 模型 包含 真实 计算 机 中 常见 的 指令 : 算术 指令 (如 加 法 、 减 法 、 乘 法 、 除 法 、 取 余 、 
向 下 取 整 、 向 上 取 整 ) 、 数 据 移动 指令 ( 装 和 人 、 存 储 、 复 制 ) 和 控制 指令 (条 件 与 无 条 件 转移 、 子 程 
序 调用 与 返回 ) 。 每 条 这 样 的 指令 所 需 时 间 都 为 常量 。 

RAM 模型 中 的 数据 类 型 有 整数 型 和 浮 点 实数 型 。 虽 然 在 本 书 中 ， 我 们 一 般 不 关心 精度 ， 但 
是 在 某 些 应 用 中 ， 精 度 是 至 关 重 要 的 。 我 们 还 对 每 个 数据 字 的 规模 假定 一 个 范围 。 例 如 ， 当 处 理 
规模 为 n 的 输入 时 ， 我 们 一 般 假定 对 某 个 大 于 等 于 1 的 常量 <， 整数 由 clgn 位 来 表示 。 我 们 要 求 
CREF 1， 这 样 每 个 字 都 可 以 保存 n 的 值 ， 从 而 使 我 们 能 索引 单个 输入 元 素 。 我 们 限制 c 为 
常量 ， 这 样 字 长 就 不 会 任意 增长 。( 如 果 字 长 可 以 任意 增长 ， 我 们 就 能 在 一 个 字 中 存储 巨 量 的 数 
据 ， 并 且 其 上 的 操作 都 在 常量 时 间 内 进行 ， 这 种 情况 显然 不 现实 。) 

真实 的 计算 机 包含 一 些 上 面 未 列 出 的 指令 ， 这 些 指令 代表 了 RAM 模型 中 的 一 个 灰色 区 域 。 
例如 ， 指 数 运算 是 一 条 常量 时 间 的 指令 吗 ? 一 般 情况 下 不 是 ; 当 z Aly 都 是 实数 时 ， 计 算 oe 需 
要 若干 条 指令 。 然 而 ， 在 受 限 情况 下 ， 指 数 运算 又 是 一 个 常量 时 间 的 操作 。 许 多 计算 机 都 有 “ 左 
移 ” 指 令 ， 它 在 常量 时 间 内 将 一 个 整数 的 各 位 向 左 移 有 位。 在 大 多 数 计算 机 中 ， 将 一 个 整数 的 各 
位 向 左 移 一 位 等 价 于 将 该 整数 乘 以 2， 结 果 将 一 个 整数 的 各 位 向 左 移 & 位 等 价 于 将 该 整数 乘 以 
2*。 所 以 ， 只 要 上 不 大 于 一 个 计算 机 字 中 的 位 数 ， 这 样 的 计算 机 就 可 以 由 一 条 常量 时 间 的 指令 来 
计算 2 ， 即 将 整数 1 向 左 移 & 位 。 我 们 尽量 避免 RAM 模型 中 这 样 的 灰色 区 域 ， 但 是 ， 当 & 是 一 
个 足够 小 的 正 整数 时 ， 我 们 将 把 2 的 计算 看 成 一 个 常量 时 间 的 操作 。 

在 RAM 模型 中 ， 我 们 并 不 试图 对 当代 计算 机 中 常见 的 内 存 层次 进行 建 模 。 也 就 是 说 ， 我 们 
没有 对 高 速 缓存 和 虚拟 内 存 进行 建 模 。 几 种 计算 模型 试图 解释 内 存 层 次 的 影响 ， 对 真实 计算 机 
上 运行 的 真实 程序 ， 这 种 影响 有 时 是 重大 的 。 本 书 中 的 一 些 问题 考查 了 内 存 层次 的 影响 ， 但 是 本 
书 的 大 部 分 分 析 将 不 考虑 这 些 影响 。 与 RAM 模型 相 比 ， 包 含 内 存 层次 的 模型 要 复杂 得 多 ， 所 以 
可 能 难于 使 用 。 此 外 ，RAM 模型 分 析 通 常 能 够 很 好 地 预测 实际 计算 机 上 的 性 能 。 

采用 RAM 模型 即使 分 析 一 个 简单 的 算法 也 可 能 是 一 个 挑战 。 需 要 的 数学 工具 可 能 包括 组 合 
学 、 概 率 论 、 代 数 技巧 ， 以 及 识别 一 个 公式 中 最 有 意义 的 项 的 能 力 。 因 为 对 每 个 可 能 的 输入 ， 算 
法 的 行为 可 能 不 同 ， 所 以 我 们 需要 一 种 方法 来 以 简单 的 、 易 于 理解 的 公式 的 形式 总 结 那 样 的 行为 。 

即使 我 们 通常 只 选择 一 种 机 器 模型 来 分 析 某 个 给 定 的 算法 ， 在 决定 如 何 表达 我 们 的 分 析 时 
仍然 面临 许多 选择 。 我 们 想 要 一 种 表示 方法 ， 它 的 书写 和 处 理 都 比较 简单 ， 并 能 够 表明 算法 资源 
需求 的 重要 特征 ， 同 时 能 够 抑制 乏味 的 细节 。 
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插入 排序 算法 的 分 析 

过 程 INSERTION-SORT 需要 的 时 间 依 赖 于 输入 : 排序 1 000 个 数 比 排序 三 个 数 需要 更 长 的 
时 间 。 此 外 ， 依 据 它 们 已 被 排序 的 程度 ，INSERTION-SORT 可 能 需要 不 同 数量 的 时 间 来 排序 两 
个 具有 相同 规模 的 输入 序列 。 一 般 来 说 ， 算 法 需要 的 时 间 与 输入 的 规模 同步 增长 ， 所 以 通常 把 一 
个 程序 的 运行 时 间 描 述 成 其 输入 规模 的 函数 。 为 此 ， 我 们 必须 更 仔细 地 定义 术语 “运行 时 间 ” 和 

“输入 规模 ”。 

输入 规模 的 最 佳 概念 依赖 于 研究 的 问题 。 对 许多 问题 ， 如 排序 或 计算 离散 傅 里 叶 变 换 ， 最 自 
然 的 量度 是 输入 中 的 项 数 ， 例 如 ， 待 排序 数组 的 规模 xz。 对 其 他 许多 问题 ， 如 两 个 整数 相 乘 ， 输 
入 规模 的 最 佳 量度 是 用 通常 的 二 进 制 记 号 表示 输入 所 需 的 总 位 数 。 有 时 ， 用 两 个 数 而 不 是 一 个 
数 来 描述 输入 规模 可 能 更 合适 。 例 如 ， 若 某 个 算法 的 输入 是 一 个 图 ， 则 输入 规模 可 以 用 该 图 中 的 
顶点 数 和 边 数 来 描述 。 对 于 研究 的 每 个 问题 ， 我 们 将 指出 所 使 用 的 输入 规模 量度 。 

一 个 算法 在 特定 输入 上 的 运行 时 间 是 指 执行 的 基本 操作 数 或 步 数 。 定 义 “ 步 ”的 概念 以 便 尽 
量 独立 于 机 器 是 方便 的 。 目 前 ， 让 我 们 采纳 以 下 观点 ， 执 行 每 行 伪 代 码 需要 常量 时 间 。 虽 然 一 行 
与 另 一 行 可 能 需要 不 同 数量 的 时 间 ， 但 是 我 们 假定 第 i 行 的 每 次 执行 需要 时 间 c;， 其 中 c; 是 一 个 
常量 。 这 个 观点 与 RAM 模型 是 一 致 的 ， 并 且 也 反映 了 伪 代 码 在 大 多 数 真实 计算 机 上 如 何 实现 。 

在 下 面 的 讨论 中 ， 我们 由 繁 到 简 地 改进 INSERTION-SORT 运行 时 间 的 表达 式 ， 最 初 的 公式 
使 用 所 有 语句 代价 c;:， 而 最 终 的 记号 则 更 加 简明 、 更 容易 处 理 ， 简 单 得 多 。 这 种 较 简 单 的 记号 比 
较 易 于 用 来 判定 一 个 算法 是 否 比 另 一 个 更 有 效 。 

我 们 首先 给 出 过 程 INSERTION-SORT 中 ,每 条 语句 的 执行 时 间 和 执行 次 数 。 对 7 一 2， 
3，…，7m， 其 中 n=A. length, (RB t; 表示 对 那个 值 7 第 5 行 执行 while 循环 测试 的 次 数 。 当 一 个 
for 或 while 循环 按 通常 的 方式 ( 即 由 于 循环 头 中 的 测试 ) 退 出 时 ， 执 行 测试 的 次 数 比 执行 循环 体 

的 次 数 多 1。 我 们 假定 注释 是 不 可 执行 的 语句 ， 所 以 它们 不 需要 时 间 。 


INSERTION-SORT(A) 代价 wR 

1 forj = 2 to A. length cl n 

2 key = ALi] C2 n—1 

3 // Insert A[j] into the sorted sequence A[1..j — 1]. 0 w= 

4 i=j-1 c R= 

5 while i > 0 and A[i] > key cs Sy 
1 一 2 

6 A[i+1] = ALi] cs Ce) 
j=2 

7 i=i-1 c = 
yn? 


8 AL 十 1] = key Cs nT 


该 算法 的 运行 时 间 是 执行 每 条 语句 的 运行 时 间 之 和 。 需 要 执行 o 步 且 执行 n 次 的 一 条 语句 
将 贡献 cm 给 总 运行 时 间 。 为 计算 在 具有 个 值 的 输入 上 INSERTION-SORT 的 运行 时 间 T[nj， 
我 们 将 代价 与 次 数列 对 应 元 素 之 积 求 和 ， 得 : 


Tn) = ontecln—l)+eln—D)+e 4 tes) G —D +a UG -—D+e(n—1) 
j=2 j=2 pre 


这 里 有 一 些微 妙 的 东西 。 我 们 用 英语 说 明 的 计算 步 往往 是 一 个 过 程 的 变种 ， 该 过 程 需要 的 时 间 不 止 一 个 常量 。 
例如 ， 本 书后 面 可 能 会 说 “ 按 zx 坐标 排序 这 些 点 "， 正 如 我 们 将 看 到 的 ， 该 计算 步 需 要 的 时 间 多 于 一 个 常量 。 注 
意 到 ， 一 个 调用 子 程序 的 语句 也 需要 常量 时 间 ， 尽 管 该 子 程序 一 旦 被 调用 可 能 需要 更 多 时 间 。 也 就 是 说 ， 我 们 
区 分 调用 子 程序 的 过 程 (传递 参数 到 该 子 程序 等 ) 与 执行 该 子 程序 的 过 程 。 

加 ”该 特性 对 像 内 存 这 样 的 资源 不 必 成 立 。 访 问 m 个 存储 字 且 执行 n 次 的 一 条 语句 不 必 访 问 mn 个 不 同 的 存储 字 。 
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即使 对 给 定 规模 的 输入 ， 一 个 算法 的 运行 时 间 也 可 能 依赖 于 给 定 的 是 该 规模 下 的 哪个 输入 。 
例如 ,在 INSERTION-SORT F, 若 输入 数组 已 排 好 序 ， 则 出 现 最 佳 情况 。 这 时 ， 对 每 个 7) 一 2， 
3r My 我 们 发 现在 第 5 行 ， 当 i 取 其 初 值 j 一 1 时 ， 有 AlLil<key. 从 而 对 7 一 2， 3, °° My 
有 4 二 1， 该 最 佳 情况 的 运行 时 间 为 : 

Tn) = an 二 cln—1)++a(n—1)++cec(n—1)++c (nm—1) 
二 (Gl 十 G2 十 G4 十 Gs 十 cs)n 一 《cz 十 4 十 cs 十 cs) 
我 们 可 以 把 该 运行 时 间 表 示 为 an 十 86， 其 中 常量 a 和 ?依赖 于 语句 代价 c;。 因 此 ， 它 是 n 的 线性 
函数 。 

若 输 入 数组 已 反 向 排序 ， 即 按 递减 序 排 好 序 ， 则 导致 最 坏 情 况 。 我 们 必须 将 每 个 元 素 AL] 
与 整个 已 排序 子 数组 A[1..j 一 1j 中 的 每 个 元 素 进行 比较 ， 所 以 对 j 二 2，3，…，n， 有 二 j。 注 
意 到 
Sy af "ntl 


j=2 


和 
Se _ n(n—1) 
iD aan 
(对 于 如 何 求 和 ， 请 参见 附录 A) ， 我 们 发 现在 最 坏 情况 下 ，INSERTION-SORT 的 运行 时 间 为 
Tin) = antan- D+- +a 1) 


十 ai( #4 E2) +a (2) 十 an 一 1) 


= (24+24+23)8+(atata+$—-2-—S+a)e 
— (ce, +e, +5 Hc) 

我 们 可 以 把 该 最 坏 情 况 运 行 时 间 表 示 为 an* 十 bn 十 c:， 其 中 常量 a、b 和 * 又 依赖 于 语句 代价 c;。 因 
此 , 它 是 的 二 次 函数 。 

虽然 在 以 后 的 章节 中 我 们 将 看 到 一 些 有 趣 的 “随机 化 ”算法 ， 即 使 对 固定 的 输入 ， 其 行为 也 可 
能 变化 ， 但 是 通常 的 情况 是 像 插入 排序 那样 ， 算 法 的 运行 时 间 对 给 定 的 输入 是 固定 的 。 

最 坏 情 况 与 平均 情况 分 析 

在 分 析 插 入 排序 时 ， 我 们 既 研 究 了 最 佳 情 况 ， 其 中 输入 数组 已 排 好 序 ， 又 研究 了 最 坏 情 况 ， 
其 中 输入 数组 已 反 向 排 好 序 。 然 而 ， 在 本 书 的 余下 部 分 中 ， 我 们 往往 集中 于 只 求 最 坏 情况 运行 时 
间 ， 即 对 规模 为 n 的 任何 输入 ， 算法 的 最 长 运行 时 间 。 下 面 给 出 这 样 做 的 三 点 理由 : 

。 一 个 算法 的 最 坏 情况 运行 时 间 给 出 了 任何 输入 的 运行 时 间 的 一 个 上 界 。 知 道 了 这 个 界 ， 
就 能 确保 该 算法 绝 不 需要 更 长 的 时 间 。 我 们 不 必 对 运行 时 间 做 某 种 复杂 的 猜测 并 可 以 期 
望 它 不 会 变 得 更 坏 。 
对 某 些 算法 ， 最 坏 情 况 经 常 出 现 。 例 如 ， 当 在 数据 库 中 检索 一 条 特定 信息 时 ， 若 该 信息 
不 在 数据 库 中 出 现 ， 则 检索 算法 的 最 坏 情况 会 经 常 出 现 。 在 某 些 应 用 中 ， 对 缺失 信息 的 
检索 可 能 是 频繁 的 。 
。“ 平 均 情况 ”往往 与 最 坏 情 况 大 致 一 样 差 。 假 定 随机 选择 ”个 数 并 应 用 插入 排序 。 需 要 多 

长 时 间 来 确定 在 子 数组 AL1. .一 1] 的 什么 位 置 插入 元 素 A[j]? 平均 来 说 ，A[1..j 一 1] 

中 的 一 半 元 素 小 于 AL] 一 半 元 素 大 于 AL]. FU, 平均 来 说 ,我 们 检查 子 数组 

AL1..j 一 1] 的 一 半 ， 那么 大 约 为 j/2。 导 致 的 平均 情况 运行 时 间 结 果 像 最 坏 情 况 运行 

时 间 一 样 ， 也 是 输入 规模 的 一 个 二 次 函数 。 
在 某 些 特定 情况 下 ， 我 们 会 对 一 个 算法 的 平均 情况 运行 时 间 感 兴趣 ; 贯穿 于 本 书 ， 我们 将 看 
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到 概率 分 析 技术 被 用 于 各 种 算法 。 平 均 情 况 分 析 的 范围 有 限 ， 因 为 对 于 特定 的 问题 ， 什 么 构成 一 
种 “平均 ”输入 并 不 明显 。 我 们 常常 假定 给 定 规模 的 所 有 输入 具有 相同 的 可 能 性 。 实 际 上 ， 该 假设 
可 能 不 成 立 , 但 是 ， 有 时 可 以 使 用 随机 化 算法 ， 它 做 出 一 些 随 机 的 选择 ， 以 允许 进行 概率 分 析 并 
产生 某 个 期 望 的 运行 时 间 。 在 第 5 章 以 及 后 续 的 其 他 几 章 中 ， 我 们 将 进一步 探究 随机 化 算法 。 

增长 量 级 

我 们 使 用 某 些 简 化 的 抽象 来 使 过 程 INSERTION-SORT 的 分 析 更 加 容易 。 首 先 ， 通 过 使 用 常 
量 c; 表示 这 些 代价 来 忽略 每 条 语句 的 实际 代价 。 其 次 ， 注 意 到 这 些 常 量 也 提供 了 比 我 们 真正 需 
要 的 要 多 的 细节 : 把 最 坏 情 况 运 行 时 间 表 示 为 an 十 bn 十 c， 其 中 常量 a、6b 和 * 依赖 于 语句 代价 
ci。 这 样 ， 我 们 不 但 忽略 实际 的 语句 代价 ， 而 且 也 忽略 抽象 的 代价 co 

现在 我 们 做 出 一 种 更 简化 的 抽象 : 即 我 们 真正 感 兴趣 的 运行 时 间 的 增长 率 或 增长 量 级 。 所 
以 我 们 只 考虑 公式 中 最 重要 的 项 (例如 ，an*)， 因 为 当 的 值 很 大 时 ， 低 阶 项 相对 来 说 不 太 重 要 。 
我 们 也 忽略 最 重要 的 项 的 常 系数 ， 因 为 对 大 的 输入 ， 在 确定 计算 效率 时 常量 因子 不 如 增长 率 重 
要 。 对 于 插 人 排序 ， 当 我 们 忽略 低 阶 项 和 最 重要 的 项 的 常 系数 时 ， 只 剩 下 最 重要 的 项 中 的 因子 
下 。 我 们 记 插入 排序 具有 最 坏 情 况 运行 时 间 OG’) GEE“ theta n 平方 ”)。 本 章 非 形 式 化 地 使 用 © 
记号 ， 第 3 童 将 给 出 其 精确 定义 。 

如 果 一 个 算法 的 最 坏 情 况 运 行 时 间 具 有 比 男 一 个 算法 更 低 的 增长 量 级 ， 那 么 我 们 通常 认为 
前 者 比 后 者 更 有 效 。 由 于 常量 因子 和 低 阶 项 ， 对 于 小 的 输入 ， 运 行 时 间 具 有 和 较 高 增长 量 级 的 一 个 
算法 与 运行 时 间 具 有 较 低 增长 量 级 的 另 一 个 算法 相 比 ， 其 可 能 需要 较 少 的 时 间 。 但 是 对 足够 大 
的 输入 ， 例 如 ， 一 个 8(z) 的 算法 在 最 坏 情况 下 比 另 一 个 8(z) 的 算法 要 运行 得 更 快 。 


练习 

2.2-1 用 @ 记 号 表示 函数 至 /1 000—100n* —100n+3., 

2.2-2 考虑 排序 存储 在 数组 A 中 的 个 数 : 首先 找 出 A 中 的 最 小 元 素 并 将 其 与 ALI] 中 的 元 素 进 
行 交 换 。 接 着 ， 找 出 A 中 的 次 最 小 元 素 并 将 其 与 AL2] 中 的 元 素 进 行 交 换 。 对 A 中 前 n 一 1 
个 元 素 按 该 方式 继续 。 该 算法 称 为 选择 算法 ， 写 出 其 伪 代 码 。 该 算法 维持 的 循环 不 变 式 
是 什么 ? 为 什么 它 只 需要 对 前 n 一 1 个 元 素 ， 而 不 是 对 所 有 ?个 元 素 运行 ? 用 8 记号 给 出 
选择 排序 的 最 好 情况 与 最 坏 情况 运行 时 间 。 

2.2-3 再 次 考虑 线性 查找 问题 (参见 练习 2. 1-3)。 假 定 要 查找 的 元 素 等 可 能 地 为 数组 中 的 任意 元 
素 ， 平 均 需要 检查 输入 序列 的 多 少 元 素 ? 最 坏 情况 又 如 何 呢 ? 用 8@ 记 号 给 出 线性 查找 的 
平均 情况 和 最 坏 情况 运行 时 间 。 证 明 你 的 答案 。 

2.2-4 我 们 可 以 如 何 修改 几乎 任意 算法 来 使 之 具有 良好 的 最 好 情况 运行 时 间 ? 


2.3 设计 算法 

我 们 可 以 选择 使 用 的 算法 设计 技术 有 很 多 。 插 入 排序 使 用 了 增 量 方法 : 在 排序 子 数组 
AL[L1..;7 一 1] 后 ,将 单个 元 素 ALj] 插 入 子 数组 的 适当 位 置 ， 产 生 排 序 好 的 子 数组 ALI. . 让。 

本 节 我 们 考查 男 一 种 称 为 “分 治 法 ”的 设计 方法 。 第 4 章 将 更 深入 地 探究 该 方法 。 我 们 将 用 分 
治 法 来 设计 一 个 排序 算法 ， 该 算法 的 最 坏 情 况 运 行 时 间 比 插入 排序 要 少 得 多 。 分 治 算法 的 优点 
之 一 是 ， 通 过 使 用 第 4 章 介 绍 的 技术 往往 很 容易 确定 其 运行 时 间 。 


2.3.1 分 治 法 


许多 有 用 的 算法 在 结构 上 是 递归 的 : 为 了 解决 一 个 给 定 的 问题 ， 算 法 一 次 或 多 次 递归 地 调 
用 其 自身 以 解决 紧密 相关 的 若干 子 问题 。 这 些 算 法 典型 地 遵循 分 治 法 的 思想 : 将 原 问 题 分 解 为 
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几 个 规模 较 小 但 类 似 于 原 问 题 的 子 问题 ， 递 归 地 求解 这 些 子 问题 ， 然 后 再 合并 这 些 子 问 题 的 解 
来 建立 原 问 题 的 解 。 

分 治 模式 在 每 层 递归 时 都 有 三 个 步骤 : 

分 解 原 问题 为 若干 子 问题 ， 这 些 子 问 题 是 原 问 题 的 规模 较 小 的 实例 。 

解决 这 些 子 问题 ， 递 归 地 求解 各 子 问 题 。 然 而 ， 若 子 问题 的 规模 足够 小 ， 则 直接 求解 。 

合并 这 些 子 问 题 的 解 成 原 问 题 的 解 。 

归并 排序 算法 完全 遵循 分 治 模式 。 直 观 上 其 操作 如 下 : 

分 解 : 分 解 待 排序 的 个 元 素 的 序列 成 各 具 n/2 个 元 素 的 两 个 子 序列 。 

解决 : 使 用 归并 排序 递归 地 排序 两 个 子 序列 。 

合并 : 合并 两 个 已 排序 的 子 序 列 以 产生 已 排序 的 答案 。 

当 待 排序 的 序列 长 度 为 1 时， 递归“ 开始 回升 ”， 在 这 种 情况 下 不 要 做 任何 工作 ， 因 为 长 度 为 
1 的 每 个 序列 都 已 排 好 序 。 

归并 排序 算法 的 关键 操作 是 “合并 ?步骤 中 两 个 已 排序 序列 的 合并 。 我 们 通过 调用 一 个 辅助 过 
程 MERGE(A, p, q, 7 来 完成 合并 ， 其 中 A 是 一 个 数组 ， Pp. qF r 是 数组 下 标 ， 满 足 P<q=r。 
该 过 程 假设 子 数组 ALp. . dj 和 ALg 十 1. . 门 都 已 排 好 序 。 它 合并 这 两 个 子 数 组 形成 单一 的 已 排 好 
序 的 子 数组 并 代替 当前 的 子 数组 ALp. . 门 。 

过 程 MERGE 需要 8@(n) 的 时 间 ， 其 中 nr ptl 是 待 合并 元 素 的 总 数 。 它 按 以 下 方式 工 
作 。 回 到 我 们 玩 扑 克 牌 的 例子 ， 假 设 桌 上 有 两 堆 牌 面 朝 上 的 牌 ， 每 堆 都 已 排序 ， 最 小 的 牌 在 项 
上 。 我 们 希望 把 这 两 堆 牌 合 并 成 单一 的 排 好 序 的 输出 堆 ， 牌 面 朝 下 地 放 在 桌 上 。 我 们 的 基本 步骤 
包括 在 牌 面 朝 上 的 两 堆 牌 的 项 上 两 张 牌 中 选取 较 小 的 一 张 ， 将 该 牌 从 其 堆 中 移 开 (该 堆 的 项 上 将 
显露 一 张 新 牌 ) 并 牌 面 朝 下 地 将 该 牌 放置 到 输出 堆 。 重 复 这 个 步骤 ， 直 到 一 个 输入 堆 为 空 ， 这 时 ， 
我 们 只 是 拿 起 剩余 的 输入 堆 并 牌 面 朝 下 地 将 该 堆放 置 到 输出 堆 。 因 为 我 们 只 是 比较 项 上 的 两 张 
牌 所 以 计算 上 每 个 基本 步 又 需要 常量 时 间 。 因 为 我 们 最 多 执行 n 个 基本 步骤 ， 所 以 合并 需要 
O(n) HET TAY 

下 面 的 伪 代 码 实现 了 上 面 的 思想 , 但 有 一 个 额外 的 变化 ， 以 避免 在 每 个 基本 步 又 必须 检查 
是 否 有 堆 为 空 。 在 每 个 堆 的 底部 放置 一 张 哨兵 牌 ， 它 包含 一 个 特殊 的 值 ， 用 于 简化 代码 。 这 里 ， 
我 们 使 用 ce 作为 哨兵 值 ， 结 果 每 当 显露 一 张 值 为 ce 的 牌 ， 它 不 可 能 为 较 小 的 牌 ， 除 非 两 个 堆 都 已 
显露 出 其 哨兵 牌 。 但 是 ,一旦 发 生 这 种 情况 ， 所 有 非 哨兵 牌 都 已 被 放置 到 输出 堆 。 因 为 我 们 事先 
知道 刚好 一 如 十 1 张 牌 将 被 放置 到 输出 堆 ， 所 以 一 旦 已 执行 ~ 一 如 十 1 个 基本 步骤 ， 算 法 就 可 以 
停止。 

MERGE(A, p, q» r) 
n=gq—ptl 
m=r—q 
let L[1. . nı + 1] and R[1. . n+ 1] be new arrays 
for i = 1 ton 

Li] = AL + i— 1] 
for j = 1 ton, 

RU] = Alg + j] 
Ln + 1] = œ 
Rn + 1] = œ 


i=l 


O ONGAN AUN eK 


ø 
- o 


pHs 
fork = ptor 
13 if Lli] < RU] 


_ 
~w 
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14 ALk] = L[i] 
15 i=it+l 
16 else A[k] = RD 
17 j=j+1 
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图 2-3 当 子 数组 AL. . 16] 44 FF RNK2, 4, 5, 7, 1, 2, 3, 6) HT, WJH MERGECA, 9, 12, 16) 
第 10~17 行 的 操作 。 在 复制 并 插入 哨兵 后 ， 数 组 二 包含 (2，4，5，7，cc)， 数 组 尺 包 含 (1， 
2, 3, 6, œ). A 中 的 浅 阴影 位 置 包 含 它们 的 最 终 值 ，L 和 R 中 的 浅 阴 影 位 置 包含 有 待 于 被 
复制 回 A 的 值 。 合 在 一 起 ， 浅 阴影 位 置 总 是 包含 原来 在 AL9.. 16] 中 的 值 和 两 个 哨兵 。A 中 
的 深 阴 影 位 置 包含 将 被 覆盖 的 值 , LAR 中 的 深 阴 影 位 置 包含 已 被 复制 回 A 的 值 。(a) 一 (h) 
在 第 12 一 17 行 循环 的 每 次 迭代 之 前 ， 数 组 A、L 和 R 以 及 它们 各 自 的 下 标 &、i 和 7 。(iD 终 
止 时 的 数组 与 下 标 。 这 时 ，A[L9. .16j] 中 的 子 数组 已 排 好 序 ，L 和 R 中 的 两 个 哨兵 是 这 两 个 数 
组 中 仅 有 的 两 个 未 被 复制 回 A 的 元 素 


过 程 MERGE 的 详细 工作 过 程 如 下 : 第 1 行 计算 子 数 组 ALp.. (IKE m, 第 2 行 计算 子 数组 
Alqt1.. 7] 的 长 度 w。 在 第 3 行 , 我 们 创建 长 度 分 别 为 nn 十 1 Al me, +1 HRH L ARCEA HA”), 
每 个 数组 中 额外 的 位 置 将 保存 哨兵 。 第 4 一 5 行 的 for 循环 将 子 数组 ACD. .qj 复制 到 L[1..m]， 第 
6 一 7 行 的 for 循环 将 子 数 组 ALg 十 1. . 门 复 制 到 RO. me]. FS 8 一 9 TRE RCE BAN LA RR AK 
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尾 。 第 10 一 17 行 图 示 在 图 2-3 中 ， 通 过 维持 以 下 循环 不 变 式 ， 执 行 r 一 p 十 1 个 基本 步骤 : 
在 开始 第 12~17 行 for 循环 的 每 次 迭代 时 ， 子 数组 A[p..& 一 1] 按 从 小 到 大 的 顺序 

4,4 LU1..m +1) ROL. . mn +1) PH kR-—pPRDTH. Hi, Lilt RLj] 是 各 自 所 

在 数组 中 未 被 复制 回 数组 A 的 最 小 元 素 。 

我 们 必须 证 明 第 12~17 FF for 循环 的 第 一 次 迭代 之 前 该 循环 不 变 式 成 立 ， 该 循环 的 每 次 迭 
代 保 持 该 不 变 式 ， 并 且 循 环 终止 时 ， 该 不 变 式 提供 了 一 种 有 用 的 性 质 来 证 明正 确 性 。 

初始 化 : 循环 的 第 一 次 迭代 之 前 ， 有 kt 一 户 ， 所 以 子 数组 ALp. .A 一 1 为 空 。 这 个 空 的 子 数组 
包含 L 和 RR 的 & 一 p= 二 0 个 最 小 元 素 。 又 因为 =j 二 1， 所 以 L[ 让 和 RLjj] 都 是 各 自 所 在 数组 中 未 
被 复制 回 数 组 A 的 最 小 元 素 。 

保持 : 为 了 理解 每 次 迭代 都 维持 循环 不 变 式 ， 首 先 假设 [ 疏 帮 RL]。 这 时 ，L[ 疏 是 未 被 复 
制 回 数组 A 的 最 小 元 素 。 因 为 ALp. .一 1] 包 含 k 一 p 个 最 小 元 素 ， 所 以 在 第 14 行将 工 [可 复制 到 
A[kj 之 后 ， 子 数组 ALD. .将 包含 k 一 p 十 1 个 最 小 元 素 。 增 加 的 值 (在 for 循环 中 更 新 ) 和 i 的 
值 ( 在 第 15 行 中 ) 后 ,为 下 次 迭代 重新 建立 了 该 循环 不 变 式 。 反之， HLUI>R YG], WH 16 一 17 
行 执 行 适 当 的 操作 来 维持 该 循环 不 变 式 。 

终止 : 终止 时 k=r 十 1。 根 据 循环 不 变 式 ， 子 数组 ALp. .一 1] 就 是 ALp. .rj 且 按 从 小 到 大 的 
顺序 包含 LL1. .nm 十 1] 和 RCL .nw 十 1] 中 的 & 一 p= 二 r 一 p 十 1 个 最 小 元 素 。 数 组 L AMR 一 起 包含 
nytm+2=r—pt+3 个 元 素 。 除 两 个 最 大 的 元 素 以 外 ， 其 他 所 有 元 素 都 已 被 复制 回 数组 A, A 
个 最 大 的 元 素 就 是 哨兵 。 

为 了 理解 过 程 MERGE 的 运行 时 间 是 8(n)， 其 中 =r 一 p 十 1， 注 意 到 , 第 1 一 3 行 和 第 8 一 
11 行 中 的 每 行 需要 常量 时 间 , 第 4 一 7 行 的 for 循环 需要 8(n 十 no) 二 Bln) 的 时 间 S， 并且 ， 第 
12~17 行 的 for 循环 有 ?次 和 迭代， 每 次 欠 代 需要 常量 时 间 。 

现在 我 们 可 以 把 过 程 MERGE 作为 归并 排序 算法 中 的 一 个 子 程序 来 用 。 下 面 的 过 程 
MERGE-SORT(A，p，7) 排 序 子 数组 ALp. .7] 中 的 元 素 。 若 p 宇 r， 则 该 子 数组 最 多 有 一 个 元 素 ， 
所 以 已 经 排 好 序 。 否 则 ， 分 解 步 又 简单 地 计算 一 个 下 标 gq， 将 ALD. . 7] 分 成 两 个 子 数组 A[Lp.. aq] 
和 A[e 十 1.. 门 ， 前 者 包含 [>V21 个 元 素 ， 后 者 包含 Lz/2| 个 元 素 2 。 

MERGE-SORT(A, p, r) 

1 ifp<r 

2 q = \(ptr)/2] 

3 MERGE-SORT(A, p, q) 

4 MERGE-SORT(A, q+1, r) 

5 MERGE(A, p, q» r) 


为 了 排序 整个 序列 A=A[1], AL2], ++, ALn), 我 们 执行 初始 调用 MERGE-SORT(A, 1, 
A. length)， 这 里 再 次 有 A. length=n, K] 2-4 自 底 向 上 地 说 明了 当 为 2 的 寡 时 该 过 程 的 操作 。 
算法 由 以 下 操作 组 成 : 合并 只 含 1 项 的 序列 对 形成 长 度 为 2 的 排 好 序 的 序列 ， 合 并 长 度 为 2 的 序 
列 对 形成 长 度 为 4 的 排 好 序 的 序列 ， 依 此 下 去 ， 直 到 长 度 为 w/2 的 两 个 序列 被 合并 最 终 形成 长 度 
为 n 的 排 好 序 的 序列 。 


O 在 第 3 章 中 ， 我们 将 看 到 如 何 形式 化 地 解释 包含 日 记号 的 等 式 。 

O 表达 式 [z| 表 示 大 于 或 等 于 z 的 最 小 整数 ，Lz 上 表示 小 于 或 等 于 xz 的 最 大 整数 。 这 些 记 号 在 第 3 章 中 定义 。 验 证 把 
2 置 为 KK 加 十 /2j 将 产生 规模 分 别 为 [zy/21 和 |Lz/2j 的 子 数组 A[p. .qj 和 A[Lgq 十 1.. 7] 的 最 容易 的 方法 是 根据 pp 和 7 
为 奇数 还 是 偶数 分 别 考查 可 能 出 现 的 4 种 情况 。 
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排 好 序 的 序列 


/ oN J AN 
Ema 可 


初始 序列 


图 2-4 ”归并 排序 在 数组 A=(5，2，4，7，1，3，2，6) 上 的 操作 。 随 着 算法 自 
底 向 上 地 推进 ， 待 合并 的 已 排 好 序 的 各 序列 的 长 度 不 断 增加 


2. 3.2 分 析 分 治 算法 


当 一 个 算法 包含 对 其 自身 的 递归 调用 时 ， 我们 往往 可 以 用 递归 方程 或 递归 式 来 描述 其 运行 
时 间 ， 该 方程 根据 在 较 小 输入 上 的 运行 时 间 来 描述 在 规模 为 n 的 问题 上 的 总 运行 时 间 。 然 后 ， 我 
们 可 以 使 用 数学 工具 来 求解 该 递归 式 并 给 出 算法 性 能 的 界 。 

分 治 算法 运行 时 间 的 递归 式 来 自 基本 模式 的 三 个 步骤 。 如 前 所 述 ， 我 们 假设 T(n) 是 规模 为 
n 的 一 个 问题 的 运行 时 间 。 若 问题 规模 足够 小 ， 如 对 某 个 常量 <，n 二 <， 则 直接 求解 需要 常量 时 
间 ， 我 们 将 其 写作 8@(1)。 假 设 把 原 问 题 分 解 成 a 个 子 问题 ， 每 个 子 问题 的 规模 是 原 问 题 的 1/6。 
(对 归并 排序 ，a Hb 都 为 2， 然 而 ， 我们 将 看 到 在 许多 分 治 算法 中 ，a 隆 5.) 为 了 求解 一 个 规模 为 
n/b 的 子 问 题 ， 需 要 T(n/6) 的 时 间 ， 所 以 需要 aT(n/6b) 的 时 间 来 求解 a 个 子 问题 。 如 果 分 解 问题 
成 子 问 题 需要 时 间 D), 合并 子 问 题 的 解 成 原 问题 的 解 需要 时 间 C(n)， 那 么 得 到 递归 式 : 
(1) Hn<ec 
aT(n/b)+Din)+C(n) 其 他 
在 第 4 章 中 ， 我 们 将 看 到 如 何 求解 这 类 常见 的 递归 式 。 

归并 排序 算法 的 分 析 

虽然 MERGE-SORT 的 伪 代 码 在 元 素 的 数量 不 是 偶数 时 也 能 正确 地 工作 ， 但 是 ， 如 果 假 定 原 
问题 规模 是 2 的 寡 ， 那 么 基于 递归 式 的 分 析 将 被 简化 。 这 时 每 个 分 解 步 骤 将 产生 规模 刚好 为 n/2 
的 两 个 子 序列 。 在 第 4 章 ， 我 们 将 看 到 这 个 假设 不 影响 递归 式 解 的 增长 量 级 。 

下 面 我 们 分 析 建 立 归并 排序 ”个 数 的 最 坏 情况 运行 时 间 T(z) 的 递归 式 。 归 并 排序 一 个 元 素 
需要 常量 时 间 。 当 有 n> 1 个 元 素 时 ， 我 们 分 解 运行 时 间 如 下 : 

分 解 : 分 解 步骤 仅仅 计算 子 数 组 的 中 间 位 置 ， 需 要 常量 时 间 ， 因 此 ，D(z) 王 9(1) 。 

解决 : 我 们 递归 地 求解 两 个 规模 均 为 n/2 的 子 问题 ， 将 贡献 2T(n/2) 的 运行 时 间 。 

合并 : 我 们 已 经 注意 到 在 一 个 具有 ?个 元 素 的 子 数组 上 过 程 MERGE 需要 8(n) 的 时 间 ， 所 
以 CCD 一 9(z) 。 

当 为 了 分 析 归 并 排序 而 把 函数 DO) 45 C(x) 相 加 时 ， 我 们 是 在 把 一 个 9(z) 函数 与 另 一 个 @(1) 
函数 相 加 。 相 加 的 和 是 n 的 一 个 线性 函数 ， 即 8(z) 。 把 它 与 来 自 “ 解 决 ? 步 又 的 项 2T(n/2) FAM, 
将 给 出 归并 排序 的 最 坏 情 况 运 行 时 间 T(n) 的 递归 式 : 

Q(1) #n=1 


Tin) = | 
~ 2T(n/2)+ O(n) #n>1 ah 


T(n) = | 
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在 第 4 章 ， 我 们 将 看 到 “ 主 定理 ”， 可 以 用 该 定理 来 证 明 TA 9(nlgn)， 其 中 lgn 代 表 log, n. A 
为 对 数 函 数 比 任何 线性 函数 增长 要 慢 ， 所 以 对 足够 大 的 输入 ， 在 最 坏 情况 下 ， 运 行 时 间 为 @(nlgn) 
的 归并 排序 将 优 于 运行 时 间 为 (x ) 的 插入 排序 。 

为 了 直观 地 理解 递归 式 (2. 1) 的 解 为 什么 是 T(n) 二 Blnlgn)， 我 们 并 不 需要 主 定理 。 把 递归 
式 (2. 1) 重 写 为 : 

c 若 n = 二 1 
cee iG #n>1 von 

其 中 常量 c 代表 求解 规模 为 1 的 问题 所 需 的 时 间 以 及 在 分 解 步骤 与 合并 步 又 处 理 每 个 数组 元 素 所 
需 的 时 间 8 。 

图 2-5 图 示 了 如 何 求解 递归 式 (2.2)。 为 方便 起 见 ， 假设 n 刚好 是 2 的 寡 。 图 的 (a) 部 分 图 示 
了 T(n)， 它 在 (b) 部 分 被 扩展 成 一 棵 描绘 递归 式 的 等 价 树 。 项 cn 是 树 根 (在 递归 的 顶层 引起 的 代 
价 )， 根 的 两 棵 子 树 是 两 个 较 小 的 递归 式 TC(n/2)。(c) 部 分 图 示 了 通过 扩展 TC(n/2) 再 推进 一 步 的 
过 程 。 在 第 二 层 递归 中 ， 两 个 子 结 点 中 每 个 引起 的 代价 都 是 cz/2。 我 们 通过 将 其 分 解 成 由 递归 
式 所 确定 的 它 的 组 成 部 分 来 继续 扩展 树 中 的 每 个 结 点 ， 直 到 问题 规模 下 降 到 1， 每 个 子 问题 只 要 
代价 c。(d) 部 分 图 示 了 结果 递归 树 。 


oh ws 


T(n/2) T(n/2) cn/2 cn/2 


Pe. Ls 


T(n/4) T(nl4) T(n/4) T(n/4) 


CR Mate neeeeeeeereseseserseneecsnnenes m- cn 
cn/2 Ch/2  snerenerececereeenes! J cn 
ee oe AA 
cnl4 cn/4 cn/4 Cn/ eei m- cn 
人 
一 

— 

(d) 总 代价 : cn lg n+cn 


图 2-5 对 递归 式 T(n)= 二 2T(n/2) 十 cn， 如 何 构 造 一 棵 递归 树 。(a) 部 分 图 示 T(z) ， 它 在 (b) 一 (d) 
部 分 被 逐步 扩展 以 形成 递归 树 。 在 (d) 部 分 ， 完 全 扩展 了 的 递归 树 具有 1lgn 十 1 层 ( 即 如 图 所 
示 ， 其 高 度 为 jgz) ， 每 层 将 贡献 总 代价 crn。 所 以 ， 总 代价 为 cn lgn 十 cn， 它 就 是 O(nlgn) 


O 相同 的 常量 一 般 不 可 能 刚好 既 代表 求解 规模 为 1 的 问题 的 时 间 又 代表 在 分 解 步骤 与 合并 步骤 处 理 每 个 数组 元 素 
的 时 间 。 通 过 假设 c 为 这 两 个 时 间 的 较 大 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 上 界 ， 或 者 通过 假设 c 为 
这 两 个 时 间 的 较 小 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 下 界 ， 我 们 可 以 回避 这 个 问题 。 两 个 界 的 阶 都 
是 nlgn， 合 在 一 起 将 给 出 运行 时 间 为 8(nlgn)。 
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接着 ,我 们 把 穿 过 这 棵 树 的 每 层 的 所 有 代价 相 加 。 顶 层 具 有 总 代价 cx， 下 一 层 具 有 总 代价 
c(n/2) +c(n/2) = cn ， 下 一 层 的 下 一 层 具有 总 代价 cC(n/4) 十 cCn/4) 十 cln/4) 十 cln/4) = cn， 等 
等 。 一 般 来 说 ， 顶 层 之 下 的 第 i 层 具 有 2’ 个 结 点 ， 每 个 结 点 贡献 代价 cC(n/2') ， 因 此 ， 顶 层 之 
下 的 第 i 层 具 有 总 代价 2ic(n/2') = cn 。 底 层 具 有 7n 个 结 点 ， 每 个 结 点 贡献 代价 c， 该 层 的 总 代 
价 为 cn。 

图 2-5 中 递归 树 的 总 层 数 为 lgn 十 1。 其 中 是 叶 数 ， 对 应 于 输入 规模 。 一 种 非 形 式 化 的 归 
WCE EWA. n=l 时 出 现 基本 情况 ， 这 时 树 只 有 一 层 。 因 为 lgl 二 0， 所 以 有 lgn 十 1 
给 出 了 正确 的 层 数 。 作 为 归纳 假设 ， 现 在 假设 具有 2: 个 叶 的 递归 树 的 层 数 为 1g2 十 1 一: 十 1( 因 为 
对 i 的 任何 值 都 有 lg2’ 二 =i) 。 因 为 我 们 假设 输入 规模 是 2 的 宕 ， 所 以 下 一 个 要 考虑 的 输入 规模 是 
2"1。 具 有 n= 二 2 个 叶 的 一 棵 树 比 具 有 2: 个 叶 的 一 棵 树 要 多 一 层 ， 所 以 其 总 层 数 为 (i 十 1) 十 1 二 
|- aia a AS 

为 了 计算 递归 式 (2. 2) 表 示 的 总 代价 ， 我 们 只 要 把 各 层 的 代价 加 起 来 。 递 归 树 具有 lgn 十 1 
层 ， 每 层 的 代价 均 为 crx， 所 以 总 代价 为 cn(lgn 十 1) = cnlgn 十 cn 。 忽 略 低 阶 项 和 常量 c 便 给 出 了 
期 望 的 结果 O(n ign). 


练习 

2.3-1 使 用 图 2-4 作为 模型 ， 说 明 归 并 排序 在 数组 A=(3, 41, 52, 26, 38, 57, 9, 49) EW 
操作 。 

2.3-2 重 写 过 程 MERGE, 使 之 不 使 用 哨兵 ， 而 是 一 旦 数组 工 或 R 的 所 有 元 素 均 被 复制 回 A 就 
立刻 停止 ， 然 后 把 另 一 个 数组 的 剩余 部 分 复制 回 A。 

2.3-3 ”使 用 数学 归纳 法 证 明 : 当 n 刚好 是 2 的 宪 时 ， 以 下 递归 式 的 解 是 TO) 一 zlgm。 

Tin) = { Era 
2T(n/2) +n #n=2,k>1 

2.3-4 ”我 们 可 以 把 插入 排序 表示 为 如 下 的 一 个 递归 过 程 。 为 了 排序 AL1. .mn]， 我们 递归 地 排序 
A[1..n 一 1]， 然 后 把 A[Lnj] 插 入 已 排序 的 数组 A[1..n 一 1]。 为 插入 排序 的 这 个 递归 版 本 
的 最 坏 情 况 运 行 时 间 写 一 个 递归 式 。 

2.3-5 回顾 查找 问题 (参见 练习 2. 1-3)， 注 意 到 ， 如 果 序 列 A 已 排 好 序 ， 就 可 以 将 该 序列 的 中 点 
与 v 进 行 比较 。 根 据 比较 的 结果 ， 原 序列 中 有 一 半 就 可 以 不 用 再 做 进一步 的 考虑 了 。 二 
分 查找 算法 重复 这 个 过 程 ， 每 次 都 将 序列 一 余 部 分 的 规模 减 半 。 为 二 分 查找 写 出 迭代 或 
递归 的 伪 代 码 。 证 明 : 二 分 查找 的 最 坏 情 况 运行 时 间 为 @(lgn)。 

2.3-6 注意 到 2. 1 节 中 的 过 程 INSERTION-SORT 的 第 5 一 7 行 的 while 循环 采用 一 种 线性 查找 
来 ( 反 向 ) 扫 描 已 排 好 序 的 子 数 组 AL1. .7 一 1]。 我 们 可 以 使 用 二 分 查找 (参见 练习 2. 3-5) 
来 把 插入 排序 的 最 坏 情 况 总 运行 时 间 改 进 到 OC gn) tg? 

*2.3-7 ”描述 一 个 运行 时 间 为 8(nlgn) 的 算法 ， 给 定 nn 个 整数 的 集合 S 和 另 一 个 整数 zx， 该 算法 能 

确定 S 中 是 否 存 在 两 个 其 和 刚好 为 z 的 元 素 。 


思考 题 

2-1 (在 归并 排序 中 对 小 数组 采用 插入 排序 ) 虽然 归并 排序 的 最 坏 情况 运行 时 间 为 8(nlgn)， 
而 插入 排序 的 最 坏 情 况 运 行 时 间 为 86(w?)， 但 是 插入 排序 中 的 常量 因子 可 能 使 得 它 在 BE} 
时 ， 在 许多 机 器 上 实际 运行 得 更 快 。 因 此 ， 在 归并 排序 中 当 子 问题 变 得 足够 小 时 ， 采 用 插 
人 排序 来 使 递归 的 叶 变 粗 是 有 意义 的 。 考 虑 对 归并 排序 的 一 种 修改 ， 其 中 使 用 插 人 排序 来 
排序 长 度 为 的 n/k 个 子 表 ， 然后 使 用 标准 的 合并 机 制 来 合并 这 些 子 表 ， 这 里 是 一 个 待 


2-2 


2-3 
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定 的 值 。 

a. 证 明 : 插入 排序 最 坏 情 况 可 以 在 8@(nk) 时 间 内 排序 每 个 长 度 为 & 的 n/k 个 子 表 。 

b. 表明 在 最 坏 情况 下 如 何在 OC lg (n/&)) 时 间 内 合并 这 些 子 表 。 

c. 假定 修改 后 的 算法 的 最 坏 情 况 运 行 时 间 为 8(nk 十 nlg(n/k))， 要 使 修改 后 的 算法 与 标准 
的 归并 排序 具有 相同 的 运行 时 间 ， 作 为 n 的 一 个 函数 ,借助 8 记号 ,& 的 最 大 值 是 什么 ? 

d 在 实践 中 ， 我 们 应 该 如 何 选 择 &? 

( 冒 泡 排序 的 正确 性 ) 冒 泡 排序 是 一 种 流行 但 低 效 的 排序 算法 ， 它 的 作用 是 反复 交换 相 邻 

的 未 按 次 序 排列 的 元 素 。 


BUBBLESORT(A) 


l fori = 1 to A. length — 1 

2 for j = A. length downto i + 1 

3 if AG] < AG — 1) 

4 exchange A[j ] with AD — 1] 


a. 假设 A' 表 示 BUBBLESORT(A) 的 输出 。 为 了 证 明 BUBBLESORT 正确 ， 我 们 必须 证 明 
它 将 终止 并 且 有 : 

A'[1]<A'[2]<…<A'[n] (2. 3) 
其 中 n=A. length。 为 了 证 明 BUBBLESORT 确实 完成 了 排序 ， 我 们 还 需要 证 明 什么 ? 
下 面 两 部 分 将 证 明 不 等 式 (2. 3)。 

b. 为 第 2 一 4 行 的 for 循环 精确 地 说 明 一 个 循环 不 变 式 ， 并 证 明 该 循环 不 变 式 成 立 。 你 的 证 
明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 。 

c 使 用 (b) 部 分 证 明 的 循环 不 变 式 的 终止 条 件 ， 为 第 1 一 4 行 的 for 循环 说 明 一 个 循环 不 变 
式 ， 该 不 变 式 将 使 你 能 证 明 不 等 式 (2. 3) 。 你 的 证 明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 
明 的 结构 。 

d. 冒 泡 排序 的 最 坏 情况 运行 时 间 是 多 少 ? 与 插 人 排序 的 运行 时 间 相 比 ， 其 性 能 如 何 ? 


CE A (Horner) HLN] i EAI) ”给 定 系数 a。，al，…，a, 和 工 的 值 ， 代 码 片 段 
l y=0 
2 for i = n downto 0 
3 yrataey 
实现 了 用 于 求 值 多 项 式 

P(x) = Sage! = a + x(a, + xla, +++ x(a, + ra,)***)) 
的 霍 纳 规则 。 


a. 借助 @ 记号， 实现 霍 纳 规则 的 以 上 代码 片段 的 运行 时 间 是 多 少 ? 

b. 编写 伪 代 码 来 实现 朴素 的 多 项 式 求 值 算 法 ， 该 算法 从 头 开 始 计算 多 项 式 的 每 个 项 。 该 算 
法 的 运行 时 间 是 多 少 ? 与 起 纳 规则 相 比 ， 其 性 能 如 何 ? 

c. 考虑 以 下 循环 不 变 式 : 
在 第 2 一 3 FF for 循环 每 次 迭代 的 开始 有 


nH) 


b > arrir TÅ 
把 没有 项 的 和 式 解 释 为 等 于 0。 遵照 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 ， 使 用 该 循环 
不 变 式 来 证 明 终止 时 有 y= dae". 
d 最 后 证 明 上 面 给 出 的 代码 片段 将 正确 地 求 由 系数 o, a, =, a 刻画 的 多 项 式 的 值 。 
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2-4 〈( 送 序 对 ) 假设 4A[1.. 妆 是 一 个 有 ?个 不 同 数 的 数组 。 若 i< HATSA], WAG, DRA 
A 的 一 个 逆序 对 (inversion) 。 
a. 列 出 数组 (2，3，8，6，1) 的 5 个 逆序 对 。 
b. 由 集合 {1，2，…，7n} 中 的 元 素 构 成 的 什么 数组 具有 最 多 的 逆序 对 ? 它 有 多 少 逆序 对 ? 
c 插入 排序 的 运行 时 间 与 输入 数组 中 道 序 对 的 数量 之 间 是 什么 关系 ? 证 明 你 的 回答 。 
d. 给 出 一 个 确定 在 ”个 元 素 的 任何 排列 中 逆序 对 数量 的 算法 ， 最 坏 情 况 需 要 O(n len) HT TA] 
(提示 : 修改 归并 排序 。) 


本 章 注 记 

1968 年 ，Knuth 发 表 了 总 标题 为 (计算 机 程序 设计 艺术 汇 209，210，211] 的 三 卷 著作 中 的 第 
1 卷 S。 第 1 卷 引 领 了 现代 计算 机 算法 的 研究 ， 使 之 聚焦 于 运行 时 间 的 分 析 。 对 这 里 给 出 的 许多 
主题 ， 这 3 卷 著作 仍然 是 有 吸引 力 的 且 有 价值 的 参考 书 S 。 依 照 Knuth 的 说 法 ,“ 算 法 ”这 个 词 来 
源 于 9 世纪 一 位 波斯 数学 家 的 名 字 “al-Khowarizmi”。 

Aho, Hopcroft 和 Ullman[ 5 提倡 使 用 第 3 章 引入 的 记号 ， 包 括 8 记号 ， 把 算法 的 渐 近 分 析 
作为 比较 相对 性 能 的 一 种 方法 。 他 们 还 推广 了 使 用 递归 关系 来 描述 递归 算法 的 运行 时 间 。 

KnuthL211j] 提 供 了 许多 排序 算法 的 一 种 百科 全 书 似 的 处 理 。 他 对 各 种 排序 算法 的 比较 包括 
精确 的 执行 步 数 分 析 ， 这 种 分 析 类 似 于 我 们 这 里 对 插入 排序 所 做 的 分 析 。Knuth 对 插入 排序 的 讨 
论 包括 该 算法 的 几 种 变形 。 其 中 最 重要 的 是 由 D. L. Shell 提出 的 Shell 排序 ， 它 对 输入 序列 的 周 
期 性 子 序 列 使 用 插 人 排序 ， 结 果 形 成 了 一 种 更 快 的 排序 算法 。 

Knuth 还 描述 了 归并 排序 。 他 提 到 在 1938 年 就 有 人 发 明了 一 种 机 械 排 序 装置 ， 能 够 在 一 趟 
内 合并 两 组 穿孔 卡片 。 计 算 机 科学 的 先驱 之 一 J. von Neumann 显然 于 1945 年 在 计算 机 EDVAC 
上 为 归并 排序 编写 过 一 个 程序 。 

GriesL153] 描 述 了 证 明 程序 正确 性 的 早期 历史 ， 他 把 该 领域 的 第 一 篇 文章 归功 于 P. Naur, 
并 把 循环 不 变 式 归功 于 R. W. Floyd。MitchellL256] 编 写 的 教材 中 描述 了 证 明 程序 正确 性 的 一 些 

更 新 的 进展 。 
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函数 的 增长 


第 2 章 中 定义 的 算法 运行 时 间 的 增长 量 级 简单 地 刻画 了 算法 效率 ， 并 且 还 允许 我 们 比较 可 选 
算法 的 相对 性 能 。 一 旦 输入 规模 变 得 足够 大 ， 最 坏 情 况 运行 时 间 为 BC(zlgz) 的 归并 排序 将 战胜 
最 坏 情况 运行 时 间 为 OC? ) 的 插入 排序 。 正 如 我 们 在 第 2 章 中 对 插入 排序 所 做 的 ， 虽然 有 时 我 们 
能 够 确定 一 个 算法 的 精确 运行 时 间 ， 但 是 通常 并 不 值得 花 力气 来 计算 它 以 获得 多 余 的 精度 。 对 
于 足够 大 的 输入 ， 精 确 运行 时 间 中 的 倍增 常量 和 低 阶 项 被 输入 规模 本 身 的 影响 所 支配 。 

当 输 入 规模 足够 大 ， 使 得 只 有 运行 时 间 的 增长 量 级 有 关 时 ， 我 们 要 研究 算法 的 渐 近 效率 。 也 
就 是 说 ， 我 们 关心 当 输 入 规模 无 限 增加 时 ， 在 极限 中 ， 算 法 的 运行 时 间 如 何 随 着 输入 规模 的 变 大 
而 增加 。 通 常 ， 渐 近 地 更 有 效 的 某 个 算法 对 除 很 小 的 输入 外 的 所 有 情况 将 是 最 好 的 选择 。 

本 章 给 出 几 种 标准 方法 来 简化 算法 的 渐 近 分 析 。 下 一 节 首 先 定义 几 类 “ 渐 近 记号 ”， 其 中 ， 我 
们 已 经 见 过 的 一 个 例子 是 @ 记 号 。 然 后 ， 我 们 给 出 贯穿 本 书 使 用 的 几 种 记号 约定 。 最 后 ， 我 们 
回顾 一 下 在 算法 分 析 中 常见 的 若干 函数 的 行为 。 


3.1 渐 近 记号 

用 来 描述 算法 渐 近 运行 时 间 的 记号 根据 定义 域 为 自然 数 集 N 二 {0，1，2，…} 的 函数 来 定义 。 
这 样 的 记号 对 描述 最 坏 情况 运行 时 间 函 数 T(n) 是 方便 的 ， 因 为 该 函数 通常 只 定义 在 整数 输入 规 
模 上 。 然 而 ， 我 们 发 现 有 时 按 各 种 方式 活用 渐 近 记号 是 方便 的 。 例 如 ， 我 们 可 以 扩展 该 记号 到 实 
数 域 或 者 选择 性 地 限制 其 到 自然 数 的 一 个 子 集 。 然 而 ， 我 们 应 该 确保 能 理解 该 记号 的 精确 含义 ， 
以 便 在 活用 时 不 会 误 用 它 。 本 节 将 定义 一 些 基 本 的 渐 近 记号 ， 并 介绍 一 些 常 见 的 活用 法 。 

渐 近 记号 、 函 数 与 运行 时 间 

正如 我 们 写 插入 排序 的 最 坏 情 况 运 行 时 间 为 9(z ) 时 那样 ， 我 们 将 主要 使 用 渐 近 记号 来 描述 
算法 的 运行 时 间 。 然 而 ， 渐 近 记 号 实际 上 应 用 于 函数 。 回 顾 一 下 ， 我 们 曾 把 择 人 排序 的 最 坏 情况 
运行 时 间 刻 画 为 an? 十 bn 十 c， 其 中 a、65 和 < 是 常量 。 通 过 把 插入 排序 的 运行 时 间 写 成 9Cz) ， 我 们 
除去 了 该 函数 的 某 些 细节 。 因 为 渐 近 记号 适用 于 函数 ， 我 们 所 写成 的 9(Cz) 就 是 函数 an? 十 bn 十 c， 
所 以 上 述 情况 碰巧 刻画 了 插入 排序 的 最 坏 情 况 运 行 时 间 。 

本 书 中 对 其 使 用 渐 近 记号 的 函数 通常 刻画 算法 的 运行 时 间 。 但 是 渐 近 记号 也 可 以 适用 于 刻 
画 算法 的 某 个 其 他 方面 (例如 ， 算 法 使 用 的 空间 数量 ) 的 函数 ， 甚 至 可 以 适用 于 和 算法 没有 任何 关 
系 的 函数 。 

即使 我 们 使 用 渐 近 记号 来 刻画 算法 的 运行 时 间 ， 我 们 也 需要 了 解 意 指 哪个 运行 时 间 。 有 时 
我 们 对 最 坏 情 况 运行 时 间 感 兴趣 。 然 而 ， 我 们 常常 希望 刻画 任何 输入 的 运行 时 间 。 换 名 话说， 我 
们 常常 希望 做 出 一 种 综合 性 地 覆盖 所 有 输入 而 不 仅仅 是 最 坏 情 况 的 陈述 。 我 们 将 看 到 完全 适合 
刻画 任何 输入 的 运行 时 间 的 渐 近 记号 。 

eis 

在 第 2 章 ， 我 们 发 现 插 和 人 排序 的 最 坏 情 况 运 行 时 间 为 T(n) 二 BC(n?)。 让 我 们 来 定义 这 个 记号 
意 指 什 么 。 对 一 个 给 定 的 函数 g(n)， 用 (Cg(z)) 来 表示 以 下 函数 的 集合 : 
AEM) = (fd) :存在 正常 量 a. hm HAMA nm AOS agen) < f(n) 二 cg(o)}9 





O 在 集合 记号 中 ， 冒 号 意 指 “使 得 ”。 
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若 存在 正常 量 和 cz ， 使 得 对 于 足够 大 的 xz， 函 数 SMI RKA "a gM 5 agm@Zial, WA 
属于 集合 8(g(n))。 因 为 8(g(n)) 是 一 个 集合 ， 所 以 可 以 记 “f(n)E OC g(n))”, LAF fC) dé 
@(g(n)) 的 成 员 。 作 为 替代 ， 我 们 通常 记 “f(n)= 二 BC(g(n))” 以 表达 相同 的 概念 。 因 为 我 们 按 这 种 
方式 活用 了 等 式 ， 所 以 你 可 能 感到 困惑 ， 但 是 在 本 节 的 后 面 我 们 将 看 到 这 样 做 有 其 好 处 。 

3-1(a) 给 出 了 函数 SM5 g(n) 的 一 幅 直观 画面 ， 其 中 SASON). XE m 及 其 右边 n 
的 所 有 值 ，Fz) 的 值 位 于 或 高 于 ag(z) 且 位 于 或 低 于 cg(z) 。 换 句 话 说， 对 所 有 nam, BR f(r) 
在 一 个 常量 因子 内 等 于 gn). RIIE eC) SE f(n) 的 一 个 渐 近 紧 确 界 (asymptotically tight bound) 。 





o mo 


An)=O(g(n)) g An)=O(g(n)) An)=Q(g(n)) 
(a) (b) Cc) 


图 3-1 8、O 和 有 记号 的 图 例 。 在 每 个 部 分 ， 标 出 的 n 的 值 是 最 小 的 可 能 值 ， 任 何 更 大 的 值 也 将 有 效 。 
(a)@ 记号 限制 一 个 函数 在 常量 因子 内 。 如 果 存 在 正常 量 n, o 和 cz ， 使 得 在 n 及 其 右边 ， 
fln) 的 值 总 位 于 clg(o) 与 cg(n) 之 间或 等 于 它们 ， 那 么 记 f(n) 二 8B(g(n))。(b)O 记 号 为 函数 
给 出 一 个 在 常量 因子 内 的 上 界 。 如 果 存 在 正常 量 n 和 c， 使 得 在 no 及 其 右边 ，f(n) 的 值 总 小 于 
REF cgn), WAR f(n) 二 Olg(n))。(c)Q 记号 为 函数 给 出 一 个 在 常量 因子 内 的 下 界 。 如 果 存 
在 正常 量 mw 和 c， 使 得 在 n 及 其 右边 ，f(n) 的 值 总 大 于 或 等 于 cgn), WAW fO) =A g(n)) 

B@(g(n)) 的 定义 要 求 每 个 成 员 f(r) € 8B(g(n)) 均 渐 近 非 负 ， 即 当 n 足够 大 时 ，f(n) 非 负 。 
( 渐 近 正 函 数 就 是 对 所 有 足够 大 的 n 均 为 正 的 函数 。) 因 此 ， 函数 g(n) 本 身 必 为 渐 近 非 负 ， 否 则 集 
合 8(g(n)) 为 空 。 所 以 我 们 假设 用 在 © 记号 中 的 每 个 函数 均 渐 近 非 负 。 这 个 假设 对 本 章 定义 的 
其 他 渐 近 记号 也 成 立 。 

在 第 2 章 ， 我 们 介绍 了 @ 记 号 的 一 种 非 形 式 化 的 概念 ， 相 当 于 扔 掉 低 阶 项 并 忽略 最 高 阶 项 
前 的 系数 。 让 我 们 通过 使 用 形式 化 定义 证 明志 忆 一 3n 一 6( 吧 ) 来 简要 地 证 实 这 种 直觉 。 为 此 ， 我 
们 必须 确定 正常 量 c co 各， 使 得 对 所 有 nem, A: 

an < sn —3n< Qn 
用 n? RER: 
Cl1 < 4 E 4 < C2 

通过 选择 任何 常量 c; 宇 1/2， 可 以 使 右边 的 不 等 式 对 任何 n 1 的 值 成 立 。 同 样 ， 通 过 选择 任何 常 
量 a 委 1/14， 可 以 使 左边 的 不 等 式 对 任何 n=7 的 值 成 立 。 因 此 ， 通 过 选择 c= 二 1/14, cs 二 1/2 且 


加 二 7， 可 以 证 明 去 及 一 3n 一 B@( 坟 )。 当 然 ， 还 存在 对 这 些 常量 的 其 他 选择 ， 但 是 重要 的 是 存在 某 个 


选择 。 要 注意 的 是 ， 这 些 常 量 依赖 于 函数 去 攻 一 3n; 属于 B(x ) 的 不 同 函数 通常 需要 不 同 的 常量 。 


我 们 还 可 以 使 用 形式 化 定义 来 证 明 6mw 隆 BC)。 采 用 反 证 法 ,假设 存在 co 和 mm ， 使 得 对 所 
有 nn,» A 6m cn 。 然而 用 n? REX, 得 n<c,/6, AA C2 为 常量 ， 所 以 对 任意 大 的 ny 该 
不 等 式 不 可 能 成 立 。 
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直觉 上 ， 一 个 渐 近 正 函 数 的 低 阶 项 在 确定 渐 近 确 界 时 可 以 被 忽略 ， 因 为 对 大 的 >， 它们 是 无 
足 轻 重 的 。 当 nn 较 大 时 ， 即 使 最 高 阶 项 的 一 个 很 小 的 部 分 都 足以 支配 所 有 低 阶 项 。 因 此 , 将 a 
置 为 稍 小 于 最 高 阶 项 系数 的 值 并 将 o 置 为 稍 大 于 最 高 阶 项 系数 的 值 能 使 8 记号 定义 中 的 不 等 式 
得 到 满足 。 最 高 阶 项 系数 同样 可 以 被 忽略 ， 因 为 它 仅仅 根据 一 个 等 于 该 系数 的 常量 因子 来 改变 c 
All c2 。 

作为 一 个 例子 ， 考 虑 任意 二 次 函数 f(n)=an'’+bntc, Hepa, bac HAMA a>0. Hh 
掉 低 阶 项 并 忽略 常量 后 得 f(n) 二 B(x )。 为 了 形式 化 地 证 明 相同 的 结论 ， 我们 取 常 量 c =a/4, 
cz 二 7a/4 且 m 二 2*，max(|15|/a，VTcT/a)。 可 以 证 明 对 所 有 nm, A 0an Kan’ +bn+c< 


cnt, BOB, HERZL pon) = San’, Soh a, WHHL a >0, 我们 有 pln) = OC) 


(参见 思考 题 3-1) 。 

因为 任意 常量 是 一 个 0 阶 多 项 式 ， 所 以 可 以 把 任意 常量 函数 表示 成 OG) ROC). Rill, 后 
一 种 记号 是 一 种 轻微 的 活用 ， 因 为 该 表达 式 并 未 指出 什么 变量 趋 于 无 穷 $ 。 我 们 将 经 常 使 用 记号 
@(1) 来 意 指 一 个 常量 或 者 关于 某 个 变量 的 一 个 常量 函数 。 

O 记号 

@ 记 号 渐 近 地 给 出 一 个 函数 的 上 界 和 下 界 。 当 只 有 一 个 渐 近 上 界 时 ， 使 用 O 记 号 。 对 于 给 
定 的 函数 Em), HOEM) GREK Og(n)”， 有 时 仅 读 作 “Og(n)”) 来 表示 以 下 函数 的 集合 : 

OCg(n)) = {f(n) :存在 正常 量 c 和 no EARMA n>m, A 0< fn) <cg(n)} 
我 们 使 用 O 记 号 来 给 出 函数 的 一 个 在 常量 因子 内 的 上 界 。 图 3-1(b) 展 示 了 O 记 号 背后 的 直觉 知 
识 。 对 在 n 及 其 右边 的 所 有 值 n, AA f(n) 的 值 总 小 于 或 等 于 cgn). 

我 们 记 f(w)= 二 Og(n)) 以 指出 函数 SOD ERA OCe(n) MR. TERE, fn) = OC g(n)) Rit 
f() 二 Olg(n))， 因 为 @ 记 号 是 一 个 比 O 记 号 更 强 的 概念 。 按 集合 论 中 的 写法 ,我 们 有 Oem) 
Olg(n))。 因 此 ， 关 于 任意 二 次 函数 antonte, FEP a>0, 在 B(x ) 中 的 证 明 也 证 明了 任意 这 
样 的 二 次 函数 在 OC ) 中 。 也 许 更 令 人 惊奇 的 是 当 a 二 0 时 ， 任 意 线性 函数 an 十 b 也 在 Ol) 中 ， 
通过 取 c=a 十 |5| 和 no 二 max(1， 一 b/a)， 可 以 很 容易 证 明 这 个 结论 。 

如 果 你 以 前 见 过 O 记 号 ， 你 会 发 现 我 们 这 样 书写 (如 n= 二 Ol?)) 很 奇怪 。 在 文献 中 ， 有 时 我 
们 发 现 O 记 号 非 形式 化 地 描述 渐 近 确 界 ， 即 已 经 使 用 8@ 记号 定义 的 东西 。 然 而 ， 本 书 中 当 书 写 
f(r) =OCg@) AT, 我们 仅仅 要 求 gCn) 的 某 个 常量 倍数 是 f(n) 的 渐 近 上 界 ， 而 不 要 求 它 是 一 个 
多 么 紧 确 的 上 界 。 在 算法 文献 中 ， 标 准 的 做 法 是 区 分 渐 近 上 界 与 渐 近 确 界 。 

使 用 OO 记号， 我 们 常常 可 以 仅仅 通过 检查 算法 的 总 体 结构 来 描述 算法 的 运行 时 间 。 例 如 ， 
第 2 章 中 插 人 排序 算法 的 双重 嵌 套 循环 结构 对 最 坏 情况 运行 时 间 立 即 产 生 一 个 O(2 ) 的 上 界 : 内 
层 循环 每 次 迭代 的 代价 以 O(1) (常量 ) 为 上 界 ， 下 标 i 和 j 均 最 多 为 nx， 对 于 ww 个 i 和 j 值 对 的 每 
一 对 ， 内 循环 最 多 执行 一 次 。 

既然 O 记 号 描述 上 界 ， 那 么 当 用 它 来 限制 算法 的 最 坏 情 况 运行 时 间 时 ， 关 于 算法 在 每 个 输 
人 上 的 运行 时 间 ， 我 们 也 有 一 个 界 ， 这 就 是 前 面 讨论 的 综合 性 陈述 。 因 此 ， 对 插入 排序 的 最 坏 情 
况 运行 时 间 的 界 OC ) 也 适用 于 该 算法 对 每 个 输入 的 运行 时 间 。 然 而 ， 对 插入 排序 的 最 坏 情 况 运 
行 时 间 的 界 BC ) 并 未 暗示 插入 排序 对 每 个 输入 的 运行 时 间 的 界 也 是 @(xw )。 例 如 ， 我 们 在 第 2 
章 曾 看 到 当 输 入 已 排 好 序 时 ， 插 入 排序 的 运行 时 间 为 O). 

从 技术 上 看 ， 称 插入 排序 的 运行 时 间 为 OC(wr) 有 点 不 合适 ， 因 为 对 给 定 的 n， 实 际 的 运行 时 


© 真正 的 问题 是 通常 的 函数 记号 没有 区 分 函数 与 函数 值 。 在 4 演算 中 ， 函 数 的 参数 被 清楚 地 说 明 : 函数 nw? 可 被 写 
成 hn. 到 ， 或 者 甚至 写成 Ar. 下 。 然 而 ,采用 一 种 更 严格 的 记号 将 使 代数 操作 复杂 化 ， 所 以 我 们 选择 容忍 这 种 
活用 。 
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间 是 变化 的 ， 依 赖 于 规模 为 n 的 特定 输入 。 当 我 们 说 “运行 时 间 为 O(xw)” 时 ， 意 指 存在 一 个 
OC) 的 函数 f(n)， 使 得 对 的 任意 值 ， 不 管 选择 什么 特定 的 规模 为 n 的 输入 ， 其 运行 时 间 的 上 
界 都 是 f(n)。 这 也 就 是 说 最 坏 情 况 运 行 时 间 为 OC ) 。 

Q 记 号 

正如 O 记 号 提供 了 一 个 函数 的 渐 近 上 界 ，Q 记号 提供 了 渐 近 下 界 。 对 于 给 定 的 函数 g(r), 
用 UEM GREK Qg(n)”， 有 时 仅 读 作 “Qg(n)”) 来 表示 以 下 函数 的 集合 : 

Ugn)) = (fM FEER E Mn EARMA n>m, A 0< cga) < f(n)} 

图 3-1(c) 给 出 了 Q 记号 的 直观 解释 。 对 在 m 及 其 右边 的 所 有 值 2w，j(Cz) 的 值 总 大 于 或 等 于 
cg(n). 

根据 目前 所 看 到 的 这 些 渐 近 记 号 的 定义 ， 容 易 证 明 以 下 重要 定理 (参见 练习 3. 1-5), 

定理 3. 1 对 任意 两 个 函数 f(n) 和 g(n), 我 人 有 f(n) 二 Bl(g(n))， 当 且 仅 当 Fo 一 OCS(CzD)) 
且 f(n)=Ag(n)). a 

作为 应 用 本 定理 的 一 个 例子 ， 关 于 对 任意 常量 a、5 和 c， 其 中 a>0， 有 an’ 十 bn 十 c 二 B(n) 
的 证 明 直 接 蕴 涵 an? 十 bn 十 c 二 QC ) 和 an? 十 bn 十 c= 二 OC(rw)。 实 际 上 不 是 像 该 例子 中 所 做 的 ， 应 
用 定理 3. 1 从 渐 近 确 界 获得 渐 近 上 界 和 下 界 ， 而 是 通常 用 它 从 渐 近 上 界 和 下 界 来 证 明 渐 近 确 界 。 

当 称 一 个 算法 的 运行 时 间 ( 无 修饰 语 ) 为 QC(g(n)) 时 ， 我 们 意 指 对 每 个 n 值 ， 不 管 选 择 什么 特 
定 的 规模 为 nn 的 输入 ， 只 要 nn 足够 大 ， 对 那个 输入 的 运行 时 间 至 少 是 g(n) 的 常量 倍 。 等 价 地 ， 
我 们 再 对 一 个 算法 的 最 好 情况 运行 时 间 给 出 一 个 下 界 。 例 如 ， 插 入 排序 的 最 好 情况 运行 时 间 为 
Qn)， 这 蕴涵 着 插入 排序 的 运行 时 间 为 Q(n)。 

所 以 插入 排序 的 运行 时 间 介 于 Q(n) 和 OCr)， 因 为 它 落 人 nn 的 线性 函数 与 的 二 次 函数 之 间 
的 任何 地 方 。 而 且 ， 这 两 个 界 是 尽 可 能 渐 近 地 紧 确 的 : 例如 ， 插 入 排序 的 运行 时 间 不 是 Cr’), 
因为 存在 一 个 输入 (例如 ， 当 输入 已 排 好 序 时 )， 对 该 输入 ， 插 入 排序 在 @(n) 时 间 内 运行 。 然 而 ， 
这 与 称 插入 排序 的 最 坏 情况 运行 时 间 为 Q(2) 并 不 矛盾 ， 因 为 存在 一 个 输入 ， 使 得 该 算法 需要 
QC ) 的 时 间 。 

等 式 和 不 等 式 中 的 渐 近 记号 

我 们 已 经 看 到 渐 近 记号 可 以 如 何 用 于 数学 公式 中 。 例 如 ， 在 介绍 O 记 号 时 ， 记 “n= 二 O(r)”。 
我 们 还 可 能 写 过 2n° +3n+1=2n°+O0(n). 。 如 何 解释 这 样 的 公式 呢 ? 

当 渐 近 记号 独立 于 等 式 ( 或 不 等 式 ) 的 右边 ( 即 不 在 一 个 更 大 的 公式 内 ) 时 ， 如 在 n=), 
我 们 已 经 定义 等 号 意 指 集合 的 成 员 关 系 : zE O(z2 ) 。 然 而 ， 一 般 来 说 ， 当 渐 近 记号 出 现在 某 个 
公式 中 时 ， 我们 将 其 解释 为 代表 某 个 我 们 不 关注 名 称 的 匿名 函数 。 例 如 ， 公 式 2n? +3n+1= 
2n’ + O(n) RGB 2n? +3nt+1=2n'+ fin), HP f(n) 是 集合 8(n) 中 的 某 个 函数 。 在 这 个 例子 中 ， 
假设 f(n) 二 3n 十 1， 该 函数 确实 在 Om P. 

按 这 种 方式 使 用 渐 近 记号 可 以 帮助 消除 一 个 等 式 中 无 关 紧 要 的 细节 与 混乱 。 例 如 ， 在 第 2 章 
中 ， 我 们 把 归并 排序 的 最 坏 情 况 运 行 时 间 表 示 为 递归 式 

T(n) = 2T(n/2) + @(n) 

如 果 只 对 TO) LT ARE, BARA SET AR, EAR BE Le E 
由 项 9(z) 表 示 的 匿名 函数 中 。 

一 个 表达 式 中 匿名 函数 的 数目 可 以 理解 为 等 于 渐 近 记号 出 现 的 次 数 。 例 如 ， 在 表达 式 


入 0Gz) 中 ， 只 有 一 个 匿名 函数 (一 个 ;的 函数 )。 因 此 ， 这 个 表达 式 不 同 于 OG1) 十 O(2) 十 … 十 


O(n)， 实 际 上 后 者 没有 一 个 清晰 的 解释 。 
在 某 些 例子 中 ， 渐 近 记 号 出 现在 等 式 的 左边 ， 例 如 
27 + O(n) = O(n’) 
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我 们 使 用 以 下 规则 来 解释 这 种 等 式 : 无 论 怎 样 选择 等 号 左边 的 匿名 函数 ， 总 有 一 种 办 法 来 选择 等 号 右 
边 的 匿名 函数 使 等 式 成 立 。 因 此 ， 我 们 的 例子 意 指 对 任意 函数 f(r) COM, FEXA MMe € 
OOP), EIRA n, A 2Y 十 f() 二 g(n)。 换 句 话 说 ， 等 式 右 边 比 左边 提供 的 细节 更 粗糙 。 

我 们 可 以 将 许多 这 样 的 关系 链 在 一 起 ， 例 如 

2 + 3n+1 = 2 +0) = O(n’) 

可 以 用 上 述 规 则 分 别 解释 每 个 等 式 。 第 一 个 等 式 表 明 存 在 某 个 函数 fr) € B@(n)， 使 得 对 所 有 的 
n, H 2 好 2 十 3 十 1 一 2 好 十 Faz) 。 第 二 个 等 式 表明 对 任意 函数 g(r) € O(n) (如 刚刚 提 到 的 f(n))， 
存在 某 个 函数 h(n)E Bw)， 使 得 对 所 有 的 n， 有 2 并 十 g(n) 二 h(n)。 注 意 ， 这 种 解释 蕴涵 着 2 + 
3n 十 1 二 B(xw)， 这 就 是 等 式 链 直 观 上 提供 给 我 们 的 东西 。 

0o 记号 

由 O 记 号 提供 的 渐 近 上 界 可 能 是 也 可 能 不 是 渐 近 紧 确 的 。 界 2n 二 OC ) 是 渐 近 紧 确 的 ,但 
ER n=O ) 却 不 是 。 我 们 使 用 o 记号 来 表示 一 个 非 渐 近 紧 确 的 上 界 。 形 式 化 地 定义 o(g(n)) 
( 读 作 “小 og(n)”) 为 以 下 集合 : 

o(g(n)) = (f@) MER ERE c> 0, 存 在 常量 mw > 0, 使 得 对 所 有 n 宇 mw, 有 0 三 f(n) < gen) 

PU, 2n=o0(r’), 但 是 2n’H~o0(r’). 

O 记 号 与 o 记号 的 定义 类 似 。 主 要 的 区 别 是 在 SMDS OEP, HOSS (n)<ce(n) tH 
常量 c>0 成立 ， 但 在 fM) P, FOS SOD <cg(n) MP Ae CO A. EWE, 在 
0 记号 中 ， 当 nn 趋 于 无 穷 时 ， 函 数 f(n) 相 对 于 g(n) 来 说 变 得 微不足道 了 ， 即 


lim £® ~ 0 (3.1) 
meo g(n) 


有 些 学 者 使 用 这 个 极限 作为 o 记号 的 定义 ; 本 书 中 的 定义 还 限定 匿名 函数 是 渐 近 非 负 的 。 
w 记号 
由 记号 与 Q 记号 的 关系 类 似 于 o 记号 与 O 记号 的 关系 。 我 们 使 用 w 记号 来 表示 一 个 非 渐 近 紧 
确 的 下 界 。 定 义 它 的 一 种 方式 是 : 
f(r) E wlg(n)) 4 ARY gin) E of f(n)) 
然而 ， 我 们 形式 化 地 定义 wl g(n)) GEE“) wg(n)”) AFRA: 
wlg(n)) = (fd: MERER E C>O FER E m > 0, KAMARA n> nm. FOS eM < fi} 
Pa, n’/2=0ln), {ASE nr /24a0(n’), KK f(n) =0 g(n)) HH 
lim m = co 
也 就 是 说 ， 如 果 这 个 极限 存在 ， 那 么 当 n FERH, SMR F g(2) 来 说 变 得 任意 大 了 。 
比较 各 种 函数 
实数 的 许多 关系 性 质 也 适用 于 渐 近 比较 。 下 面 假定 fo) 和 g(z) 渐 近 为 正 。 
传递 性 : 
fin) = B(g(n)) H gin) = B(h(n)) 蕴涵 f(n) = OCA(—)) 
fn) = O(g(n)) E gin) = OCAC)) ss BH f(n) = OC(h(n)) 
f@ = Xg~™) E gn) = AA) 蕴涵 fn) = ACh(~n)) 
f(r) = of g(n)) E g(r) = o(h(n)) 蕴涵 f(n) = o(h(n)) 
f(r) = o(g()) H gn) 二 wlh(n)) 蕴涵 f(D) = w(h(n)) 
BRIE: 
fin) = @f(™)) 
f(r) = Ofn) 
fn = Afm) 
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对 称 性 : 
fM = B(g(n)) 当 且 仅 当 gin = OC f(~™) 
转 置 对 称 性 : 
fm) = Olg(n)) 当 且 仅 当 gCn) = Q(f(n)) 
f(r) = of g(n)) SARY gir) = w(f(n)) 
因为 这 些 性 质 对 渐 近 记号 成 立 ， 所 以 可 以 在 两 个 函数 f 与 g 的 渐 近 比较 和 两 个 实数 a Ho 的 
比较 之 间 做 一 种 类 比 。 
f(r) == Ol(g(n)) FU Fa<b 
fM = Ug) 类 似 于 a 宇 6 
fn) = B(g(n)) XMF a=b 
fin) = o(g(n)) 类 似 于 a 二 6 
fM) = wl(g(n)) EUFa>b 
车 f(n)= 二 oCg(n))， 则 称 FOO MIENF ed); ESM =o e(n)), WRK Fo) 渐 近 大 于 gin). 
然而 ， 实 数 的 下 列 性 质 不 能 携带 到 渐 近 记号 : 

三 分 性 ”对 任意 两 个 实数 a 和 6b， 下 列 三 种 情况 恰 有 一 种 必须 成 立 : a<b, a=b, KRa>b. 
虽然 任意 两 个 实数 都 可 以 进行 比较 , 但 不 是 所 有 函数 都 可 渐 近 比较 。 也 就 是 说 ， 对 两 个 函数 
SMA gin), 也许 fC) =OC gn) Al fC) = 1 gn) ) ABA a. 例如， 我 们 不 能 使 用 渐 近 记号 
HE OBE PRK nMn, AA nl "HARE EO 与 2 之 间 摆 动 ， 取 介 于 两 者 之 间 的 所 有 值 。 


练习 


3.1-1 假设 f(mw) 与 g(n) 都 是 渐 近 非 负 函 数 。 使 用 8 记号 的 基本 定义 来 证 明 max(f(n)，g(n))== 
QO(f n+gn))., 
3.1-2 证 明 : 对 任意 实 常量 a 和 5， 其 中 5 二 0， 有 
(nt+a)’ = O(n’) (3. 2) 
1-3 解释 为 什么 “算法 A 的 运行 时 间 至 少 是 O()” 这 一 表述 是 无 意义 的 。 
-1-4 2 一 O(27) 成 立 吗 ? 2° =O(2") MING? 
证 明定 理 3. 1 。 
.1-6 WEH: 一 个 算法 的 运行 时 间 为 BCg(z)) 当 且 仅 当 其 最 坏 情 况 运行 时 间 为 Ol(g(n)), HIE 
最 好 情况 运行 时 间 为 Q(g(n))。 
3.1-7 WEH: o(g(n)) 门 w(g(n)) 为 空 集 。 
3.1-8 可 以 扩展 我 们 的 记号 到 有 两 个 参数 n Am 的 情形 ， 其 中 的 n 和 wm 可 以 按 不 同 速率 独立 地 
趋 于 无 穷 。 对 于 给 定 的 函数 g(n，m)， 用 OC(g(n，m)) 来 表示 以 下 函数 集 : 
Ol(g(n,m)) 二 {fln,m) :存在 正常 量 c、n。 和 rm REM AHA n> nm R m> m, 
有 0 过 f(n,m) < cg(n,m)} 
对 QCgln，m)) 和 B(gln，m)) 给 出 相应 的 定义 。 


3.2 标准 记号 与 常用 函数 

本 节 将 回顾 一 些 标 准 的 数学 函数 与 记号 并 探索 它们 之 间 的 关系 ， 还 将 阐明 渐 近 记号 的 应 用 。 

单调 性 

若 mn 蕴涵 f(m) 三 f(n)， 则 函数 F(z) 是 单调 递增 的 。 类 似 地 ， 若 m<n 蕴涵 f (m)> 
f(n)， 则 函数 fd EBB RH. FH m<n BM Fox 一 Foz)， 则 函数 f(n) 是 严格 递增 的 。 若 
m< nih f(m)> f(r), WW PRR fC) EF RY 


www w 
一 
h 
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向 下 取 整 与 向 上 取 整 
对 任意 实数 z， 我 们 用 Lz J」 表 示 小 于 或 等 于 xz 的 最 大 整数 ( 读 作 “z 的 向 下 取 整 ”)， 并 用 [z| 表 
MAF REF x 的 最 小 整数 ( 读 作 “x 的 向 上 取 整 ”> 。 对 所 有 实数 2, 
z—-l<laJ<x<[xe]l<zt+] (3. 3) 
对 任意 整数 ”， 
[n/21+|n/2J=n 
对 任意 实数 20 ABR a,b>0, 








[x/al] _ 
-加 ao 
|z |=|4| (3.5) 
+ (6—1) 
[zl<s ? (3.6) 
|2 |> == (3.7) 
向 下 取 整 函数 F(z) 王 [zj 是 单调 递增 的 ， 向 上 取 整 函数 f(x) 二 [zl 也 是 单调 递增 的 。 
模 运算 
对 任意 整数 a 和 任意 正 整 数 n，a modn 的 值 就 是 商 a/n 的 余数 : 
amodn = a—n|a/n] (3. 8) 
结果 有 
0 < a modn < n (3.9) 


给 定 一 个 整数 除 以 另 一 个 整数 的 余数 的 良 定义 后 ， 可 以 方便 地 引入 表示 余数 相等 的 特殊 记 
号 。 若 (Ca modn)=(bmodn), Wid a=b(modn), ， 并 称 模 交 时 a 等 价 于 2。 换 句 话 说,， 若 a 与 2 除 
以 nn 时 具有 相同 的 余数 ， 则 a=bCmodn), FH rsh, a=bCmodn) 4 HAL 4 n Æ b—a 的 一 个 因子 。 
若 模 nn 时 a 不 等 价 于 5， 则 记 aAbCmodn). 

多 项 式 

给 定 一 个 非 负 整数 4，n 的 d 次 多 项 式 为 具有 以 下 形式 的 一 个 函数 p(n): 

p(n) = San 
其 中 常量 a, as ty ag 是 多 项 式 的 系数 日 ov 天 0。 一 个 多 项 式 为 渐 近 正 的 当 且 仅 当 a0, WF 
一 个 @d 次 渐 近 正 的 多 项 式 p(n)， 有 pln) 二 Bl(n")。 对 任意 实 常量 0， 函 数 交 单调 递增 ， 对 任意 
实 常量 a<0， 函 数 n“ 单 调 递 减 。 若 对 某 个 常量 &， 有 fln) 二 Oln*)， 则 称 函数 f() 是 多 项 式 有 界 的 。 
指数 
对 所 有 实数 a 二 0、m 和 n， 我 们 有 以 下 恒等式 : 


d=] 


a = 1/a 
(a™)" = a™ 
(a™)" = (a")" 
a"a" = a" 
对 所 有 n Mall, BM a KF n 单调 递增 。 HER, RIBE 0 =1. 
可 以 通过 以 下 事实 使 多 项 式 与 指数 的 增长 率 互相 关联 。 对 所 有 使 得 a> l 的 实 常量 Mlb, A 


lim = = 0 (3. 10) 
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据 此 可 得 
n = ola") 
因此 ， 任 意 底 大 于 1 的 指数 函数 比 任意 多 项 式 函 数 增长 得 快 。 
使 用 e 来 表示 自然 对 数 函 数 的 底 2. 718 28…， 对 所 有 实数 zx， 我 们 有 


feiter ete pane SS (3.11) 
21 3! 24 il 
St“ RAW He LARK. MHA zx， 我 们 有 不 等 式 
el 二 (3. 12) 
其 中 只 有 当 zx=0 时 等 号 才 成 立 。 当 |z| 三 1 时 ， 我 们 有 近似 估计 
lt+z2ce<lt+2+2 (3. 13) 


当 z>0 时 ， 用 1 十 x 作为 e 的 近似 是 相当 好 的 : 
e =1+24+ 0’) 
(在 这 个 等 式 中 ， 渐 近 记 号 用 来 描述 当 20 而 不 是 roo 时 的 极限 行为 )。 对 所 有 zx， 我 们 有 : 
lim(1+ 2) = e (3. 14) 
对 数 
我 们 将 使 用 下 面 的 记号 : 
Ign = log,n (以 2 为 底 的 对 数 ) 
Inn = log.n (自然 对 数 ) 
lg n = (lgn)’ CRA) 
Iglgn=Ig(Ilgn) (复合 ) 
我 们 将 采用 的 一 个 重要 记号 约定 是 对 数 函 数 只 适用 于 公式 中 的 下 一 项 ， 所 以 lgn 十 kh BH gn) +k 
而 不 是 1g Cn 十 k)。 如 果 常 量 5 二 1， 那 么 对 n>0, PRR log, 是 严格 递增 的 。 
对 所 有 实数 a>0, b>0, cc 二 0 和 n， 有 
a = bX 
log (ab) = log.a + log. 


log,a" = nlog,a 





log,a = ae (3. 15) 
log,(1/a) =— log,a 
log,a = ig 
og 6 
全 (3. 16) 


其 中 ， 在 上 面 的 每 个 等 式 中 ， 对 数 的 底 不 为 1。 

根据 等 式 (3. 15) ， 对 数 的 底 从 一 个 常量 到 另 一 个 常量 的 更 换 仅 使 对 数 的 值 改 变 一 个 常量 因子 ， 
所 以 当 我 们 不 关心 这 些 常量 因子 时 ， 例 如 在 O 记 号 中 ， 我 们 经 常 使 用 记号 “lgn”。 计 算 机 科学 家 发 
现 2 是 对 数 的 最 自然 的 底 ， 因 为 非常 多 的 算法 和 数据 结构 涉及 把 一 个 问题 分 解 成 两 个 部 分 。 

当 |z| 二 1 时 ，ln(1 十 z) 存 在 一 种 简单 的 级 数 展开 : 


ie ae Sa 
lnl +r) =z 2 +3 i? s 
对 z> 一 1， 还 有 下 面 的 不 等 式 : 


x 


Tpz Si t+2) <2 (3.17) 
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其 中 仅 对 2=0 等 号 成 立 。 
若 对 某 个 常量 &，f(n) 二 Ol(lg n)， 则 称 函数 fa) 是 多 对 数 有 界 的 。 在 等 式 (3. 10) 中 ， 通 过 
用 Ign 代替 n 并 用 2 代替 a， 可 以 使 多 项 式 与 多 对 数 的 增长 互相 关联 : 


lim dE = lim £n =0 


根据 这 个 极限 ， 我 们 可 以 得 到 : 对 任意 常量 a 二 0， 
lg’ n = o(n*) 
因此 ,任意 正 的 多 项 式 函 数 都 比 任意 多 对 数 函 数 增长 得 快 。 
阶乘 
记号 n!( 读 作 “n 的 阶乘 定义 为 对 整数 n0, A 
Se 人 #n=0 
人 ne(n—1)! #n>0 
因此 , n! =1 ° 2. 3-n, 
阶乘 函数 的 一 个 弱 上 界 是 n! 三 w*， 因 为 在 阶乘 中 ，n 项 的 每 项 最 多 为 n。 斯 特 林 (Stirling) 
近似 公式 


n! = /2m(™)"(1+0(+)) (3. 18) 
e n 
给 出 了 一 个 更 紧 确 的 上 界 和 下 界 ， 其 中 e 是 自然 对 数 的 底 。 正 如 练习 3. 2-3 要 求证 明 的 ， 
n! = o(n") 
n! = w(2") 
Ig(n!) = O(nlgn) (3. 19) 
其 中 斯 特 林 近 似 公 式 有 助 于 证 明 等 式 (3. 19)。 对 所 有 nn 三 1， 下 面 的 等 式 也 成 立 : 
n! = Võm( 2) e (3. 20) 
其 中 
1 
ari <«< T2n (3. 21) 
多 重 函 数 


我 们 使 用 记号 SO OO) IAA PB SMER i 次 作用 于 一 个 初 值 x 上 。 形 式 化 地 ， 假 设 f(n) 
为 实数 集 上 的 一 个 函数 。 对 非 负 整数 i, ee 


f°) = Si 


ere #i>0 
例如 ， 4 f(n)=2n, Mi f° (nd) =2'n, 
多 重 对 数 函 数 
我 们 使 用 记号 lg* n( 读 作 “log Æ n”) 来 表示 多 重 对 数 ， 下 面 会 给 出 它 的 定义 。 假 设 lg“n 定义 
如 上 ， 其 中 Fa 三 lgz。 因 为 非 正 数 的 对 数 无 定义 ， 所 以 只 有 在 lg“ >xz0 时 lg2m2 才 有 定义 。 一 
定 要 区 分 lg“n( 从 参数 n 开始 ， 连 续 应 用 对 数 函 数 i 次 ) 与 lg n(n 的 对 数 的 ; RE. FEELS 
重 对 数 函 数 为 
Ig" n = min{i > 0: lg°n< 1} 
多 重 对 数 是 一 个 增长 非常 慢 的 函数 : 
lg"2 王 1 
Ig"4=2 
lg"16=3 
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Ig" 65 536 = 4 
Ig” (25) = 5 
因为 在 可 探测 的 宇宙 中 原子 的 数目 估计 约 为 1”， 远 远 小 于 2 ” ， 所 以 我 们 很 少 遇 到 一 个 使 


lg n> 5S Ay Hi A RU no 
斐 波 那 契 数 
使 用 下 面 的 递归 式 来 定义 斐 波 那 契 数 : 
Fo 一 0 
Fi =1 (3. 22) 


F; = F; + Fiz» i>2 
因此 ， 每 个 斐 波 那 契 数 都 是 两 个 前 面 的 数 之 和 ， 产 生 的 序列 为 
0,1,1,2,3,5,8,13,21,34,55,，… 
斐 波 那 契 数 与 黄金 分 割 率 % 及 其 共 生 数 % 有关 ， 它 们 是 下 列 方 程 的 两 个 根 : 


i (3. 23) 
并 由 下 面 的 公式 给 出 (参见 练习 3. 2-6): 
$= 1+/5 = 1.618 03--- (3. 24) 
$= 1 =— 0, 618 03+ 
特别 地 ， 我 们 有 
Se 
en 
可 以 使 用 归纳 法 来 证 明 这 个 结论 (练习 3.2, WAI, KUA 
Igb Tv 下 
ee ae 
这 蕴涵 着 
R= Fu (3. 25) 
这 就 是 说 第 ;个 斐 波 那 契 数 F; ET EMERARA. Al, EARLE BOE K. 
练习 


3.2-1 WEH: 若 f(n) 和 g(n) 是 单调 递增 的 函数 ， 则 函数 f(n) 十 gln) 和 f(g(n)) 也 是 单调 递增 
HJ, Eh, E SODA &g(Cz) 是 非 负 的 ， 则 Foz)。，g(z) 是 单调 递增 的 。 

3. 2-2 证 明 等 式 (3. 16) 。 

3.2-3 证 明 等 式 (3. 19)。 并 证 明 n! 王 w(2") 且 zl! 一 oO ) 。 

*3. 2-4 ”函数 [lgz]! 多 项 式 有 界 吗 ? 函数 [lg lgz]! 多 项 式 有 界 吗 ? 

*3.2-5 ”如 下 两 个 函数 中 ， 哪 一 个 渐 近 更 大 些 ，lg(lg* nn) 还 是 lg (gn)? 

3.26 WEH: 黄金 分 割 率 $ 及 其 共 纯 数 $ 都 满足 方程 x? 二 zx 十 1。 

3.2-7 用 归纳 法 证 明 : 第 i 个 斐 波 那 契 数 满足 等 式 


F, = 


光一 多 
5 
Sip 6 EME IMA b AHI HCH. 


3.2-8 证 明 : & Ink=O(n) MMH k=OE(n/Inn). 
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思考 题 


3-1 


3-2 


3-3 


(多 项 式 的 渐 近 行为 ) 假设 p(n) = Yan BAKE n hd KEDR, HH a>0, k iè 


一 个 常量 。 使 用 渐 近 记号 的 定义 来 证 明 下 面 的 性 质 。 

a. $ kod, W) pi) =O"). 

b. 4 k<d, M) p="). 

ce # k=d, Ni p(w) =O0G"). 

d. # k>d, 则 p(n) =o"). 

e i k<d, W pid) =a"). 

(相对 渐 近 增长 ) 为 下 表 中 的 每 对 表达 式 (A，B) 指 出 A 是 否 是 B MO, o Q o KO. B 
BeS1, e>0 H c>1 均 为 常量 。 回 答应 该 以 表格 的 形式 ， 将 “是 ?或 “ 否 ? 写 在 每 个 空格 中 。 





Ig(n!) Ig(n") 


(根据 渐 近 增长 率 排 序 ) 

a. 根据 增长 的 阶 来 排序 下 面 的 函数 ， 即 求 出 满足 gj 二 QC(gs),， gSA), s ga 一 
Q(Csga ) 的 函数 的 一 种 排列 gy ，g: ，…，ga 。 把 你 的 表 划 分 成 等 价 类 ， 使 得 函数 f(r) 和 
g(n) 在 相同 类 中 当 且 仅 当 f(r) =O(g()). 


Ig(ig’n) 2%" WD) n? n! (Ign)! 
(3)" n? lgn lg(n!) oF nen 
InInn = Ig*'n ne? nse Inn 1 

aie (Ign) ee 4 (nt+D! vign 

Ig* (ign) 2⁄7" n 2" nign an 


b. 给 出 非 负 函 数 f(n) 的 一 个 例子 ,使 得 对 所 有 在 (a) 部 分 中 的 函数 g;(n)，f(n) 既 不 是 
Olg: (MERE Q(gi(n))。 

( 渐 近 记号 的 性 质 ) 假设 SMA g(n) 为 渐 近 正 函 数 。 证 明 或 反驳 下 面 的 每 个 猜测 。 

a. f(n) =O( g(n)) Ah g(n) 二 OCf(n))。 

b. f(n) +g(n) =@(min( f(n), g(n))). 

c.f(n) 二 Ol(g(n)) 蕴 涵 lg(f(n)) 二 Ollg(g(n)))， 其 中 对 所 有 足够 大 的 n， 有 lg(g(n)) 宇 1 
A fm. 

d. f(n) =OC g(n)) AH 24" =O( 2 ) 。 

e f(n) =O f(n))*). 

f. f(n) =OC nA g(r) =A f(n)). 

g (m= f(n/2)). 

h. fn) +0( f(n)) =n). 
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35 (O45 Q 的 一 些 变形 ) 革 些 作者 用 一 种 与 我 们 稍微 不 同 的 方式 来 定义 Q; 假设 我 们 使 用 Q 
( 读 作 “Q 无 穷 ”) 来 表示 这 种 可 选 的 定义 。 若 存在 正常 量 <， 使 得 对 无 穷 多 个 整数 >， 有 SM 
ce(n)>0, WE FM) =A gn). 

a. 证 明 ， 对 渐 近 非 负 的 任意 两 个 函数 SODA en), 或 者 f(r) =O gn) MH fl) =A g(n)) 
或 者 二 者 均 成 立 ， 然 而， 如 果 使 用 Q 来 代替 只 ， 那 么 该 命题 并 不 为 真 。 

b. 描述 用 9 代替 O 来 刻画 程序 运行 时 间 的 潜在 优点 与 缺点 。 

某 些 作者 也 用 一 种 稍微 不 同 的 方式 来 定义 O; 假设 使 用 O' 来 表示 这 种 可 选 的 定义 。 我 
们 称 fC) =O' (g(n)) KHAK | fC) | =OCe(™)). 
c 如 果 使 用 O 代 替 O 但 仍然 使 用 Q， 定 理 3. 1 中 的 “ 当 且 仅 当 ”的 每 个 方向 将 出 现 什么 情况 ? 

有 些 作者 定义 G( 读 作 “ 软 0”) 来 意 指 忽略 对 数 因子 的 O: 

Oen) = (f(r) :存在 正常 量 oR Bn, HAMAR n>m, A 0< f(n) < gln) lg*(n)} 
d 用 一 种 类 似 的 方式 定义 G 和 和 捍 。 证 明 与 定理 3. 1 相对 应 的 类 似 结论 。 

3-6 (SEA) ”我们 可 以 把 用 于 函数 lg* 中 的 重复 操作 符 x 应 用 于 实数 集 上 的 任意 单调 递增 函 
数 F(z) 。 对 给 定 的 常量 cER， 我 们 定义 多 重 函 数 S 为 

fi (n) = minfi>0:f? (n) <c} 
该 函数 不 必 在 所 有 情况 下 都 为 良 定义 的 。 换 句 话 说， 值 A (nn) 是 为 缩小 其 参数 到 c 或 更 小 





所 需要 函数 了 重复 应 用 的 数目 。 
对 如 下 每 个 函数 f(n) 和 常量 c， 给 出 产 (n) 的 一 个 尽量 紧 确 的 界 。 
f(r) C fe @d 
a. n—1 0 
b. Ign 1 
c n/2 1 
d. n/2 2 
e Vn 2 
A Jn 1 
g nl/3 2 
h. n/lgn 2 
本 章 注 记 


Knuth{ 209 E% O 记 号 的 起 源 到 1892 年 由 P. Bachmann 编写 的 一 本 数论 教材 。E. Landau 在 
1909 年 发 明 o 记 号 ， 用 于 讨论 素数 的 分 布 。Knuth[213] 提 倡 Q 和 8 记号 ， 以 纠正 文献 中 流行 的 
但 技术 上 草率 的 对 上 界 和 下 界 都 使 用 O 记 号 的 常规 。 许 多 人 在 8 记号 技术 上 更 准确 的 地 方 继 续 
使 用 O 记 号 。 关 于 渐 近 记号 的 历史 与 发 展 的 深入 讨论 ， 可 以 参考 Knuth[209，213] 以 及 Brassard 
和 BratleyL55] 撰 写 的 著作 。 

虽然 各 种 定义 在 大 多 数 公 共 的 情况 下 是 一 致 的 ,但 是 ,不 是 所 有 的 作者 都 用 相同 的 方式 来 
定义 渐 近 记号 。 一 些 可 选 的 定义 包括 不 是 渐 近 非 负 的 函数 ， 只 要 它们 的 绝对 值 是 适当 有 界 的 。 

等 式 (3. 20) 应 归功 于 Robbins[297]。 基 本 数学 函数 的 其 他 性 质 可 以 在 任何 一 本 好 的 数学 参 
考 书 中 找到 ， 例 如 ，Abramowitz 和 Stegun[1] 或 ZwillingerL362]， 也 可 以 在 微 积分 书 中 找到 ， 例 
如 ApostolL18] 或 Thomas 等 [334]。Knuth[ 209] 以 及 Graham, Knuth 和 Patashnik[152] 包 含 大量 

用 于 计算 机 科学 中 的 离散 数学 的 有 关 材 料 。 
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分 治 策略 


在 2. 3. 1 节 中 ， 我 们 介绍 了 归并 排序 ， 它 利用 了 分 治 策略 。 回 忆 一 下 ， 在 分 治 策略 中 ， 我 们 
递归 地 求解 一 个 问题 ， 在 每 层 递 归 中 应 用 如 下 三 个 步骤 : 

分 解 (Divide) 步 又 将 问题 划分 为 一 些 子 问题 ， 子 问题 的 形式 与 原 问题 一 样 ， 只 是 规模 更 小 。 

解决 (Conquer) 步 又 递归 地 求解 出 子 问题 。 如 果子 问题 的 规模 足够 小 ， 则 停止 递归 ， 直 接 求 解 。 

合并 (Combine) 步 又 将 子 问题 的 解 组 合成 原 问题 的 解 。 

当 子 问 题 足够 大 ， 需 要 递归 求解 时 ， 我 们 称 之 为 递归 情况 (recursive case) 。 当 子 问题 变 得 足 
够 小 ， 不 再 需要 递归 时 ,我们 说 递归 已 经 “ 触 底 "， 进 入 了 基本 情况 (base case)。 有 时 ， 除了 与 原 
问题 形式 完全 一 样 的 规模 更 小 的 子 问题 外 ， 还 需要 求解 与 原 问题 不 完全 一 样 的 子 问题 。 我 们 将 
这 些 子 问题 的 求解 看 做 合并 步骤 的 一 部 分 。 

在 本 章 中 ， 我 们 将 看 到 更 多 基于 分 治 策略 的 算法 。 第 一 个 算法 求解 最 大 子 数组 问题 ， 其 输入 
是 一 个 数值 数组 ， 算 法 需要 确定 具有 最 大 和 的 连续 子 数 组 。 然 后 我 们 将 看 到 两 个 求解 nX n E E 
乘法 问题 的 分 治 算法 。 其 中 一 个 的 运行 时 间 为 (mw ) ， 并 不 优 于 平凡 算法 。 但 另 一 算法 (Strassen 
算法 ) 的 运行 时 间 为 O( 天 2 )， 渐 近 时 间 复 杂 性 击败 了 平凡 算法 。 

递归 式 

递归 式 与 分 治 方法 是 紧密 相关 的 ， 因 为 使 用 递归 式 可 以 很 自然 地 刻画 分 治 算法 的 运行 时 间 。 
一 个 递归 式 (recurrence) 就 是 一 个 等 式 或 不 等 式 ， 它 通过 更 小 的 输入 上 的 函数 值 来 描述 一 个 函数 。 
例如 ， 在 2.3.2 节 中 ， 我们 用 递归 式 描述 了 MERGE-SORT 过 程 的 最 坏 情况 运行 时 间 T(n): 

@(1) Fn=1 


Tin) = | (4.1) 
4 2T(n/2) 十 @(n) #n>l 





求解 可 得 T(n) =O(nlgn). 
递归 式 可 以 有 很 多 形式 。 例 如 ， 一 个 递归 算法 可 能 将 问题 划分 为 规模 不 等 的 子 问题 ， 如 2/3 
对 1/3 的 划分 。 如 果 分 解 和 合并 步骤 都 是 线性 时 间 的 ， 这样 的 算法 会 产生 递归 式 To) = 
T(2n/3) + T(n/3) + O(n). 
子 问题 的 规模 不 必 是 原 问 题 规模 的 一 个 固定 比例 。 例 如 ， 线 性 查找 的 递归 版 本 (练习 2. 1-3) 
仅 生 成 一 个 子 问题 ， 其 规模 仅 比 原 问 题 的 规模 少 一 个 元 素 。 每 次 递归 调用 将 花费 常量 时 间 再 加 
上 下 一 层 递 归 调 用 的 时 间 ， 因 此 递归 式 为 TC(n)= 二 T(n 一 1) 十 8(1)。 
本 章 介绍 三 种 求解 递归 式 的 方法 ， 即 得 出 算法 的 “98? 或 "07? 渐 近 界 的 方法 : 
。 代入 法 ”我 们 猜测 一 个 界 ， 然 后 用 数学 归纳 法 证 明 这 个 界 是 正确 的 。 
。 递归 树 法 ”将 递归 式 转 换 为 一 棵 树 ， 其 结 点 表示 不 同 层 次 的 递归 调用 产生 的 代价 。 然 后 
采用 边界 和 技术 来 求解 递归 式 。 
。 主 方法 可 求解 形 如 下 面 公式 的 递归 式 的 界 : 
T(n) = aT(n/b) + f(n) (4, 2) 
Hep al, b> 1, SMENA ERRAR. RAHCRHBARRE RL, CA Tixe— 
个 分 治 算法 : 生成 a 个 子 问题 ， 每 个 子 问题 的 规模 是 原 问 题 规模 的 1/5， 分 解 和 合并 步 
又 总 共 花 费时 间 为 fn). 
为 了 使 用 主 方法 ， 必 须要 熟 记 三 种 情况 ， 但 是 一 旦 你 掌握 了 这 种 方法 ， 确 定 很 多 简单 递归 式 
的 渐 近 界 就 变 得 很 容易 。 在 本 章 中 ， 我 们 将 使 用 主 方法 来 确定 最 大 子 数 组 问题 和 矩阵 相 乘 问题 
的 分 治 算法 的 运行 时 间 ， 本 书 中 其 他 使 用 分 治 策略 的 算法 也 将 用 主 方法 进行 分 析 。 
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我 们 偶尔 会 遇 到 不 是 等 式 而 是 不 等 式 的 递归 式 ， 例 如 TC) 二 2T(n/2) 十 @(n)。 因 为 这 样 一 种 递归 
式 仅 描述 了 TO) 的 一 个 上 界 ， 因 此 可 以 用 大 O 符 号 而 不 是 @ 符 号 来 描述 其 解 。 类 似 地 ， 如 果 不 等 式 
为 TW) 宇 2T(n/2) 十 @(r)， 则 由 于 递归 式 只 给 出 了 TOD) 的 一 个 下 界 ， 我 们 应 使 用 Q 符 号 来 描述 其 解 。 

递归 式 技术 细节 

在 实际 应 用 中 ， 我 们 会 忽略 递归 式 声 明和 求解 的 一 些 技 术 细 节 。 例 如 ， 如 果 对 n 个 元 素 调用 
MERGE-SORT， 当 n 为 奇数 时 ， 两 个 子 问题 的 规模 分 别 为 Ln/2J 和 [n/21， 准 确 来 说 都 不 是 n/2， 
因为 当 交 是 奇数 时 ，zV2 不 是 一 个 整数 。 技 术 上 ， 描 述 MERGE-SORT 最 坏 情 况 运 行 时 间 的 准确 
的 递归 式 为 
0a) #n=1 
T([n/2) +T ln/2)+0mM #n>1 

边界 条 件 是 另 一 类 我 们 通常 忽略 的 细节 。 由 于 对 于 一 个 常量 规模 的 输入 ， 算 法 的 运行 时 间 为 
常量 ， 因 此 对 于 足够 小 的 n， 表 示 算法 运行 时 间 的 递归 式 一 般 为 T(n) 二 8(1)。 因 此 ， 出 于 方便 ， 
我 们 一 般 忽 略 递 归 式 的 边界 条 件 ， 假 设 对 很 小 的 n，T(n) 为 常量 。 例 如 ， 递 归 式 (4. 1) 常 被 表示 为 

T(n) = 2T(n/2) + O(n) (4. 4) 
去 掉 了 很 小 时 函数 值 的 显 式 描述 。 原 因 在 于 ， 虽 然 改 变 T(1) 的 值 会 改变 递归 式 的 精确 解 ， 但 
改变 幅度 不 会 超过 一 个 常数 因子 ， 因 而 函数 的 增长 阶 不 会 变化 。 

当 声 明 、 求 解 递 归 式 时 ， 我们 常常 忽略 向 下 取 整 、 向 上 取 整 及 边界 条 件 。 我 们 先 忽略 这 些 细 
节 ， 稍 后 再 确定 这 些 细节 对 结果 是 否 有 较 大 影响 。 通 常 影响 不 大 ， 但 你 需要 知道 什么 时 候 会 影响 
不 大 。 这 一 方面 可 以 依靠 经 验 来 判断 ， 另 一 方面 ， 一 些 定理 也 表明 ， 对 于 很 多 刻画 分 治 算法 的 递 
归 式 ， 这 些 细节 不 会 影响 其 渐 近 界 ( 参 见 定理 4. 1) 。 但 是 ， 在 本 章 中 ， 我 们 会 讨论 某 些 细节 ， 展 
示 递 归 式 求解 方法 的 要 点 。 


4. 1 最 大 子 数组 问题 


假定 你 获得 了 投资 挥发 性 化 学 公司 的 机 会 。 与 其 生产 的 化 学 制品 一 样 ， 这 家 公司 的 股票 价 
格 也 是 不 稳定 的 。 你 被 准许 可 以 在 某 个 时 刻 买 进 一 股 该 公司 的 股票 ， 并 在 之 后 某 个 日 期 将 其 卖 
出 ， 买 进 卖 出 都 是 在 当天 交易 结束 后 进行 。 为 了 补偿 这 一 限制 ， 你 可 以 了 解 股票 将 来 的 价格 。 你 
的 目标 是 最 大 化 收益 。 图 4-1 给 出 了 17 天 内 的 股票 价格 。 第 0 天 的 股票 价格 是 每 股 100 美元 ， 你 
可 以 在 此 之 后 任何 时 间 买 进 股票 。 你 当然 希望 “ 低 价 买 进 ， 高 价 卖 出 ”一 一 在 最 低 价格 时 买 进 股 
票 ， 之 后 在 最 高 价格 时 卖 出 ， 这 样 可 以 最 大 化 收益 。 但 遗憾 的 是 ， 在 一 段 给 定时 期 内 ， 可 能 无 法 
做 到 在 最 低 价格 时 买 进 股票 ， 然 后 在 最 高 价格 时 卖 出 。 例 如 ， 在 图 4-1 中 ， 最 低 价格 发 生 在 第 7 
天 ， 而 最 高 价格 发 生 在 第 1 天 一 一 最 高 价 在 前 ， 最 低 价 在 后 。 
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T(n) = | (4. 3) 








0 1 A-D 6 


天 0 T.2 Sy AS 6 7 8 9 10 II 12% 13:14 ‘15 16 
价格 |100 113 110 85 105 102 86 63 81 101 94 106 101 79 94 90 97 
变化 13 -3 -25 20 -3 -16 -23 18 20 -7 12 -5 -22 15 4 7 


图 4-1 17 天 内 ， 每 天 交易 结束 后 ， 挥 发 性 化 学 公司 的 股票 价格 信息 。 横 轴 表 示 日 期 ， 纵 轴 表 
示 股 票 价格 。 表 格 的 最 后 一 行 给 出 了 股票 价格 相对 于 前 一 天 的 变化 


第 4 章 分 治 策略 


你 可 能 认为 可 以 在 最 低 价 格 时 买 进 ， 或 在 最 高 价格 时 卖 出 ， 即 可 最 大 化 收益 。 例 如 ， 在 图 4-1 
中 ， 我 们 可 以 在 第 7 天 股票 价格 最 低 时 买 人 ， 即 可 最 大 化 收益 。 如 果 这 种 策略 总 是 有 效 的 ， 则 确 
定 最 大 化 收益 是 非常 简单 的 : 寻找 最 高 和 最 低 价 格 ， 然 后 从 最 高 价格 开始 向 左 寻找 之 前 的 最 低 
价格 ， 从 最 低 价格 开始 向 右 寻 找 之 后 的 最 高 价格 ， 取 两 对 价格 中 差 值 最 大 者 。 但 图 4-2 给 出 了 一 
个 简单 的 反例 ， 显 示 有 时 最 大 收益 既 不 是 在 最 低 价格 时 买 进 ， 也 不 是 在 最 高 价格 时 卖 出 。 
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图 4-2 本 例 说 明 最 大 收益 并 不 一 定 从 最 低 价格 开始 或 者 到 最 高 价格 结束 。 与 图 4-1 
一 样 ， 横 轴 表 示 日 期 ， 纵 轴 表 示 价 格 。 在 本 例 中 ， 最 大 收益 为 每 股 3 美元 ， 
第 2 天 买 进 ， 第 3 天 卖 出 可 获得 此 最 大 收益 。 第 2 天 的 价格 7 美元 并 非 最 低 
价格 ， 而 第 3 天 的 价格 10 美元 也 并 非 最 高 价格 
暴力 求解 方法 
我 们 可 以 很 容易 地 设计 出 一 个 暴力 方法 来 求解 本 问题 : 简单 地 尝试 每 对 可 能 的 买 进 和 卖 出 


日 期 组 合 ， 只 要 卖 出 日 期 在 买 人 日 期 之 后 即 可 。n 天 中 共有 (”) 种 日 期 组 合 。 因 为 (”) 一 BG)， 


而 处 理 每 对 日 期 所 花费 的 时 间 至 少 也 是 常量 ， 因 此 ， 这 种 方法 的 运行 时 间 为 Q(x )。 有 更 好 的 方 
法 吗 ? 

问题 变换 

为 了 设计 出 一 个 运行 时 间 为 ow) 的 算法 ， 我们 将 从 一 个 稍微 不 同 的 角度 来 看 待 输 入 数据 。 
我 们 的 目的 是 寻找 一 段 日 期 ,使 得 从 第 一 天 到 最 后 一 天 的 股票 价格 净 变 值 最 大 。 因 此 ， 我 们 不 再 
从 每 日 价格 的 角度 去 看 待 输入 数据 ， 而 是 考察 每 日 价格 变化 ， 第 i 天 的 价格 变化 定义 为 第 i 天 和 
第 i 一 1 天 的 价格 差 。 图 4-1 中 的 表格 的 最 后 一 行 给 出 了 每 日 价格 变化 。 如 果 将 这 一 行 看 做 一 个 
数组 A， 如 图 4-3 所 示 ， 那 么 问题 就 转化 为 寻找 A 的 和 最 大 的 非 空 连续 子 数组 。 我 们 称 这 样 的 连 
续 子 数组 为 最 大 子 数组 (maximum subarray) 。 例 如 ， 对 图 4-3 中 的 数组 ，A[1. .16] 的 最 大 子 数组 
为 AL8. .11]， 其 和 为 43。 因 此 ， 你 可 以 在 第 8 天 (7 天 之 后 ) 买 人 股票 ， 并 在 第 11 天 后 卖 出 ， 获 
得 每 股 收益 43 美元 。 
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最 大 子 数组 


图 4-3 股票 价格 变化 值 的 最 大 子 数组 问题 。 本 例 中 ， 子 数组 AL8..11] 的 和 
是 43， 是 A 的 所 有 连续 子 数组 中 和 最 大 的 


乍 一 看 ， 这 种 变换 对 问题 求解 并 没有 什么 帮助 。 对 于 一 段 mn 天 的 日 期 ， 我们 仍然 需要 检查 
(”。 )=@cz) 个 子 数组 。 BEA 4.1-2 要 求证 明 ， 虽 然 计算 一 个 子 数组 之 和 所 需 的 时 间 是 线性 


的 ， 但 当 计算 所 有 B(x) 个 子 数组 和 时 ， 我 们 可 以 重新 组 织 计 算 方式 ， 利 用 之 前 计算 出 的 子 数组 
和 来 计算 当前 子 数组 的 和 ， 使 得 每 个 子 数组 和 的 计算 时 间 为 0(1)， 从 而 暴力 求解 方法 所 花费 的 
时 间 仍 为 Or’). 

接 下 来 ， 我 们 寻找 最 大 子 数组 问题 的 更 高 效 的 求解 方法 。 在 此 过 程 中 ， 我 们 通常 说 “一 个 最 
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大 子 数 组 ”而 不 是 “最 大 子 数 组 ”， 因 为 可 能 有 多 个 子 数组 达到 最 大 和 。 

只 有 当 数 组 中 包含 负数 时 ， 最 大 子 数组 问题 才 有 意义 。 如 果 所 有 数组 元 素 都 是 非 负 的 ， 最 大 
子 数 组 问题 没有 任何 难度 ， 因 为 整个 数组 的 和 肯定 是 最 大 的 。 

使 用 分 治 策 略 的 求解 方法 

我 们 来 思考 如 何 用 分 治 技术 来 求解 最 大 子 数组 问题 。 假 定 我 们 要 寻找 子 数组 Allow. . high] 
的 最 大 子 数 组 。 使 用 分 治 技术 意味 着 我 们 要 将 子 数组 划分 为 两 个 规模 尽量 相等 的 子 数 组 。 也 就 
是 说 ， 找 到 子 数 组 的 中 央 位 置 ， 比 如 mid， 然 后 考虑 求解 两 个 子 数组 ALlow. . mid ]#l AL mid+ 
1..high]。 如 图 4-4(a) fas, Allow. . high] 的 任何 连续 子 数组 ALi. . 让 所 处 的 位 置 必然 是 以 下 三 

。 完全 位 于 子 数组 Allow. . midj] 中 ， 因 此 low<i<j<<mid。 

© 完全 位 于 子 数组 Almid+1.. high}, Aik mid<i<j<high, 

。 跨越 了 中 点 ， 因 此 low<i<mid<j 寺 high。 

因此 ，ALiow. .high] 的 一 个 最 大 子 数组 所 处 的 位 置 必 然 是 这 三 种 情况 之 一 。 实际 上 ， 
Allow. . high] 的 一 个 最 大 子 数组 必然 是 完全 位 于 Allow. .mid] 中 、 完 全 位 于 A[mid 十 1.. high] 
中 或 者 跨越 中 点 的 所 有 子 数组 中 和 最 大 者 。 我 们 可 以 递归 地 求解 Al low. . mid | #1 ALmid 十 
1. .Agj] 的 最 大 子 数 组 ， 因 为 这 两 个 子 问题 仍 是 最 大 子 数 组 问题 ， 只 是 规模 更 小 。 因 此 ， 番 下 的 
全 部 工作 就 是 寻找 跨越 中 点 的 最 大 子 数组 ， 然 后 在 三 种 情况 中 选取 和 最 大 者 。 

跨越 中 点 


A[mid+1./] 
low mid high low 


i mid ——>—_-Y 







high 





~~ midl SL ~ mid+! F 
完全 位 于 4[low.mid] H 完全 位 于 4[mid+1.high] 中 ALi..mid] 
(a) (b) 


4-4 (a)ALlow.. high] 的 子 数组 的 可 能 位 置 ， 完全 位 于 Allow. .mid] 中 ， 完 全 位 于 A[mid 十 
1.. highj] 中 ， 或 者 跨越 中 点 mids (b)ALlow. . high] 的 任何 跨越 中 点 的 子 数组 由 两 个 子 
数组 ALi. .midj 和 ALmid 十 1. . j JAR, FEP low<i<<mid A mid<j<high 


我 们 可 以 很 容易 地 在 线性 时 间 ( 相 对 于 子 数组 AL low. . highj 的 规模 ) 内 求 出 跨越 中 点 的 最 大 
子 数组 。 此 问题 并 非 原 问题 规模 更 小 的 实例 ， 因 为 它 加 入 了 限制 一 一 求 出 的 子 数组 必须 跨越 中 
点 。 如 图 4-4(b) 所 示 ， 任 何 跨越 中 点 的 子 数组 都 由 两 个 子 数组 ALi. .midj 和 A[mid 十 1. . 门 组 成 ， 
其 中 lowSi<mid 且 mid 二 jj 三 high。 因 此 ， 我 们 只 需 找 出 形 如 ALi. . mid] ALmid+1.. 门 的 最 
大 子 数 组 ， 然 后 将 其 合并 即 可 。 过 程 FIND-MAX-CORSSING-SUBARRAY 接收 数组 A 和 下 标 
low, mid 和 high 为 输入 ， 返 回 一 个 下 标 元 组 划 定 跨越 中 点 的 最 大 子 数 组 的 边界 ， 并 返回 最 大 子 
数组 中 值 的 和 。 


FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 
l] left-sum = 一 co 
2 sum = 0 
for i = mid downto low 
sum=sum+ A[i] 
if sum > le ft-sum 
left-sum = sum 
maz-le ft = i 


right-sum = 一 co 


oN 


sum = 0 
10 forj = mid + 1 to high 
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11 sum=sum + A[j] 


12 if sum > right-sum 
13 right-sum = sum 
14 max-right = j 


15 return (maz-left, max-right, left-sum + right-sum) 


此 过 程 的 工作 方式 如 下 所 述 。 第 1 一 7 行 求 出 左 半 部 A low. . midj 的 最 大 子 数组 。 由 于 此 子 
数组 必须 包含 ALmid]， 第 3 一 7 行 的 for 循环 的 循环 变量 i 是 从 mid 开始 ， 递 减 直至 达到 low, 
因此 ， 它 所 考察 的 每 个 子 数组 都 具有 ALi. . midj 的 形式 。 第 1 一 2 行 初始 化 变量 le ft-sum 和 sum, 
前 者 保存 目前 为 止 找到 的 最 大 和 ， 后 者 保存 ALi. .id 中 所 有 值 的 和 。 每 当 第 5 行 找 到 一 个 子 数 
组 ALi. .midj 的 和 大 于 left-sum 时 ， 我 们 在 第 6 行将 le ft-sum 更 新 为 这 个 子 数组 的 和 ， 并 在 第 7 
行 更 新 变量 mar-left 来 记录 当前 下 标 i。 第 8 一 14 求 右 半 部 Almid+1.. highj 的 最 大 子 数组 ， 过 
程 与 左 半 部 类 似 。 此 处 ,第 10~14 行 的 for 循环 的 循环 变量 j 是 从 mid 十 1 开始， 递增 直至 达到 
high， 因 此 ， 它 所 考察 的 每 个 子 数组 都 具有 ALmid 十 1. .站 的 形式 。 最 后 ， 第 15 行 返回 下 标 
maz-left 和 maz-right， 划 定 跨越 中 点 的 最 大 子 数 组 的 边界 ， 并 返回 子 数 组 ALmazx-left. .mazx- 
right |] 的 和 left-sum+right-sum, 

如 果子 数组 Allow. .high] 包 含 n 个 元 素 ( 即 n= 二 high 一 low 十 1)， 则 调用 FIND-MAX- 
CROSSING-SUBARRAY(A，low，mid，high) 花 费 O(n) ATTA). FHF RI for 循环 的 每 次 迭代 花 
费 8(1) 时 间 ， 我 们 只 和 需 统 计 一 共 执 行 了 多 少 次 迭代 。 第 3 一 ?7 行 的 for 循环 执行 了 mid—low+1 
次 迭代 ， 第 10~14 FF HY for 循环 执行 了 high 一 mid 次 和 迭代， 因此 总 循环 迭代 次 数 为 

(mid — low +1) + (high — mid) = high — low +1 = n 

有 了 一 个 线性 时 间 的 FIND-MAX-CROSSING-SUBARRAY 在 手 ， 我 们 就 可 以 设计 求解 最 大 

子 数组 问题 的 分 治 算法 的 伪 代码 了 : 


FIND-MAXIMUM-SUBARRAY(A, low, high) 
1 if high == low 


2 return (low, high, A[low]) // base case: only one element 

3 else mid=| (low+high)/2 | 

4 (left-low, left-high, left-sum) = 
FIND-MAXIMUM-SUBARRAY(A, low, mid) 

5 (right-low, right-high, right-sum) = 
FIND-MAXIMUM-SUBARRAY(A, mid+1, high) 

6 (cross-low, cross-high, cross-sum) = 
FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 

7 if le ft-sum > right-sum and le ft-sum > cross-sum 

8 return (le ft-low, le ft-high, le ft-sum) 

9 elseif rightr-sum > le ft-sum and right-sum > cross-sum 

10 return (right-low, right-high, right-sum) 

ll else return (cross-low, cross-high, cross-sum) 


初始 调用 FIND-MAXIMUM-SUBARRAY(A, 1, A. length) 会 求 出 A[1. .站 的 最 大 子 数组 。 

与 FIND-MAX-CROSSING-SUBARRAY 相似 ， 递 归 过 程 FIND-MAXIMUM-SUBARRAY 返 
回 一 个 下 标 元 组 ， 划 定 了 最 大 子 数组 的 边界 ， 同 时 返回 最 大 子 数组 中 的 值 之 和 。 第 1 行 测试 基本 
情况 ， 即 子 数 组 只 有 一 个 元 素 的 情况 。 在 此 情况 下 ， 子 数组 只 有 一 个 子 数组 一 一 它 自身 ， 因 此 第 
2 行 返回 一 个 下 标 元 组 ， 开 始 和 结束 下 标 均 指 向 唯一 的 元 素 ， 并 返回 此 元 素 的 值 作为 最 大 和 。 第 
3 一 11 行 处 理 递归 情况 。 第 3 行 划 分 子 数组 ， 计 算 中 点 下 标 mid。 我 们 称 子 数组 Allow. . mid) 
EFKA, Almid+1.. high] 为 右 子 数组 。 因 为 我 们 知道 子 数组 Allow. . highj] 至 少 包含 两 个 元 
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素 ， 则 左 、 右 两 个 子 数组 各 至 少 包含 一 个 元 素 。 第 4 行 和 第 5 行 分 别 递归 地 求解 左右 子 数组 中 的 
最 大 子 数组 。 第 6 一 11 行 完成 合并 工作 。 第 6 行 求 跨越 中 点 的 最 大 子 数 组 (回忆 一 下 ， 第 6 FR 
解 的 子 问题 并 非 原 问题 的 规模 更 小 的 实例 ， 因 为 我 们 将 其 看 做 合并 部 分 )。 第 7 行 检测 最 大 和 子 
数组 是 否 在 左 子 数组 中 ， 若 是 ， 第 8 行 返回 此 子 数组 。 否 则 ， 第 9 行 检测 最 大 和 子 数 组 是 否 在 右 
子 数 组 中 ， 若 是 ， 第 10 行 返 回 此 子 数组 。 如 果 左 、 右 子 数组 均 不 包含 最 大 子 数 组 ， 则 最 大 子 数 
组 必然 跨越 中 点 ， 第 11 行将 其 返回 。 

分 治 算法 的 分 析 

接 下 来 ， 我 们 建立 一 个 递归 式 来 描述 递归 过 程 FIND-MAXIMUM-SUBARRAY 的 运行 时 间 。 
如 2. 3.2 节 中 分 析 归 并 排序 那样 ， 对 问题 进行 简化 ， 假 设 原 问题 的 规模 为 2 AOE, ROTA F 
题 的 规模 均 为 整数 。 我 们 用 TORR FIND-MAXIMUM-SUBARRAY 求解 个 元 素 的 最 大 子 数 
组 的 运行 时 间 。 首 先 ， 第 1 行 花费 常量 时 间 。 对 于 "一 1 的 基本 情况 ， 也 很 简单 : 第 2 行 花费 党 
量 时 间 ， 因 此 ， 

TQ) = 8(1) (4.5) 

当 n> 1 时 为 递归 情况 。 第 1 行 和 第 3 行 花费 常量 时 间 。 第 4 行 和 第 5 行 求解 的 子 问题 均 为 
n/2 个 元 素 的 子 数组 (假定 原 问题 规模 为 2 RE, RIET n/2 为 整数 )， 因 此 每 个 子 问题 的 求解 时 
间 为 T(n/2) 。 因 为 我 们 需要 求解 两 个 子 问题 一 一 左 子 数组 和 右 子 数 组 ， 因 此 第 4 行 和 第 5 行 给 
总 运行 时 间 增加 了 2T(n/2)。 而 我 们 前 面 已 经 看 到 ,第 6 行 调 用 FIND-MAX-CROSSING- 
SUBARRAY 花费 BCz) 时 间 。 第 7 一 11 行 仅 花费 8@(1) 时 间 。 因 此 ， 对 于 递归 情况 ,我 们 有 





T(n) = OA) + 2T(n/2) + @(n) 十 9(1) = 2T(n/2) + On) (4. 6) 
组 合式 (4. 5) 和 式 (4.6)， 我 们 得 到 FIND-DMAXIMUM-SUBARRAY 运行 时 间 T(n) 的 递归 式 : 
@(1) #n=1 


ea 村 
r 2T(n/2) 十 B@(n) #n>1 NR 


此 递归 式 与 式 (4. 1) 归 并 排序 的 递归 式 一 样 。 我 们 在 4. 5 节 将 看 到 用 主 方法 求解 此 递归 式 ， 其 解 为 
T(n) 二 Bnlgn)。 你 也 可 以 重新 回顾 一 下 图 2-5 中 的 递归 树 ， 来 理解 为 什么 解 是 TO) = O(n Ign). 

因此 ， 我 们 看 到 利用 分 治 方法 得 到 了 一 个 渐 近 复杂 性 优 于 暴力 求解 方法 的 算法 。 通 过 归并 
排序 和 本 节 的 最 大 子 数组 问题 ， 我 们 开始 对 分 治 方法 的 强大 能 力 有 了 一 些 了 解 。 有 时 ， 对 某 个 问 
题 ， 分 治 方法 能 给 出 渐 近 最 快 的 算法 ， 而 其 他 时 候 ， 我 们 (不 用 分 治 方法 ) 甚 至 能 做 得 更 好 。 如 练 
习 4. 1-5 所 示 ， 最 大 子 数组 问题 实际 上 存在 一 个 线性 时 间 的 算法 ， 并 未 使 用 分 治 方法 。 


练习 

4.1-1 当 A 的 所 有 元 素 均 为 负数 时 ，FIND-MAXIMUM-SUBARRAY 返回 什么 ? 

4.1-2 对 最 大 子 数组 问题 ， 编 写 暴力 求解 方法 的 伪 代 码 ， 其 运行 时 间 应 该 为 O). 

4.1-3 在 你 的 计算 机 上 实现 最 大 子 数组 问题 的 暴力 算法 和 递归 算法 。 请 指出 多 大 的 问题 规模 no 
是 性 能 交叉 点 一 一 从 此 之 后 递归 算法 将 击败 暴力 算法 ? 然后 ， 修 改 递归 算法 的 基本 情 
况 一 一 当 问 题 规模 小 于 n 时 采用 暴力 算法 。 修 改 后 ， 性 能 交叉 点 会 改变 吗 ? 

4.1-4 假定 修改 最 大 子 数 组 问题 的 定义 ， 人 允许 结果 为 空子 数组 ， 其 和 为 0。 你 应 该 如 何 修改 现 有 
算法 ， 使 它们 能 允许 空子 数组 为 最 终结 果 ? 

4.1-5 使 用 如 下 思想 为 最 大 子 数 组 问题 设计 一 个 非 递 归 的 、 线 性 时 间 的 算法 。 从 数组 的 左边 界 
开始 ， 由 左 至 右 处 理 ， 记 录 到 目前 为 止 已 经 处 理 过 的 最 大 子 数组 。 若 已 知 A[1.. 门 的 最 
大 子 数组 ， 基 于 如 下 性 质 将 解 扩展 为 AL1. .7 十 菇 的 最 大 子 数组 : AL1..j 十 1] 的 最 大 子 数 
组 要 么 是 ALL. .让 的 最 大 子 数组 ， 要 么 是 某 个 子 数组 A[i..j 十 1](1<i<j 十 1)。 在 已 知 
ALI. .让 的 最 大 子 数组 的 情况 下 ， 可 以 在 线性 时 间 内 找 出 形 如 A[i. . j 十 1j 的 最 大 子 数组 。 
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4.2 和 矩阵 乘法 的 Strassen 算法 


如 果 你 以 前 曾经 接触 过 和 矩阵， 可 能 了 解 如 何 进行 矩阵 乘法 (否则 ， 请 阅读 D. 1 节 )。 若 A= 
Cay) H B= (b) E nXn KATE, WR 让，7 王 1，2，…，z， 定 义 乘 积 C 二 A。B 中 的 元 素 cH: 


Ci = we = bij (4. 8) 
1 


我 们 需要 计算 n MERETE, HATKE n MAMA. PEK nXn REA 和 B， 返 回 它 
们 的 乘积 一 一 nXn 矩阵 C。 假 设 每 个 矩阵 都 有 一 个 属性 rorws， 给 出 矩阵 的 行 数 。 

SQUARE-MATRIX-MULTIPLY(A, B) 
l n= A. rows 
2 let C be a new nXn matrix 
3 fori = lton 
4 for j = 1 ton 
5 cy= 0 
6 fork = 1 ton 
7 cy ™ Cy t aa * by 

8 return C 

过 程 SQUARE-MATRIX-MULTIPLY 工作 过 程 如 下 。 第 3 一 7 行 的 for 循环 计算 每 行 中 的 元 
RK, 在 第 i 行 中 ,第 4~7 行 的 for 循环 计算 每 列 中 的 每 个 元 素 cjo B 5 行将 cy 初始 化 为 0， 开 始 
公式 (4. 8) 中 的 求 和 计算 ， 第 6 一 7 行 的 for 循环 的 每 步 迭 代 将 公式 (4. 8) 中 的 一 项 累加 进来 。 

由 于 三 重 for 循环 的 每 一 重 都 恰好 执行 n 步 ， 而 第 7 行 每 次 执行 都 花费 常量 时 间 ， 因 此 过 程 
SQUARE-MATRIX-MULTIPLY 花费 OC ) 时 间 。 

你 最 初 可 能 认为 任何 矩阵 乘法 都 要 花费 Q(2) 时 间 ， 因 为 矩阵 乘法 的 自然 定义 就 需要 进行 这 
么 多 次 的 标量 乘法 。 但 这 是 错误 的 : 我 们 有 方法 在 ow ) 时 间 内 完成 矩阵 乘法 。 在 本 节 中 ， 我 们 
将 看 到 Strassen 的 著名 nXn 和 矩阵 相 乘 的 递归 算法 。 我 们 将 在 4. 5 节 证 明 其 运行 时 间 为 Cn’), 
由 于 lg7 在 2.80 和 2.81 之 间 ， 因 此 ，Strassen 算 法 的 运行 时 间 为 O(rw*”)， 渐 近 复 杂 性 优 于 简单 
的 SQUARE-MATRIX-MULTIPLY 过 程 。 

一 个 简单 的 分 治 算法 

为 简单 起 见 ， 当 使 用 分 治 算法 计算 和 矩阵 积 C= 二 A。，B 时 ,假定 三 个 矩阵 均 为 nXn 和 矩阵 ， 其 中 
n 为 2 WOE. 我们 做 出 这 个 假设 是 因为 在 每 个 分 解 步 骤 中 ，nXn 和 矩阵 都 被 划分 为 4 个 n/2Xn/2 
HTE, WREE nd 2 FE, WRA n 三 2 即 可 保证 子 矩阵 规模 n/2 为 整数 。 

BEKA, BAC 均 分 解 为 4 个 n/2Xn/2 的 子 矩 阵 : 


Si ss Fa pall B= es call C= be sed (4.9) 
An Az By Bz Ca Cz 

因此 可 以 将 公式 CSA + BREA: 

E l= i mal F S (4. 10) 
Ca Cz An Az Ba By 
公式 (4. 10) 等 价 于 如 下 4 个 公式 : 

Cu = An * Bu +Ax + Ba (4.11) 
Cz = An * Be +A * Bz (4. 12) 
Cy = An * Bu + Az ° Ba (4. 13) 
Cz = An * By A + Bz (4, 14) 


每 个 公式 对 应 两 对 n/2Xn/2 矩阵 的 乘法 及 wn/2Xn/2 积 的 加 法 。 我 们 可 以 利用 这 些 公式 设计 一 个 
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直接 的 递归 分 治 算法 : 


SQUARE-MATRIX-MULTIPLY-RECURSIVE(A, B) 


l n= AÀ. rows 


2 let C be a new nXn matrix 

3 ifn==1 

4 Cu =an * by 

5 else partition A, B, and C as in equations (4. 9) 

6 Cı =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;,, Bn) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;; , Ba) 

7 Cı: =SQUARE-MATRIX-MULTIPLY-RECURSIVE(An , Biz) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,, Bz) 

8 Ca =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;;, Bu) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(Az, Ba) 

9 Cz =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;;, Biz) 
+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A2; , Bz) 

10 return C 


这 段 伪 代码 掩盖 了 一 个 微妙 但 重要 的 实现 细节 。 在 第 5 行 应 该 如 何 分 解 矩 阵 ? 如 果 我 们 真 的 
创建 12 个 新 的 n/2Xn/2 和 矩阵， 将 会 花费 9( 袜 ) 时 间 复 制 矩 阵 元 素 。 实 际 上 ， 我 们 可 以 不 必 复制 
元 素 就 能 完成 矩阵 分 解 ， 其 中 的 诀窍 是 使 用 下 标 计算 。 我 们 可 以 通过 原 和 矩阵 的 一 组 行 下 标 和 一 
组 列 下 标 来 指明 一 个 子 矩 阵 。 最 终 表 示 子 矩阵 的 方法 与 表示 原 矩 阵 的 方法 略 有 不 同 ， 这 就 是 我 
们 省 略 的 细节 。 这 种 表示 方法 的 好 处 是 ， 通 过 下 标 计 算 指 明子 矩阵 ， 执 行 第 5 行 只 需 @(1) 的 时 
间 ( 虽 然 我 们 将 看 到 是 否 通过 复制 元 素来 分 解 矩阵 对 总 渐 近 运行 时 间 并 无 影响 ) 。 

现在 ， 我 们 推导 出 一 个 递归 式 来 刻画 SQUARE-MATRIX-MULTIPLY-RECURSIVE 的 运行 
时 间 。 令 TG) 表 示 用 此 过 程 计算 两 个 zX? 矩阵 乘积 的 时 间 。 对 n= 1 的 基本 情况 ， 我 们 只 需 进 
行 一 次 标量 乘法 (第 4 行 )， 因 此 

TQ) = 9(1) (4. 15) 

当 n>1 时 是 递归 情况 。 如 前 文 所 讨论 ， 在 第 5 行使 用 下 标 计 算 来 分 解 矩 阵 花费 8(1) 时 间 。 
第 6 一 9 行 ， 我 们 共 8 次 递归 调用 SQUARE-MATRIX-MULTIPLY-RECURSIVE。 由 于 每 次 递归 
调用 完成 两 个 n/2Xn/2 矩阵 的 乘法 ， 因 此 花费 时 间 为 TCxy2)，8 次 递归 调用 总 时 间 为 8TCz/2) 。 
我 们 还 需要 计算 第 6 一 9 行 的 4 次 矩阵 加 法 。 每 个 矩阵 包含 之 /4 个 元 素 ， 因 此 ， 每 次 矩阵 加 法 花 
费 OC? ) 时 间 。 由 于 和 矩阵 加 法 的 次 数 是 常数 ， 第 6 一 9 行进 行 矩阵 加 法 的 总 时 间 为 Cr? ) (这 里 我 
们 仍然 使 用 下 标 计算 方法 将 矩阵 加 法 的 结果 放置 于 矩阵 C 的 正确 位 置 ， 由 此 带 来 的 额外 开销 为 
每 个 元 素 @(1) 时 间 )。 因 此 ， 递 归 情 况 的 总 时 间 为 分 解 时 间 、 递 归 调 用 时 间 及 和 矩阵 加 法 时 间 
之 和 : 


T(r) = O) + 8T(n/2) + OG?) = 8T(n/2) + On) (4. 16) 
注意 ， 如 果 通 过 复制 元 素来 实现 矩阵 分 解 ， 人 额外 开销 为 @(x?)， 递 归 式 不 会 发 生 改变 ， 只 是 总 运 
行 时 间 将 会 提高 常数 倍 。 


组 合 公式 (4. 15) 和 公式 (4. 16) ， 我 们 得 到 SQUARE-MATRIX-MULTIPLY-RECURSIVE 运 
行 时 间 的 递归 式 : 
_ OQ) #n=1 
PO \erin/2) +08) #n>1 RG 
我 们 在 4. 5 节 将 会 看 到 利用 主 方法 求解 递归 式 (4. 17)， 得 到 的 解 为 T(n)= 二 BC(mw)。 因 此 ， 简 单 的 
分 治 算法 并 不 优 于 直接 的 SQUARE-MATRIX-MULTIPLY 过 程 。 


在 继续 介绍 Strassen 算法 之 前 ， 让 我 们 先 回 顾 一 下 公式 (4. 16) 的 几 个 组 成 部 分 都 是 从 何 而 来 
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的 。 用 下 标 计算 方法 分 解 每 个 nXn 和 矩阵 花费 9(1) 时 间 ， 但 有 两 个 矩阵 需要 分 解 。 虽 然 你 可 能 认 
为 分 解 两 个 矩阵 需要 9(2) 时 间 ， 但 实际 上 8 符号 中 已 经 包含 常数 2 在 内 了 。 假 定 每 个 矩阵 包含 
& 个 元 素 ， 则 两 个 矩阵 相 加 需 花费 9(&) 时 间 。 由 于 每 个 矩阵 包含 n/4 个 元 素 ， 每 次 加 法 花费 
6@(z27/4) 时 间 。 但 是 同样 ，@ 符号 已 经 包含 常数 因子 1/4， 因 此 ， 两 个 n/2Xn/2 矩阵 相 加 花费 
@(2 ) 时 间 。 我 们 需要 进行 4 次 矩阵 加 法 ， 再 次 ， 我 们 并 不 说 花费 了 OC4n’ ) 时 间 ， 而 是 O) 
间 。( 当 然 ， 你 可 能 发 现 我 们 可 以 说 4 次 矩阵 加 法 花费 了 OU/E, M 4x? /4—=n’, (ARE 
的 要 点 是 6 符号 已 经 包含 了 常数 因子 ， 无 论 怎样 的 常数 因子 均 可 省 略 .) 因 此 ， 我 们 最 终 得 到 两 
WO), WAKEMA=A—. 

但 是 ， 当 分 析 8 次 递归 调用 时 ， 就 不 能 简单 省 略 常数 因子 8 了 。 换 句 话说 ， 我 们 必须 说 递归 
调用 共 花 费 8T(n/2) 时 间 ， 而 不 是 T(n/2) 时 间 。 至 于 这 是 为 什么 ,你 可 以 回顾 一 下 图 2-5 中 的 递 
归 树 ， 它 对 应 递归 式 (2. 1) (与 递归 式 (4.7) 相 同 )， 其 递归 情况 为 T(n) 二 2T(n/2) 十 8(n)。 因 子 2 
决定 了 树 中 每 个 结 点 有 几 个 孩子 结 点 ， 进 而 决定 了 树 的 每 一 层 为 总 和 贡献 了 多 少 项 。 如 果 省 略 
公式 (4. 16) 中 的 因子 8 或 递归 式 (4. 1) 中 的 因子 2， 递 归 树 就 变 为 线性 结构 ， 而 不 是 “茂盛 的 ”了 ， 
树 的 每 一 层 只 为 总 和 贡献 了 一 项 。 

因此 ， 切 记 ， 虽 然 渐 近 符 号 包含 了 常数 因子 ， 但 递归 符号 (如 TC(n/2)) 并 不 包含 。 

Strassen 方法 

Strassen 算法 的 核心 思想 是 令 递归 树 稍 微 不 那 么 茂盛 一 点 儿 ， 即 只 递归 进行 7 次 而 不 是 8 
次 n/2Xn/2 矩阵 的 乘法 。 减 少 一 次 矩阵 乘法 带 来 的 代价 可 能 是 额外 几 次 n/2Xn/2 矩阵 的 加 
法 , 但 只 是 常数 次 。 与 前 文 一 样 ， 当 建立 递归 式 刻画 运行 时 间 时 ， 常 数 次 和 矩阵 加 法 被 © 符号 包 
REA. 

Strassen 算法 不 是 那么 直观 (这 可 能 是 本 书 陈述 最 不 充分 的 地 方 了 )。 它 包含 4 个 步骤 

1. 按 公式 (4. 9) 将 输入 矩阵 A、B 和 输出 矩阵 C 分 解 为 x/2Xn/2 的 子 矩阵 。 采 用 下 标 计算 方 
法 ， 此 步骤 花费 9(1) 时 间 ， 与 SQUARE-MATRIX-MULTIPLY-RECURSIVE 相同 。 

2. 创建 10 个 n/2Xn/2 的 矩阵 S，S ，…，So， 每 个 矩阵 保存 步 又 1 中 创建 的 两 个 子 和 矩阵 
的 和 或 差 。 花 费时 间 为 OG’). 

3. 用 步骤 1 中 创建 的 子 和 矩阵 和 步 又 2 中 创建 的 10 个 和 矩阵， 递归 地 计算 7 个 矩阵 积 已 ， 已，…， 
也。 每 个 矩阵 P: 都 是 n/2Xn/2 的 。 

4. 通过 P: 矩阵 的 不 同 组 合 进行 加 减 运 算 ， 计 算出 结果 矩阵 CMF RM Ci, Cro, Crs Cr. 
花费 时 间 OG). 

我 们 稍 后 会 看 到 步骤 2 一 4 的 细节 ， 但 现在 可 以 建立 Strassen 算法 的 运行 时 间 递 归 式 。 假 定 
一 旦 和 矩阵 规模 从 nn 变 为 1， 就 进行 简单 的 标量 乘法 计算 ,正如 SQUARE-MATRIX-MULTIPLY- 
RECURSIVE 的 第 4 行 那 样 。 当 n> lit, ABR 1, 2 和 4 JETER OORTE, WIR 3 要 求 进行 7 
次 n/2Xn/2 和 矩阵 的 乘法 。 因 此 ， 我 们 得 到 如 下 描述 Strassen 算法 运行 时 间 T(n) 的 递归 式 : 

@(1) #n=1 
TO = Vo n/2) +0?) #n>1 wae? 
我 们 用 常数 次 矩阵 乘法 的 代价 减少 了 一 次 矩阵 乘法 。 一 旦 我 们 理解 了 递归 式 及 其 解 ， 就 会 看 到 
这 种 交换 确实 能 带 来 更 低 的 渐 近 运行 时 间 。 利 用 4.5 节 的 主 方法 ， 可 以 求 出 递归 式 (4. 18) 的 解 为 
T(n) =@(n*"), 
我 们 现在 来 介绍 Strassen 算法 的 细节 。 在 步骤 2 中 ， 创 建 如 下 10 个 矩阵: 
Si = By, — Bz 
S, = Au 二 A 
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S; = An + Az 
S, = Ba — Bu 
S; = An A 
Ss = By + Bz 
S, = Ay — Ax 
Ss = Ba + Bn 
S, = Ay — An 
So = By + By 


由 于 必须 进行 10 次 n/2Xn/2 矩阵 的 加 减法 ， 因 此 ， 该 步骤 花费 On’ ) 时 间 。 
在 步骤 3 中 ， 递 归 地 计算 7 次 n/2Xn/2 矩阵 的 乘法 ， 如 下 所 示 : 
P, = An*S= An * Be — An + Bz 
P, = S, + By = An * Bu +An * Bz 
P; = S; + By = An * By +Az * Bn 
P, = Az * Sy = Ax * Bn — Az + By 
P; = S;* Ss = An * By +An * Be +Az * Bu + Azz * Bx 
P; = S, + Ss = Av * Ba +Arz * Bz — Ax * Ba — Az * Bz 
P, = Sy * So = An * Bu +An * By — An * Bu — Aa * By 
注意 ， 上 述 公式 中 ， 只 有 中 间 一 列 的 乘法 是 真正 需要 计算 的 。 右 边 这 列 只 是 用 来 说 明 这 些 乘积 与 
步骤 1 创建 的 原始 子 窍 阵 之 间 的 关系 。 
步骤 4 对 步骤 3 创建 的 P; 矩阵 进行 加 减法 运算 ， 计算 出 C 的 4 个 n/2Xn/2 HERS, 
首先 ， 


C, = P; + P,—P2+P, 


利用 每 个 P; 的 展开 式 展 开 等 式 右 部 ， 每 个 P; 的 展开 式 位 于 单独 一 行 ， 并 将 可 以 消去 的 项 垂直 对 
齐 ， 我 们 可 以 看 到 Cu 等 于 
An * Ba An À Bz +Az * Bn +Az * Bz 
— Az * By + Ax * By 
— An + By — Ar + Bz 
— Az * Bz — Az * By A * By +A ° Ba 
An . Bi 十 Ai: a Bz 
与 公式 (4. 11) 相 同 。 类 似 地 ， 令 
Cz = P, + Pz 


则 Ci 等 于 
Ay = By — An * By 


+ An * Bz +A ° By 
An * By 二 A e By 


与 公式 (4. 12) 相 同 。 令 
Ca = P; +P, 
使 Ca 等 于 
An * By A * Bn 
— Ay * By +A * Ba 


Aa * By + Az » Ba 
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与 公式 (4. 13) 相 同 。 最 后 ， 令 
Cz = P; +P, — P, — P, 
则 CFF 
An * Bn +An * Bz + Az » Bu +Az ° Bz 
— An * Bz +An * By 
— Ay » By —An ° By 
— An ° Bn — An * Be +An * By +4Anz * Br 
Ax * By + Az * By 
与 公式 (4. 14) 相 同 。 在 步骤 4 中 ， 共 进行 了 8 次 n/2Xn/2 矩阵 的 加 减法 ， 因 此 花费 OHE. 
因此 ， 我 们 看 到 由 4 个 步骤 构成 的 Strassen 算法 ， 确 实生 成 了 正确 的 和 矩阵 乘积 ， 递 归 
AC. 18) 刻 画 了 它 的 运行 时 间 。 由 于 我 们 将 在 4.5 WASA ARKA TSn), 
Strassen 方法 的 渐 近 复杂 性 低 于 直接 的 SQUARE-MATRIX-MULTIPLY 过 程 。 本 章 注 记 会 讨论 
Strassen 算法 实际 应 用 方面 的 一 些 问 题 。 


练习 


注意 : 虽然 练习 4. 2-3、4. 2-4 和 4. 2-5 是 关于 Strassen 算法 的 变形 的 ， 但 你 应 该 先 阅读 4.5 
节 ， 然 后 再 尝试 求解 这 几 个 问题 。 
4.2-1 使 用 Strassen 算法 计算 如 下 矩阵 乘法 : 


给 出 计算 过 程 。 

4.2-2 WF Strassen 算法 编写 伪 代 码 。 

4.2-3 如何 修 改 Strassen 算法 ,使 之 适应 和 矩阵 规模 n 不 是 2 的 寡 的 情况 ? 证 明 : 算法 的 运行 时 
间 为 On), 

4.2-4 如 果 可 以 用 & 次 乘法 操作 (假定 乘法 的 交换 律 不 成 立 ) 完 成 两 个 3X 3 矩阵 相 乘 ， 那 么 你 可 
以 在 on ) 时 间 内 完成 naXn 和 矩阵 相 乘 ， 满 足 这 一 条 件 的 最 大 的 是 多 少 ? 此 算法 的 运行 
时 间 是 怎样 的 ? 

4.2-5 V. Pan 发 现 一 种 方法 ， 可 以 用 132 464 次 乘法 操作 完成 68 X 68 的 矩阵 相 乘 ， 发 现 另 一 种 
方法 ， 可 以 用 143 640 次 乘法 操作 完成 70X70 的 矩阵 相 乘 ， 还 发 现 一 种 方法 ， 可 以 用 
155 424 次 乘法 操作 完成 72X72 的 矩阵 相 乘 。 当 用 于 和 矩阵 相 乘 的 分 治 算法 时 ， 上 述 哪 种 方 
法 会 得 到 最 佳 的 渐 近 运行 时 间 ? 与 Strassen 算法 相 比 ， 性 能 如 何 ? 

4.2-6 用 Strassen 算法 作为 子 进程 来 进行 一 个 knXn 和 矩阵 和 一 个 nX kn 矩阵 相 乘 ， 最 快 需要 花 
费 多 长 时 间 ? 对 两 个 输入 矩阵 规模 互 换 的 情况 ， 回 答 相 同 的 问题 。 

4.2-7 设计 算法 ， 仅 使 用 三 次 实数 乘法 即 可 完成 复数 a 十 bi 和 c 十 di 相 乘 。 算 法 需 接 收 a、b、c 
Fld 为 输入 ， 分 别 生 成 实 部 ac 一 bd 和 虚 部 ad 十 bc。 


4.3 用 代入 法 求解 递归 式 


我 们 已 经 看 到 如 何 用 递归 式 刻画 分 治 算法 的 运行 时 间 ， 下 面 将 学 习 如 何 求解 递归 式 。 我 们 
从 “代入 ”法 开始 。 
代入 法 求解 递归 式 分 为 两 步 : 
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1. 猜测 解 的 形式 。 

2. 用 数学 归纳 法 求 出 解 中 的 常数 ， 并 证 明 解 是 正确 的 。 

当 将 归纳 假设 应 用 于 较 小 的 值 时 ， 我 们 将 猜测 的 解 代入 函数 ， 因 此 得 名 “代入 法 ”。 这 种 方法 很 强 
大 ， 但 我 们 必须 能 猿 出 解 的 形式 ， 以 便 将 其 代入 。 
我 们 可 以 用 代入 法 为 递归 式 建立 上 界 或 下 界 。 例 如 ， 我 们 确定 下 面 递归 式 的 上 界 : 
Tn) = 2T(Ln/2)+n (4. 19) 
该 递归 式 与 递归 式 (4.3) 和 (4.4) 相 似 。 我 们 猜测 其 解 为 T(n) 二 OCnlgn)。 代 入 法 要 求证 明 ，, 恰当 
选择 常数 c>0, WA Tin)<cn lgn。 首 先 假定 此 上 界 对 所 有 正 数 m<n 都 成 立 ， 特 别 是 对 于 m= 
Ln/2J， 有 Tn/2 过 cLn/2j1lg(Ln/2J)。 将 其 代入 递归 式 ， 得 到 
Tn) < 2c |n/2) Ig(Ln/2))) +n < cn lg(n/2) +n 

=cnlgn—cnlg2+n 

=cnign—cn+n<cnlgn 
Hp, RE c 宇 1， 最 后 一 步 都 会 成 立 。 

数学 归纳 法 要 求 我 们 证 明 解 在 边界 条 件 下 也 成 立 。 为 证 明 这 一 点 ， 我 们 通常 证 明 对 于 归纳 
证 明 ， 边 界 条 件 适 合作 为 基本 情况 。 对 递归 式 (4. 19)， 我 们 必须 证 明 ， 通 过 选择 足够 大 的 常数 
c， 可 以 使 得 上 界 Tn) <cn lgn 对 边界 条 件 也 成 立 。 这 一 要 求 有 时 可 能 引起 问题 。 例 如 ， 为 了 方 
便 讨 论 ， 假 设 TO =1 是 递归 式 唯一 的 边界 条 件 。 对 n=l, WRR Ten Ign 推导 出 TOS 
cllgl 二 0, 与 T(1)==1 矛盾 。 因 此 ,我 们 的 归纳 证 明 的 基本 情况 不 成 立 。 

我 们 稍微 多 付出 一 点 努力 ， 就 可 以 克服 这 个 障碍 ， 对 特定 的 边界 条 件 证 明 归 纳 假设 成 立 。 例 
如 ， 在 递归 式 (4. 19) 中 ， 渐 近 符号 仅 要 求 我 们 对 nn. WE Taen Ign, HP n 是 我 们 可 以 自 
己 选择 的 常数 ， 我 们 可 以 充分 利用 这 一 点 。 我 们 保留 麻烦 的 边界 条 件 TO) =1, 但 将 其 从 归纳 证 
明 中 移 除 。 为 了 做 到 这 一 点 ， 首 先 观察 到 对 于 zx 之 3， 递 归 式 并 不 直接 依赖 T(1)。 因 此 ， 将 归纳 
证 明 中 的 基本 情况 T(1) 替 换 为 T(2) 和 T(3)， 并 令 n 二 2。 注 意 ， 我 们 将 递归 式 的 基本 情况 (n= 
1) 和 归纳 证 明 的 基本 情况 (n==2 和 二 3) 区 分 开 来 了 。 由 T(1)= 二 1， 从 递归 式 推 导出 TO) =4 和 
T(3) 二 5。 现 在 可 以 完成 归纳 证 明 : 对 某 个 常数 c 三 1，T(n) 三 cn ign, 方法 是 选择 足够 大 的 c， 满 
KE T(2)<c2 lg2 Ml T3)<c31g3. HKE, FEY c 三 2 都 能 保证 n==2 Al n=3 的 基本 情况 成 立 。 对 
于 我 们 所 要 讨论 的 大 多 数 递归 式 来 说 ， 扩 展 边 界 条 件 使 归纳 假设 对 较 小 的 成立， 是 一 种 简单 直 
接 的 方法 ， 我们 将 不 再 总 是 显 式 说 明 这 方面 的 细节 。 

做 出 好 的 猜测 

遗憾 的 是 ， 并 不 存在 通用 的 方法 来 猪 测 递 归 式 的 正确 解 。 猜 测 解 要 靠 经 验 ， 偶尔 还 需要 创造 
力 。 幸 运 的 是 ， 你 可 以 使 用 一 些 启发 式 方法 帮助 你 成 为 一 个 好 的 猜测 者 。 你 也 可 以 使 用 递归 树 来 
做 出 好 的 猜测 ， 我 们 将 在 4. 4 节 看 到 这 一 方法 。 

如 果 要 求解 的 递归 式 与 你 曾 见 过 的 递归 式 相 似 ， 那 么 猜测 一 个 类 似 的 解 是 合理 的 。 例 如 ， 考 
虑 如 下 递归 式 : 

T(n) = 2T(Ln/2]+17) +n 
看 起 来 很 困难 ， 因 为 在 等 式 右边 工 的 参数 中 增加 了 ”17”。 但 直观 上 ， 增 加 的 这 一 项 不 会 显著 影 
响 弟 归 式 的 解 。 当 nn 较 大 时 ，Ln/2J 和 Ln/2J] 十 17 的 差距 不 大 : 都 是 接近 的 一 半 。 因 此 ， 我 们 猿 
W Ton) 二 O(nlgn)， 你 可 以 使 用 代入 法 验证 这 个 猜测 是 正确 的 ( 见 练习 4. 3-6) 。 

另 一 种 做 出 好 的 猜测 的 方法 是 先 证 明 递归 式 较 松 的 上 界 和 下 界 ， 然 后 缩小 不 确定 的 范围 。 
例如 ， 对 递归 式 (4. 19) ， 我 们 可 以 从 下 界 T(n) 二 QCn) 开 始 ， 因 为 递归 式 中 包含 nn 这 一 项 ， 还 可 
以 证 明 一 个 初始 上 界 T(n) 二 Ow )。 然 后 ， 我 们 可 以 逐渐 降低 上 界 ， 提 升 下 界 ， 直 至 收敛 到 渐 近 
ZR Tn) =O(nlgn). 
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微妙 的 细节 

有 时 你 可 能 正确 猜 出 了 递归 式 解 的 渐 近 界 ， 但 莫名 其 妙 地 在 归纳 证 明 时 失败 了 。 问 题 常常 
出 在 归纳 假设 不 够 强 ， 无 法 证 出 准确 的 界 。 当 遇 到 这 种 障碍 时 ， 如 果 修 改 猜测 ， 将 它 减 去 一 个 低 
阶 的 项 ， 数 学 证 明 常 常 能 顺利 进行 。 

考虑 如 下 递归 式 : 

T(n) = Tlln/2) 十 T(zy2D 十 1 
我 们 猜测 解 为 T(n) 二 O(n)， 并 尝试 证 明 对 某 个 恰当 选 出 的 常数 c<，T(n)cn 成 立 。 将 我 们 的 猜 
测 代 入 递归 式 ， 得 到 
T(n) <cln/2)+c[n/2]+1 = cn+1 
这 并 不 意味 着 对 任意 < 都 有 TMAS. RATT REBATES AM DEKHA, bea TM=). 
虽然 从 这 个 猜测 也 能 推出 结果 ， 但 原来 的 猜测 T(n) = 二 O(n) 是 正确 的 。 然 而 为 了 证 明 它 是 正确 
的 ， 我 们 必须 做 出 更 强 的 归纳 假设 。 

直觉 上 ， 我 们 的 猜测 是 接近 正确 的 : 只 差 一 个 常数 1， 一 个 低 阶 项 。 但是， 除非 我 们 证 明 与 
归纳 假设 严格 一 致 的 形式 ， 否 则 数学 归纳 法 还 是 会 失败 。 克 服 这 个 困难 的 方法 是 从 先前 的 猜测 
中 减 去 一 个 低 阶 项 。 新 的 猜测 为 T(n) 志 cn 一 4，d 是 大 于 等 于 0 的 一 个 常数 。 我 们 现在 有 

T(n) < (c |n/2J)—d) + (c [n/2]—d) +1 
=cn—2d+1<cn—d 
只 要 d 宇 1， 此 式 就 成 立 。 与 以 前 一 样 ， 我 们 必须 选择 足够 大 的 来 处 理 边界 条 件 。 

你 可 能 发 现 减 去 一 个 低 阶 项 的 想法 与 直觉 是 相悖 的 。 毕 竟 ， 如 果 证 明 上 界 失 败 了 ， 就 应 该 将 
猜测 增加 而 不 是 减少 ， 更 松 的 界 难 道 不 是 更 容易 证 明 吗 ? 不 一 定 ! 当 利 用 归纳 法 证 明 一 个 上 界 
时 ， 实 际 上 证 明 一 个 更 弱 的 上 界 可 能 会 更 困难 一 些 ， 因 为 为 了 证 明 一 个 更 弱 的 上 界 ， 我 们 在 归纳 
证 明 中 也 必须 使 用 同样 更 弱 的 界 。 在 当前 的 例子 中 ， 当 递归 式 包含 超过 一 个 递归 项 时 ， 将 猜测 的 
界 减 去 一 个 低 阶 项 意味 着 每 次 对 每 个 递归 项 都 减 去 一 个 低 阶 项 。 在 上 例 中 ， 我 们 减 去 常数 d 两 
次 ,一 次 是 对 T(Ln/2) 项 ， 另 一 次 是 对 TU /21 项 。 我 们 以 不 等 式 TCD) 委 cn 一 2d 十 1 结束， 可 
以 很 容易 地 找到 一 个 d 值 ， 使 得 cn 一 24d 十 1 小 于 等 于 cn 一 d。 

避免 陷阱 

使 用 渐 近 符号 很 容易 出 错 。 例 如 ， 在 递归 式 (4. 19) 中 ， 我们 可 能 错误 地 “证 明 ”T(n) 二 O(n): 
猜测 T(m) 三 cnr， 并 论证 

Tin) < 2c |n/2)) +n < cn +n = Oln) 三 错误 11 
因为 c 是 常数 。 错 误 在 于 我 们 并 未 证 出 与 归纳 假设 严格 一 致 的 形式 ， 即 T(n) 达 cn。 因此， 当 要 
证 明 Tn) =OGO AY, 需要 显 式 地 证 出 Tn) <cn, 

改变 变量 

有 时 ， 一 个 小 的 代数 运算 可 以 将 一 个 未 知 的 递归 式 变 成 你 所 熟悉 的 形式 。 例 如 ， 考 虑 如 下 递 
归 式 : 

T(n) = 2TClVzj) +lgn 
它 看 起 来 很 困难 。 但 我 们 可 以 通过 改变 变量 来 简化 它 。 为 方便 起 见 ， 我 们 不 必 担 心 值 的 舍 人 误差 
问题 ， 只 考虑 Vn 是 整数 的 情形 即 可 。 令 m= lgn， 得 到 

T(2") = 2T(2™") +m 
现在 重 命名 SC) 王 T(2") ， 得 到 新 的 递归 式 : 

Sm) = 2S(m/2) +m 
它 与 递归 式 (4. 19) 非 常 像 。 这 个 新 的 递归 式 确 实 与 (4. 19) 具 有 相同 的 解 : SGm)=OGnlgm). H 
从 SC) 转换 回 Tin), 我们 得 到 Tn)= 二 T(2")==S(m) 二 OCmlgm) 二 O(lgnlg Ign) 。 
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练习 


4.3-1 证 明 : Tin) =T(n—-1)+7 HRA OG’). 

4.3-2 WEH: Ta)=TUn/2)+1 的 解 为 Ogn). 

4.3-3 我 们 看 到 Tn) =2T(n/2)) +n HRA Olgan). WEH Qlnlgn) 也 是 这 个 递归 式 的 解 。 从 

| 而 得 出 结论 : 解 为 9(nlgn)。 

4.3-4 证明; 通过 做 出 不 同 的 归纳 假设 ， 我 们 不 必 调 整 归 纳 证 明 中 的 边界 条 件 ， 即 可 克服 递归 
RA. 19) 中 边界 条 件 TO) =1 带 来 的 困难 。 

4.3-5 WEH: 归并 排序 的 “严格 ”递归 式 (4. 3) 的 解 为 @(nlgn)。 

4.3-6 证 明 : Toz) 王 2TCLzV2j 二 17) 十 2 的 解 为 O(nlgn)。 

4.3-7 使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 T(n)= 二 4T(n/3) 十 n 的 解 为 T(n)= 二 BC(n™%')。 说 明基 
于 假设 Tn) <n 的 代入 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通过 减 去 一 个 低 阶 项 完 
成 代入 法 证 明 。 

4.3-8 ”使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 TT(n)= 二 4T(n/2) 十 n 的 解 为 T(n) 二 Bw )。 说 明基 于 假 
B Tin) <cn? 的 代入 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通 过 减 去 一 个 低 阶 项 完成 代入 

法 证 明 。 

4.3-9 利用 改变 变量 的 方法 求解 递归 式 Tin) 二 3T(n) 十 logn。 你 的 解 应 该 是 渐 近 紧 确 的 。 不 必 

担心 数值 是 否 是 整数 。 


4.4 用 递归 树 方法 求解 递归 式 


虽然 你 可 以 用 代入 法 简洁 地 证 明 一 个 解 确 是 递归 式 的 正确 解 ， 但 想 出 一 个 好 的 猜测 可 能 会 
很 困难 。 画 出 递归 树 ， 如 我 们 在 2. 3. 2 节 分 析 归 并 排序 的 递归 式 时 所 做 的 那样 ， 是 设计 好 的 猜测 
的 一 种 简单 而 直接 的 方法 。 在 递归 树 中 ， 每 个 结 点 表示 一 个 单一 子 问题 的 代价 ， 子 问题 对 应 某 次 
递归 函数 调用 。 我 们 将 树 中 每 层 中 的 代价 求 和 ， 得 到 每 层 代 价 ， 然 后 将 所 有 层 的 代价 求 和 ， 得 到 
所 有 层次 的 递归 调用 的 总 代价 。 

递归 树 最 适合 用 来 生成 好 的 猜测 ， 然 后 即 可 用 代 人 法 来 验证 猜测 是 否 正确 。 当 使 用 递归 
树 来 生成 好 的 猜测 时 ， 常 常 需要 忍受 一 点 儿 “ 不 精确 ”， 因 为 稍 后 才 会 验证 猜测 是 否 正 确 。 但 
如 果 在 画 递 归 树 和 代价 求 和 时 非常 仔细 ， 就 可 以 用 递归 树 直接 证 明 解 是 否 正 确 。 在 本 节 中 ， 
我 们 将 使 用 递归 树 生成 好 的 猜测 ， 并 且 在 4.6 节 中 ， 我 们 将 使 用 递归 树 直 接 证 明 主 方法 的 基 
础 定理 。 

我 们 以 递归 式 TC(n) 二 3T(Ln/4) 十 B(x¥) 为 例 来 看 一 下 如 何 用 递归 树 生成 一 个 好 的 猜测 。 首 
先 关注 如 何 寻 找 解 的 一 个 上 界 。 因 为 我 们 知道 舍 人 对 求解 递归 式 通常 没有 影响 (此 处 即 是 我 们 需 
要 忍受 不 精确 的 一 个 例子 ) Aba WBA Ton) =3T(Ln/4)) +e 创建 一 棵 递归 树 ， 其 中 已 
将 渐 近 符号 改写 为 隐 含 的 常数 系数 c>0. 

图 4-5 显示 了 如 何 从 递归 式 TO) =3T(Ln/4))+cn? 构造 出 递归 树 。 为 方便 起 见 ， 我 们 假定 n 
是 4 的 寡 ( 忍 受 不 精确 的 另 一 个 例子 )， 这 样 所 有 子 问 题 的 规模 均 为 正 数 。 图 4-5(a) 显 示 了 Tin), 
CER 4-5(b) 中 扩展 为 一 棵 等 价 的 递归 树 。 根 结 点 中 的 cn’ 项 表示 递归 调用 顶层 的 代价 ， 根 的 三 
棵 子 树 表示 规模 为 n/4 的 子 问题 所 产生 的 代价 。 图 4-5(c) 显示 了 进一步 构造 递归 树 的 过 程 ， 将 
图 4-5(b) 中 代价 为 TC(n/4) 的 结 点 逐一 扩展 。 我 们 继续 扩展 树 中 每 个 结 点 ， 根 据 递 归 式 确定 的 关 

系 将 其 分 解 为 几 个 组 成 部 分 (孩子 结 点 )。 
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4-5 为 递归 式 T(n) 二 3T(n/4)) 十 cn? 构造 递归 树 。(a) 显 示 了 Tn), E~ FEHI RA 
递归 树 的 形式 。(d) 中 显示 了 扩展 完毕 的 递归 树 ， 其 高 度 为 log,z( 有 log,n 十 1 层 ) 


因为 子 问题 的 规模 每 一 步 减 少 为 上 一 步 的 1/4， 所 以 最 终 必 然 会 达到 边界 条 件 。 那 么 根 结 点 与 
距离 为 1 的 子 问题 距离 多 远 呢 ?深度 为 i 的 结 点 对 应 规模 为 w4 HF. Alt, 4n/4'=1, 或 
等 价 地 i 二 log,n 时 ， 子 问题 规模 变 为 1。 因 此 ， 递 归 树 有 log,z 十 1 层 (深度 为 0，1，2，…，log,7) 。 

接 下 来 确定 树 的 每 一 层 的 代价 。 每 层 的 结 点 数 都 是 上 一 层 的 3 倍 ， 因 此 深度 为 站 的 结 点 数 为 
3'。 因 为 每 一 层 子 问 题 规模 都 是 上 一 层 的 1/4， 所 以 对 i 二 0，1，2，…，log,n 一 1， 深 度 为 i 的 每 
个 结 点 的 代价 为 c(n/4')? 。 做 一 下 乘法 可 得 ， 对 ;一 0， 1, 25 s,5 log,n—1, 深度 为 i 的 所 有 结 
点 的 总 代价 为 3cCn/4')? 二 (3/16)'cn?。 树 的 最 底层 深度 为 log,n， 有 3” "二 ne 个 结 点 ， 每 个 结 
点 的 代价 为 T(1) ， 总 代价 为 n TA), MOa), Ae T(1) 是 常量 。 

现在 我 们 求 所 有 层次 的 代价 之 和 ， 确 定 整 棵 树 的 代价 : 


T(n) = cn? + Seen’ + (3) on Fork (3)™ eee + Oln) 
bog, m | 
= 2N; ji 
= 2 (jg) en? +O’) 


logy = — 
Ls aie en? + nM) (根据 公式 (A. 5)) 
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最 后 的 这 个 公式 看 起 来 有 些 凌 乱 ， 但 我 们 可 以 再 次 充分 利用 一 定 程 度 的 不 精确 ， 并 利用 无 限 弟 
减 几 何 级 数 作为 上 界 。 回 退 一 步 ， 应 用 公式 (A. 6)， 我 们 得 到 


logy 1 


三 3y à DER ‘3 
Tn = > (ig) r+) < DU (FG) en? + OC?) 


i=0 


= G0 CaCl + @(n'**) 


= Ten? + O(n") 


= Of) 

这 样 ， 对 原始 的 递归 式 TOD =3TCLn/4) HO), 我们 推导 出 了 一 个 猜测 TOD =O’), FEA 
BP, cn? 的 系数 形成 了 一 个 递减 几何 级 数 ， 利 用 公式 (A.6)， 得 出 这 些 系数 的 和 的 一 个 上 
界 常数 16/13。 由 于 根 结 点 对 总 代价 的 贡献 为 cn*， 所 以 根 结 点 的 代价 占 总 代价 的 一 个 常数 
比例 。 换 句 话 说 ， 根 结 点 的 代价 支配 了 整 棵 树 的 总 代价 。 

实际 上 ， 如 果 OCz ) 确 实 是 递归 式 的 上 界 ( 稍 后 就 会 证 明 这 一 点 )， 那 么 它 必然 是 一 个 紧 确 
界 。 为 什么 ? 因为 第 一 次 递归 调用 的 代价 为 8(x)， 因 此 OG? ) 必 然 是 递归 式 的 一 个 下 界 。 

现在 用 代入 法 验证 猜测 是 正确 的 ， 即 T = 二 Or) 是 递归 式 T(n)= 二 3T(Ln/4) 十 B(xr) 的 一 
个 上 界 。 我 们 希望 证 明 Tin) <dn? 对 某 个 常数 d>0 成 立 。 与 之 前 一 样 ， 使 用 常数 c>, RTA 

Tm) 3T(n/4D + en? < 3d |n/4]? + cn? < 3d(n/4)* + cn? 


= jean’ 十 cz < dn’ 





当 4d 宇 (16/13)c 时， 最 后 一 步 推导 成 立 。 ， 区 Snes ee 
在 另 一 个 更 复杂 的 例子 中 ， 图 4-6 显示 了 

如 下 递归 式 的 递归 树 ， i i ai eae 
T) = T(n/3) + TC(2n/3) +O) 3 

(为 简单 起 见 ， 再 次 忽略 了 舍 信 问题.) 与 之 前 gs” / \ X 

一 样 ， 令 < 表示 OC 项 中 的 常数 因子 。 对 图 中 cB) (B) (Z) (Gt) eem cn 





时 ， 我 们 发 现 每 层 的 代价 均 为 crx。 从 根 到 叶 的 
最 长 简单 路 径 是 n> (2/3) n> (2/3)? n> 1, 
由 于 当 =logysn 时 ，(2/3)n 二 1， 因 此 树 高 Bas eee 
为 log om。 4-6 ”递归 式 T(n)=T(n/3)+T(2n/3)+en 

直觉 上 ， 我 们 期 望 递归 式 的 解 最 多 是 层 数 乘 以 每 层 的 代价 ， 即 Olen log;sn) 二 Olnlgn)。 但 
图 4-6 仅 显示 了 递归 树 的 顶部 几 层 ， 并 不 是 递归 树 中 每 个 层次 的 代价 都 是 cx“。 考 虑 叶 结 点 的 代 
价 。 如 果 递 归 树 是 一 棵 高 度 为 logan 的 完全 二 叉 树 ， 则 叶 结 点 的 数量 应 为 2%2" 二 ns2*。 由 于 
每 个 叶 结 点 的 代价 为 常数 ， 因 此 所 有 叶 结 点 的 总 代价 为 On), HF logn 是 严格 大 于 1 的 
常数 ， 因 此 叶 结 点 代价 总 和 为 QC(nlgn)。 但 递归 树 并 不 是 完全 二 叉 树 ， 因 此 叶 结 点 数量 小 于 
nz?*。 而 且 ， 当 从 根 结 点 逐步 向 下 走时 ， 越 来 越 多 的 内 结 点 是 缺失 的 。 因 此 ,递归 树 中 靠 下 的 
层次 对 总 代价 的 贡献 小 于 cn。 我 们 可 以 计算 出 所 有 代价 的 准确 值 ， 但 记 住 我 们 只 是 希望 得 到 一 
个 猜测 ， 用 于 代入 法 。 我 们 还 是 忍受 一 些 不 精确 ， 尝 试 证 明 猜 测 的 上 界 O(zlgz) 是 正确 的 。 

我 们 确实 可 以 用 代入 法 验证 O("lgz) 是 递归 式 解 的 一 个 上 界 。 我 们 来 证 明 T(n) 二 dn Ign, FE 
中 4 是 一 个 适当 的 正常 数 。 我 们 有 

T(n) < T(n/3) + T(2n/3) + en 
< d(n/3) lg (n/3) + d(2n/3) lg (2n/3) + cn 


显示 出 的 递归 树 的 每 个 层次 ， 当 求 代 价 之 和 | 
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= (d(n/3) lgn— d(n/3) lg3) + (d(2n/3) Ign — d(2n/3) lg (3/2)) + cn 

= dn lgn— d((n/3) lg3 + (2n/3) lg (3/2)) + cn 

= dn lgn— d((n/3) lg3 + (2n/3) lg3— (2n/3) lg2) + cn 

= dn lgn— dn(lg3 — 2/3) + cn 

<dnlgn 
只 要 dc/(lg3 一 (2/3))。 因 此 ， 无 需 对 递归 树 的 代价 进行 更 精确 的 计算 。 
练习 
4.4-1 对 递归 式 T(n) 二 3T(Ln/2」]) 十 wn， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 
4.4-2 ”对 递归 式 TCn) 二 TC(n/2) 十 下 ， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 验证 。 


4.4-3 对 递归 式 T(n) 二 4T(n/2 十 2) 十 nx， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 
验证 。 

4.4-4 对 递归 式 T(n) 二 Tn 一 1) 十 1， 利 用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 验证 。 

4.4-5 ”对 递归 式 T(n) 二 TCn 一 1) 十 T(n/2) 十 xn， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 
进行 验证 。 

4.4-6 ”对 递归 式 T(n)= 二 Tn/3) 十 T(2n/3) 十 cn， 利 用 递归 树 论证 其 解 为 QC(nlgn)， 其 中 Cc 为 
常数 。 

4.4-7 ”对 递归 式 T(n)= 二 4T(Ln/2]) 十 cn(c 为 常数 )， 画 出 递归 树 ， 并 给 出 其 解 的 一 个 渐 近 紧 确 
界 。 用 代入 法 进行 验证 。 

4.48 对 递归 式 T(n)= 二 Tn 一 a) 十 T(a) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 a 宇 1 和 
< 二 0 是 常数 。 

4. 4-9 ”对 递归 式 T(n)= 二 TCan) 十 T((1 一 a)n) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 0 一 
a<1 和 c>0 是 常数 。 


4.5 用 主 方法 求解 递归 式 


主 方法 为 如 下 形式 的 递归 式 提供 了 一 种 "菜谱 ? 式 的 求解 方法 
T(n) = aT(n/b) + f(r) (4. 20) 
其 中 aS] A b> 1 是 常数 ，f() 是 渐 近 正 函 数 。 为 了 使 用 主 方法 ， 需要 牢记 三 种 情况 ， 但 随后 你 
就 可 以 很 容易 地 求解 很 多 递归 式 ， 通常 不 需要 纸 和 笔 的 帮助 。 
递归 式 (4. 20) 描 述 的 是 这 样 一 种 算法 的 运行 时 间 : 它 将 规模 为 n 的 问题 分 解 为 a 个 子 问 题 ， 
每 个 子 问题 规模 为 wb， 其 中 Alb 都 是 正常 数 。a 个 子 问题 递归 地 进行 求解 ， 每 个 花费 时 间 
T(n/b), PRR f(n) 包 含 了 问题 分 解 和 子 问题 解 合 并 的 代价 。 例 如 ， 描 述 Strassen 算法 的 递归 式 
H, a=7, b=2, f(n) =O). 
从 技术 的 正确 性 方面 看 ， 此 递归 式 实 际 上 并 不 是 良好 定义 的 ， 因 为 n/6 可 能 不 是 整数 。 但 将 a 
项 TOxVb) 都 替换 为 T(Lvy ao) 或 TVoD 并 不 会 影响 递归 式 的 渐 近 性 质 ( 我 们 将 在 下 一 节 证 明 这 个 断 
言 ;。 因 此 ， 我 们 通常 发 现 当 写 下 这 种 形式 的 分 治 算法 的 递归 式 时 ， 忽 略 舍 人 问题 是 很 方便 的 。 
主 定理 
主 方法 依赖 于 下 面 的 定理 。 
定理 4. 1( 主 定理 ) 令 a 三 1 和 4b 汪 1 是 常数 ，f(n) 是 一 个 函数 ，T(n) 是 定义 在 非 负 整 数 上 的 
递归 式 : 
T(n) = aT(n/b) + f(n) 
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其 中 我 们 将 n/b 解释 为 Ln/5| 或 [n/5b1。 那 么 TMA FHER: 
1. 若 对 某 个 常数 e 汪 0 有 f(y) =O"), R] Tin) =O(r'™*) 。 
2. 若 f(n) 二 Bln*%*)， 则 Tin) =O(n™? Ign). 
3. PIESE D> 有 f() 二 Qn )， 且 对 某 个 常数 c<1 和 所 有 足够 大 的 n 有 af(n/) 三 
cf), A) Ta)=O0Cf@). a 
在 使 用 主 定理 之 前 ， 我 们 花 一 点 儿 时 间 尝 试 理解 一 下 它 的 含义 。 对 于 三 种 情况 的 每 一 
种 ， 我 们 将 函数 fn) 与 函数 mw 进行 比较 。 直 觉 上 ， 两 个 函数 较 大 者 决定 了 递归 式 的 解 。 
若 函 数 "BK, WL 1, MRA TM=), FAM fo) BK, WR 3, WHA T= 
@(f(n))。 若 两 个 函数 大 小 相当 ， 如 情况 2， 则 乘 上 一 个 对 数 因子 ， 解 为 Tn) S0" Ign) = 
OC f(™) Ign). 
在 此 直觉 之 外 ， 我 们 需要 了 解 一 些 技术 细节 。 在 第 一 种 情况 中 ， 不 是 f() 小 于 rl BT, 
而 是 要 多 项 式 意 义 上 的 小 于 。 也 就 是 说 ， 帮 必须 渐 近 小 于 n**"， 要 相差 一 个 因子 r, Hep ec 
大 于 0 的 常数 。 在 第 三 种 情况 中 ,不 是 f() 大 于 zx 就 够 了 ， 而 是 要 多 项 式 意义 上 的 大 于 ， 而 且 
还 要 满足 正则? 条件 af(n/5b) 三 cf(n)。 我 们 将 会 遇 到 的 多 项 式 界 的 函数 中 ， 多 数 都 满足 此 条 件 。 
注意 ， 这 三 种 情况 并 未 覆盖 f(n) 的 所 有 可 能 性 。 情 况 1 和 情况 2 之 间 有 一 定 间隙 ，f(n) 可 
能 小 于 n**“ 但 不 是 多 项 式 意义 上 的 小 于 。 类 似 地 ， 情 况 2 和 情况 3 之 间 也 有 一 定 间 际 ，f(n) 可 
能 大 于 "但 不 是 多 项 式 意义 上 的 大 于 。 如 果 函 数 f(n) 落 在 这 两 个 间 孙 中， 或 者 情况 3 中 要 求 
的 正则 条 件 不 成 立 ， 就 不 能 使 用 主 方 法 来 求解 递归 式 。 
使 用 主 方 法 
使 用 主 方法 很 简单 ， 我 们 只 需 确定 主 定理 的 哪 种 情况 成 立 ， 即 可 得 到 解 。 
我 们 先 看 下 面 这 个 例子 
T(n) = 9T(n/3) +n 
对 于 这 个 递归 式 ， 我 们 有 a=9, 6=3, fn) =n, Alt n= = n% =A), 由 于 f(m)=0 
Cn"), FP e=1, AET AMAER., MS BE TO) =O’). 
现在 考虑 
T(n) = T(2n/3) +1 
其 中 a=1, b=3/2, f(n) =1, Alt n% =n™2'=n=1, AF f(n)=O(n®*)=001), AA 
用 情况 2， 从 而 得 到 解 T(n) 二 8@(lgn)。 
对 于 递归 式 
T(n) = 3T(n/4) +nlgn 
我 们 有 a=3, b=4, f(d)=nign, Alt ze" =n% =OG%™), HF fn) =A), Hp ew. 2, 
因此 ， 如 果 可 以 证 明正 则 条 件 成 立 ， 即 可 应 用 情况 3。 当 对 足够 大 时 ， 对 于 c=3/4, af(n/b)= 
3(n/4) 1g(n/4)<(3/4)nlgen=cf(n). Ak, TOL 3， 递 归 式 的 解 为 Tn) =0algn). 
主 方法 不 能 用 于 如 下 递归 式 : 
T(n) = 2T(n/2) +nlgn 
虽然 这 个 递归 式 看 起 来 有 恰当 的 形式 : a=2, b=2, fn)=nlgn, UR n% =n, Ha RER R 
认为 应 该 应 用 情况 3， 因 为 f(n) 二 nlgn 渐 近 大 于 n"*“ 二 n。 问 题 出 在 它 并 不 是 多 项 式 意义 上 的 大 
于 。 对 任意 正常 数 s， 比 值 fn) /n*** = (nlgn)/n= Ign 都 渐 近 小 于 nr*。 因 此 ， 递 归 式 落 和 人 了 情况 
2 和 情况 3 之 间 的 间隙 (此 递归 式 的 解 参见 练习 4. 6-2)。 
我 们 利用 主 方法 求解 在 4. 1 节 和 4. 2 节 中 曾 见 过 的 递归 式 (4.7)， 
T(n) = 2T(n/2) + @(n) 
它 刻 画 了 最 大 子 数组 问题 和 归并 排序 的 分 治 算法 的 运行 时 间 ( 按 照 通 常 的 做 法 ， 我 们 忽略 了 递归 
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式 中 基本 情况 的 描述 ) 。 这 里 ， 我 们 有 ae 一 2，2 王 2，jF(a) 一 9(z)， 因 此 mw 一 me =n, hF 
Fo) 一 9(z) ， 应 用 情况 2， 于 是 得 到 解 T(n) 二 Blnlgn)。 
递归 式 (4. 17)， 
T(n) = 8T(n/2) + @(7’) 
它 描述 了 矩阵 乘法 问题 第 一 个 分 治 算法 的 运行 时 间 。 我 们 有 a=8, b=2, fim =O’), Alt 
ns? = nS) HF nn 多 项 式 意义 上 大 于 f(r) (Xt e=1, f(r) =O), DAT 1, 
H T=). 
最 后 ， 我 们 考虑 递归 式 (4. 18), 
T) = 7T(n/2) + OC") 
它 描述 了 Strassen 算法 的 运行 时 间 。 这 里 ， 我 们 有 a=7, b=2, f(r) =O’), Ast n= 
n, $ log,7 改写 为 lg7， 由 于 2. 80 一 lg7 一 2. 81， 我 们 知道 对 se 一 0.8， 有 Fo) 一 OOae7-…)。 再 
次 应 用 情况 1， 我 们 得 到 解 Ton) = O(n"). 


练习 


4.5-1 对 下 列 递归 式 ， 使 用 主 方法 求 出 渐 近 紧 确 界 。 
a. T(n) =2T(n/4)+1 
b. T(n) =2T(n/4) +Vn 
c T(n)=2T(n/4) +n 
d. T(n) =2T(n/4) +r? 

4.5-2 Caesar 教授 想 设 计 一 个 渐 近 快 于 Strassen 算法 的 矩阵 相 乘 算法 。 他 的 算法 使 用 分 治 方法 ， 
将 每 个 矩阵 分 解 为 n/4Xn/4 的 子 和 矩阵 ， 分 解 和 合并 步骤 共 花费 OG? ) 时 间 。 他 需要 确定 ， 
他 的 算法 需要 创建 多 少 个 子 问题 ， 才 能 击败 Strassen 算法 。 如 果 他 的 算法 创建 a 个 子 问 
题 ， 则 描述 运行 时 间 T(z) 的 递归 式 为 Tn) =aT(n/4)+ OC’), Caesar 教授 的 算法 如 果 
要 渐 近 快 于 Strassen 算法 ，a 的 最 大 整数 值 应 是 多 少 ? 

4.5-3 使 用 主 方法 证 明 : 二 分 查找 递归 式 T(n)= 二 TC(n/2) 十 8(1) 的 解 是 T(n) 二 8B(lgn)。( 二 分 查 
找 的 描述 见 练习 2. 3-5) 。 

4.5-4 ” 主 方法 能 应 用 于 递归 式 Tn) =4T(n/2) +r? Ign t? 请 说 明 为 什么 可 以 或 者 为 什么 不 可 
以 。 给 出 这 个 递归 式 的 一 个 渐 近 上 界 。 

*4.S-5 考虑 主 定理 情况 3 的 一 部 分 : 对 某 个 常数 <1, IEMA af(n/D<ciM RAMI. Bik 

一 个 例子 ， 其 中 常数 之 1，b>>1 ARK f(n) 满 足 主 定理 情况 3 中 除 正则 条 件 外 的 所 有 
条 件 。 


“4.6 证 明 主 定理 


本 节 给 出 主 定理 (定理 4. 1) 的 证 明 。 但 如 果 只 是 为 了 使 用 主 定理 ， 你 不 必 理 解 这 个 证 明 。 

证 明 分 为 两 部 分 。 第 一 部 分 分 析 主 递归 式 (4. 20), ， 为 简单 起 见 ， 假 定 Tn) WE LE b>) 
WEE, BR * 一 1，2， 炙 ，… 定 义 。 这 一 部 分 给 出 了 为 理解 主 定理 是 正确 的 所 需 的 所 有 直觉 
知识 。 第 二 部 分 显示 了 如 何 将 分 析 扩 展 到 所 有 正 整 数 n; 这 一 部 分 应 用 了 处 理 向 下 和 向 上 取 整 问 
题 的 数学 技巧 。 

在 本 节 中 ， 我 们 有 时 会 稍微 滥用 渐 近 符号 ， 用 来 描述 仅仅 定义 在 5 的 寡 上 的 函数 的 行为 。 回 
忆 一 下 ， 渐 近 符 号 的 定义 要 求 对 所 有 足够 大 的 数 都 证 明 函 数 的 界 ， 而 不 是 仅仅 对 5 的 短 。 因 为 可 
以 定义 出 仅仅 应 用 于 集合 {8 : i 二 0，1，2，…} 上 而 不 是 所 有 非 负数 上 新 的 渐 近 符号 ， 所 以 这 种 
滥用 问题 不 大 。 
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然而 ， 当 我 们 在 一 个 局 限 的 值 域 上 使 用 渐 近 符号 时 ， 必 须 时 刻 小 心 ， 避 人 免得 到 错误 的 结论 。 
例如 ， 对 nn 是 2 的 短 的 情况 证 明 T(n) 二 OCn) 并 不 保证 TCn) 二 Oln)。 函 数 TC(n) 可 能 是 这 样 定义 的 : 
n 车 n 二 1,2,4,8,*… 
no 其 他 
此 例 中 适用 于 所 有 值 的 最 佳 上 界 为 T(n) 二 OCm)。 由 于 可 能 导致 这 种 严重 后 果 ， 在 并 不 绝对 清 
楚 应 用 环境 的 情况 下 ， 永 远 也 不 要 在 一 个 有 限 的 值 域 上 使 用 渐 近 符号 。 


4.6.1 对 bb 的 幕 证 明 主 定理 

主 定理 证 明 的 第 一 部 分 分 析 主 定理 的 递归 式 (4. 20): 

T(n) = aT(n/b) + f(n) 

假定 ?是 (1) 的 寡 ，20 不 一 定 是 一 个 整数 。 我 们 将 分 析 过 程 分 解 为 三 个 引 理 。 第 一 个 引 理 将 
求解 主 递归 式 的 问题 归 约 为 一 个 求 和 表达 式 的 求 值 问题 。 第 二 个 引 理 确定 这 个 和 式 的 界 。 第 三 
个 引 理 将 前 两 个 引 理 合 二 为 一 ， 证 明 ”为 的 寡 的 情况 下 的 主 定理 。 

引 理 4.2 Fall 和 4 二 1 是 常数 ，f(n) 是 一 个 定义 在 6 的 需 上 的 非 负 浮 数 。T(n) 是 定义 在 
b 的 需 上 的 递归 式 : 


T(n) = 


@(1) Hn=1 
T(n) = 
aT(n/b) + fr) #n=6' 
其 中 i 是 正 整 数 。 那 么 
logs n=l 
T) = O(n") + >) afinat) (4. 21) 


证 明 使 用 图 4-7 中 的 递归 树 。 树 的 根 结 点 的 代价 为 f(n)， 它 有 a 个 孩子 结 点 ， 每 个 的 代价 
为 f(n/5)。( 将 a 看 做 一 个 整数 非常 方便 ， 当 可 视 化 递归 树 时 尤其 如 此 ， 但 从 数学 角度 并 不 要 求 
这 一 点 )。 每 个 孩子 结 点 又 有 a 个 孩子 ,使 得 在 深度 为 2 的 层次 上 有 a 个 结 点 ， 每 个 的 代价 为 
fln/F)。 一 般 地 ， 深 度 为 j 的 层次 上 有 a’ 个 结 点 ， 每 个 的 代价 为 f(n/5W)。 每 个 叶 结 点 的 代价 为 
TO =00), REH logn, WHA n/H" =1, WPA a" =ne "个 时 结 点 。 


fUn) ee fin) 
a 
Amb) An/b) ne 5 0) svome m- afinib) 
a a a 
logsn 
Anl) fini?) An) Anb) Anb) Anli) Anl) fnb) fnt) se Rne) 


@(1) (1) @(1) 00) 00) X) 00) 00) EL) Q) = Ə) O) O) =m O(t") 
ee 
n8 


log, n-1 
总 计 : O(n'ts?)+ > afn/b) 


图 4-7 T(n)==aT(n/6b) 十 f(n) 的 递归 树 。 该 树 是 一 棵 完全 a 叉 树 ， 高 度 为 log,n， 共 有 zs“ 个 叶 
结 点 。 每 层 结 点 的 代价 显示 在 右 侧 ， 代 价 和 如 公式 (4. 21) 所 示 
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我 们 将 图 4-7 所 示 的 递归 树 中 的 每 层 结 点 的 代价 求 和 ， 得 到 公式 (4. 21)。 深 度 为 7 的 所 有 内 
部 结 点 的 代价 为 aif(n/5)， 所 以 内 部 结 点 的 总 代价 为 : 


log, n=l 
之 a’ f (n/b) 
在 分 治 算法 中 ， 这 个 和 表示 分 解 子 问题 与 合并 子 问题 解 的 代价 。 所 有 叶 结 SR [59] 
有 me 个 规模 为 1 的 子 问题 的 代价 ) 为 O), 
从 递归 树 看 ， 主 定理 的 三 种 情况 分 别 对 应 以 下 三 种 情况 ， EE EOR 
定 ; (2) 树 的 总 代价 均匀 分 布 在 树 的 所 有 层次 上 ; (3) 树 的 总 代价 由 根 结 点 的 代价 决定 。 
ARA. 21) 中 的 和 式 描 述 了 分 治 算法 中 分 解 与 合并 步骤 的 代价 。 下 一 个 定理 则 给 出 了 这 个 和 
式 增 长 速度 的 渐 近 界 。 
引 理 4.3 邻 a 宇 1 和 b>1 是 常数 ，f(n) 是 一 个 定义 在 6 的 轿 上 的 非 负 函 数 。g(n) 是 定义 在 
bh RE BH: 
log, "一 ! 
gin) = >) d fint) (4. 22) 
xt b HH, MAF HER: 
1. BMRA EK es 盖 0 有 fMn), BW gn) =O(n*** ) 。 
2. = f() =O(n**), R] gn) =A" Ign). 
3. 若 对 某 个 常数 c 二 1 PARRAK n Haf(n/b)<cf(n), YM gn =O(f(~™). 
证 明 对 情况 1， 我 们 有 SMSO), AERE f(n/5) 二 O(n/5 9"), RAB 
式 (4. 22) 得 


log wl log, a~e 
gin) = o( 之 als ) ) (4. 23) 
对 于 O 符 号 内 的 和 式 ， 通过 提取 因子 并 化 简 来 求 它 的 界 ， ca Tes 
log x1 anea 
= nh by cs ) = nbs o>) cory 


Z a(g) 
(Ge 一 1 ~(t—1 
sical tor oe ak wma 109 
由 于 65 和 e 是 常数 ， 因 此 可 以 将 最 后 一 个 表达 式 重 写 为 nO) =n), MARAKE 
KARA. 23) 中 的 和 式 ， 得 到 g(n) 二 On"%*)， 因 此 情况 1 得 证 。 
由 于 情况 2 假定 f(r) = OC"), FEA a/b) = Cn), ARAARA. 22) 得 


log, I keg. 
ain) = @( X a(g) i ) (4. 24) 
采用 与 情况 1 相同 的 方式 ， 求 出 8 符号 内 和 式 的 界 ， 但 这 次 并 未 得 到 一 个 几何 级 数 ， 而 是 发 现 
和 式 的 每 一 项 都 是 相同 的 : 
logy "1 ies log, 1 j bog, "1 
ye a(i ) = n° 2 (se) = ns” 2 1= ns" logn 


用 这 个 表达 式 替 换 公 式 (4. 24) 中 的 和 式 ， 我 们 得 到 
g(n) = Ons" logn) = O(n’ Ign) 





情况 2 得 证 。 

情况 3 的 证 明 类 似 。 由 于 Fo) 出 现在 g(n) 的 定义 (4.22) 中 ， 且 g(z) 的 所 有 项 都 是 非 负 的 ， 
因此 可 以 得 出 结论 : 对 5 的 窒 ，g(n) 二 QCf(n))。 假 定 在 这 个 引 理 中 ， 对 某 个 常数 c 二 1 和 所 有 足 
够 大 的 nw 有 af(n/) 志 cf(n)。 将 这 个 假设 改写 为 f(n/b)<Cc/a) f(MFFIER K, 得 到 f(n/5) 过 
(c/a)'f(n)， 或 等 价 地 ，a’f ln/5) 全 cf(n)， 其 中 假设 进行 迭代 的 值 足够 大 。 由 于 最 后 一 个 ， 也 
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就 是 最 小 的 值 为 ww :， 因 此 假定 ww 足够 大 就 够 了 。 
代入 公式 (4. 22) 并 化 简 ， 我 们 得 到 一 个 几何 级 数 ， 但 与 情况 1 证 明 中 的 几何 级 数 不 同 ， 这 次 
得 到 的 是 递减 的 几何 级 数 。 使 用 一 个 O(1) 项 来 表示 n 足够 大 这 个 假设 未 覆盖 的 项 : 


log, -1 og, ml fð 


gm = > df nb VS X) ef +00) < f@ 2 a +00) 


jm0 j=0 j=0 


= fm (—)+ 0m = Af) 


t—c 
因为 < 是 一 个 常数 。 因 此 可 以 得 到 结论 : MOF, co) =O). TL 3 得 证 ， 引 理 证 毕 。 m 
现在 我 们 来 证 明 n 为 6b 的 宕 的 情况 下 的 主 定理 。 
引 理 4.4 令 a 宇 1 和 65>1 是 常数 ，f(n) 是 一 个 定义 在 6 的 需 上 的 非 负 浮 数 。T(n) 是 定义 在 
b 的 血 上 的 递归 式 : 
©) n=l 
TN al FG eae 
HP i REKR, MA LHR, TMA FHER: 
1. SRR KK >00 A fMn, Tn) = O(n") 。 
2. Æ f(n) =O(n'**), R] Tin) = O(n? Ign). 
3. SRR HM E>HO, A fn) =A"), HAMPER EM c 二 1 和 所 有 足够 大 的 n， 有 
af(n/b)<cf(n), 则 Tl(n)=B(f(n)), 
证 明 利用 引 理 4.3 中 的 界 对 引 理 4. 2 中 的 和 式 (4. 21) 进 行 求 值 。 对 情况 1， 我 们 有 
T(n) = Onr) HOn) = O(n) 
对 于 情况 2, 
T(n) = Ons’) + On Ign) = O(n'** Ign) 
对 于 情况 3， 
Tn) = On) + OC f(n)) = OC f(n)) 
因为 fn) =A), a 


4.6.2 向 下 取 整 和 向 上 取 整 


为 了 完成 主 定理 的 证 明 ， 我 们 必须 将 上 述 分 析 扩 展 到 主 递归 式 中 使 用 向 下 取 整 和 向 上 取 整 
的 情况 ， 这 样 递归 式 就 定义 在 所 有 整数 上 ， 而 非 仅 仅 针对 2 的 寡 。 很 容易 获得 如 下 递归 式 的 
下 界 : 

Tn) = aT([n/b) + fm) (4. 25) 
以 及 如 下 递归 式 的 上 界 : 

T(n) = aT(\n/b}) + f(r) (4. 26) 
因为 我 们 可 以 对 第 一 种 情况 应 用 下 界 [n/b1 宇 n/6b RAS BI GR, APL EAL nbl 
n/5。 可 以 使 用 几乎 一 样 的 技术 来 处 理 递 归 式 (4. 26) 的 下 界 和 递归 式 (4.25) 的 上 界 ， 因 此 我 们 只 
给 出 后 一 个 界 的 证 明 。 

对 图 4-7 中 的 递归 树 进行 修改 ， 得 到 图 4-8 中 的 递归 树 。 当 沿 着 递归 树 向 下 时 ， 我 们 得 到 如 
下 递归 调用 的 参数 序列 : 
n 
[n/b] 
[[n/b] /b] 
In /b] /b) /6] 
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H n; 表示 序列 中 第 ; 个 元 素 ， 其 中 





n #7 =0 
= (4. 27) 
0 
我 们 的 第 一 个 目标 是 确定 mn 是 常数 时 的 深度 上 &。 利 用 不 等 式 [zj 委 z 十 1， 可 得 
NM <n 
MR FA 
m<ğ+++ 
ae ee | 
SE 
一 般 地 ， 我 们 有 
ji oo 
n 1 n 1. =. it b 
a a a T 
4 j 二 Llog,nJ， 可 得 
j < n +% <a tht 
ee "Dl pya SL ae G=] 
=5+7 气 = Od) 
因此 我 们 可 以 看 到 在 深度 Llog,zj]， 问 题 规模 至 多 是 常数 。 
WU) Meee jn， fin) 
ee 
An) An) sauseceecevesssseeses ine afin,) 
Llog, nl 人 AX ae 
An) fim) = fin) fnd) fn) 1… An) An) fn) fn) e ii- afin,) 
a) a &1 00) (1) A) ©) 00) EC) 00) = O) e0) O) mm- Ore) 
O(n) 
[logy "|-! 
总 计 : OC) F afin) 
48 T(n)=aT([n/b)+ fi) Hi. BABAR n; 的 定义 见 公式 (4. 27) 
Llog yr Hi 
T(n) = On") + 2 a’ f (n;) (4. 28) 


除了 n 为 任意 整数 ， 未 局 限 为 上 的 寡 之 外 ， 这 个 公式 与 公式 (4. 2) 几 乎 一 样 。 
我 们 现在 可 以 对 公式 (4. 28) 中 的 和 式 进行 求 值 
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Llog,n -1 
gin) = >) afin) (4. 29) 
方法 与 引 理 4. 3 的 证 明 类 似 。 我 们 从 情况 3 开始 ， 如 果 对 n>b+b/6—1), af n/S 
立 ， 其 中 <1 是 常数 ， 则 有 dff), We, 我们 可 以 像 引 理 4. 3 的 证 明 一 样 来 对 公式 
(4. 29) 的 和 式 进 行 求 值 。 对 于 情况 2， 我 们 有 f(r) = 二 BCn%*)。 如 果 能 证 明 f(r, ) =OCn'™* /a’) 
=0( (n/H) °), WRR 2 的 证 明 直 接 使 用 引 理 4. 3 证 明 的 方法 即 可 。 观 察 到 j< log n LRA 
b/n, R fMn ) 意 味 着 存在 常数 c 二 0， 使 得 对 所 有 足够 大 的 n, 


Fap e(t) =(2(1+2.,% Iye 


ea e a 


log, a log, a log, 
<*>) (1+,44)™ =0(=F) 
因为 cA +6/(6—-1)) "ae at. A. TAL 2 得 证 。 情 况 1 的 证 明 几 乎 是 一 样 的 。 关 键 是 证 明 
FR f(r, )=OCn/8 )s% 一 )， 这 部 分 与 情况 2 证 明 中 的 对 应 部 分 相似 ， 尽 管 使 用 的 代数 方法 更 复杂 些 。 
现在 我 们 已 经 对 所 有 整数 nn 证 明了 主 定理 的 上 界 。 下 界 的 证 明 类 似 。 
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*4.6-1 对 0 是 正 整 数 而 非 任意 实数 的 情况 ， 给 出 公式 (4. 27) 中 n 的 简单 而 准确 的 表达 式 。 
*4.6-2 WEH: 如 果 SMSO" lg'n)， 其 中 0， 那 么 主 递 归 式 的 解 为 T(n) 0a gn), 
为 简单 起 见 ， 假 定 a 是 6 HR. 
*4.6-3 ”证明 主 定理 中 的 情况 3 被 过 分 强调 了 ， 从 某 种 意义 上 来 说 ， 对 某 个 常数 c<1， 正 则 条 
mq 件 af(n/6b)<cf(n) 成 立 本 身 就 意味 着 存在 常数 e 二 0， 使 得 SO) =A"), 


思考 题 
4-1 (递归 式 例子 ) ”对 下 列 每 个 递归 式 ， 给 出 T(n) 的 渐 近 上 界 和 下 界 。 假 定 n<2 时 T(n) 是 常 
数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n) =2T(n/2)+n' 
b. T(n) = T(7n/10)-+n 
c T(n) =16T(n/4) +n’ 
d. T(n) =7T(n/3) +n* 
e T(n)=7T(n/2) +r? 
f£. T(n) =2T(n/4)+Vn 
g. T(n)=T(n—-2) +r? 
42 (参数 传递 代价 ) 我们 有 一 个 贯穿 本 书 的 假设 一 一 过 程 调 用 中 的 参数 传递 花费 常量 时 间 ， 
即使 传递 一 个 六 个 元 素 的 数组 也 是 如 此 。 在 大 多 数 系统 中 ， 这 个 假设 是 成 立 的 ， 因 为 传递 
的 是 指向 数组 的 指针 ， 而 非 数 组 本 身 。 本 题 讨论 三 种 参数 传递 策略 : 
1. 数组 通过 指针 来 传递 。 时 间 王 6(1) 。 
2. 数组 通过 元 素 复制 来 传递 。 时 间 王 BCN) ， 其 中 N 是 数组 的 规模 。 
3. 传递 数组 时 ， 只 复制 过 程 可 能 访问 的 子 区 域 。 若 子 数组 A[p. . qj 被 传递 ， 则 时 间 二 8@(g 一 
pt+l). 
a 考虑 在 有 序数 组 中 查找 元 素 的 递归 二 分 查找 算法 (参见 练习 2. 3-5)。 分 别 给 出 上 述 三 种 
参数 传递 策略 下 ， 二 分 查找 最 坏 情况 运行 时 间 的 递归 式 ， 并 给 出 递归 式 解 的 好 的 上 界 。 


4-3 


4-4 


4-5 
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S N 为 原 问题 的 规模 ，n 为 子 问 题 的 规模 。 
b. 对 2. 3. 1 节 的 MERGE-SORT 算法 重 做 (a) 。 107 
(更 多 的 递归 式 例子 ) 对 下 列 每 个 递归 式 ， 给 出 T(n) 的 渐 近 上 界 和 下 界 。 假 定 对 足够 小 的 
n，T() 是 常数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n)=4T(n/3)+nlgn 
b. T(n)=3T(n/3)+n/ lgn 
c T(n)=4T(n/2) +n? Vn 
d. T(n) =3T(n/3—2) +n/2 
e. T(n) =2T(n/2) +n/ Ign 
f. T(n) = T(n/2) + T(n/4) + T(n/8) +2 
g T(n)=T(n—-1) +1/n 
h. T(n) = T(n—1)+ lgn 
i. T(n) =T(n—2) +1/ Ign 
j. Tin) =V/nT Wn) +n 
( 斐 波 那 契 数 ) 本 题 讨论 递归 式 (3. 22) 定 义 的 斐 波 那 契 数 的 性 质 。 我 们 将 使 用 生成 函数 技 
术 来 求解 斐 波 那 契 递归 式 。 生 成 函数 (又 称 为 形式 寡 级 数 ) 了 定义 为 


Fz) = 3 Fz! = 0 +z +l + 223 4 3z 十 5z + 82° + 1327 + 212% + 
其 中 F, 为 第 ;个 斐 波 那 契 数 。 


a. 证 明 : F(z)=2t+z F(z) +2 Fz). 
b. 证 明 : 
EM ee 
A ea (1— $2)(1—$z) liz te) 
其 中 
$= 1 = 1. 618 03+ 
$= sé =— 0. 618 03… 
Cc. 证 明 : 


o eee” 
F(z) = D gt $2! 
d. 利用 (c) 的 结果 证 明 : 对 i 汪 >0，F; = 二 #8/VY5， 结 果 舍 人 到 最 接近 的 整数 。( 提 示 : 观察 到 
1$|=1.) 

BARA) Diogenes 教授 有 n 片 可 能 完全 一 样 的 集成 电路 芯片 ， 原 理 上 可 以 用 来 相互 检 
测 。 教 授 的 测试 夹具 同时 只 能 容纳 两 块 芯 片 。 当 夹具 装载 上 时 ， 每 块 芯 片 都 检测 另 一 块 ， 
并 报告 它 是 好 是 坏 。 一 块 好 的 芯片 总 能 准确 报告 另 一 块 芯片 的 好 坏 ， 但 教授 不 能 信任 坏 芯 
片 报告 的 结果 。 因 此 ，4 种 可 能 的 测试 结果 如 下 : 


芯片 A 的 结果 芯片 B 的 结果 结论 
B 是 好 的 A 是 好 的 两 片 都 是 好 的 ， 或 都 是 坏 的 
B 是 好 的 A 是 坏 的 至 少 一 块 是 坏 的 
B 是 坏 的 和 A 是 好 的 至 少 一 块 是 坏 的 


B 是 坏 的 A 是 坏 的 至 少 一 块 是 坏 的 
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a. 证 明 : 如 果 超 过 n/2 块 芯片 是 坏 的 ， 使 用 任何 基于 这 种 逐 对 检测 操作 的 策略 ， 教 授 都 不 
能 确定 哪些 芯片 是 好 的 。 假 定 坏 芯片 可 以 合谋 欺骗 教授 。 
b. 考虑 从 nn 块 蕊 片 中 寻找 一 块 好 芯片 的 问题 ， 假 定 超过 n/2 块 芯片 是 好 的 。 证 明 : 进行 Ln/2] 
次 逐 对 检测 足以 将 问题 规模 减 半 。 
c. 假定 超过 n/2 块 芯片 是 好 的 ， 证 明 : 可 以 用 8(n) 次 逐 对 检测 找 出 好 的 芯片 。 给 出 描述 检 
测 次 数 的 递归 式 ， 并 求解 它 。 
(Monge 阵列 ) ”对 一 个 mXn 的 实数 阵列 A， 若 对 所 有 满足 Kim Al lSj<l<n fi, 
j, kL 
ALi j] +A[k,{] < ALi, i] + A[Ck, j] 
则 称 A 是 Monge 阵列 (Monge array) 。 换 句 话 说 ， 无 论 何 时 选 出 Monge 阵列 的 两 行 和 两 列 ， 
对 于 交叉 点 上 的 4 个 元 素 ， 左 上 和 右 下 两 个 元 素 之 和 总 是 小 于 等 于 左下 和 右上 元 素 之 和 。 
例如 ， 下 面 就 是 一 个 Monge 阵列 : 


75 66 51 53 34 
a. 证 明 : 一 个 数组 是 Monge 阵列 当 且 仅 当 对 所 有 i=l, 2, +5 m—1Mj=l, 2, +, n—l, 有 
Ali,jJ+ALi+1,j +1] < ALi j +1]+ALi+1,j] 
(提示 : 对 于 “ 当 ” 的 部 分 ， 分 别 对 行 和 列 使 用 归纳 法 。) 
b. 下 面 数 组 不 是 Monge 阵列 。 改 变 一 个 元 素 使 其 变 成 Monge 阵列 。( 提 示 : 利用 (a) 的 
结果 。) 
37 23. 22 32 
zl 6 7 10 
53 34 30 31 
32 13 9 6 
43 21 15 8 
c 令 fQ 表 示 第 i 行 的 最 左 最 小 元 素 的 列 下 标 。 证 明 : 对 任意 mXn 的 Monge FEF, FOS 
SDSS). 
d 下 面 是 一 个 计算 mX n 的 Monge 阵列 A 每 一 行 最 左 最 小 元 素 的 分 治 算法 的 描述 : 
提取 A 的 偶数 行 构造 其 子 矩 阵 A 。 递 归 地 确定 A' 每 行 的 最 左 最 小 元 素 。 
然后 计算 A 的 奇数 行 的 最 左 最 小 元 素 。 
解释 如 何在 OC +n) BS TB) ALT A 的 奇数 行 的 最 左 最 小 元 素 ( 在 偶数 行 的 最 左 最 小 元 素 
已 知 的 情况 下 )。 
e 给 出 (d) 中 描述 的 算法 的 运行 时 间 的 递归 式 。 证 明 其 解 为 OC(m 十 nlogm)。 


本 章 注 记 


分 治 作为 一 种 算法 设计 技术 至 少 可 以 追溯 到 1962 年 Karatsuba 和 Ofman 的 一 篇 文章 [194]。 


但 是 在 这 之 前 ， 分 治 技术 已 经 有 很 好 的 应 用 ， 根 据 Heideman、Johnson 和 Burrus 的 论文 [163]， 
卡尔 。 弗 雷 德里 希 ，。 高 斯 在 1805 年 设计 了 第 一 个 快速 傅 里 叶 变换 算法 ， 而 高 斯 的 算法 就 是 将 问 
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题 分 解 为 更 小 的 子 问 题 ， 求 解 完 子 问题 后 将 它们 的 解 组 合 起 来 。 

4. 1 节 中 讨论 的 最 大 子 数组 问题 是 Bently[43， 第 7 章 ] 研 究 的 问题 的 一 个 简单 变形 。 

Strassen 算法 [325] 发 表 于 1969 年 ， 它 的 出 现 引 起 了 很 大 的 狠 动 。 在 此 之 前 ， 很 少 人 敢 设想 
一 个 算法 能 渐 近 快 于 平凡 算法 SQUARE-MATRIXMULTIPLY。 拢 阵 乘法 的 渐 近 上 界 自 此 被 改 
进 了 。 到 目前 为 止 ，zXz 和 矩阵 相 乘 的 渐 近 复杂 性 最 优 的 算法 是 Coppersmith 和 Winograd[78] 提 
出 的 ， 运 行 时 间 为 O(0xz25)。 已 知 的 最 好 的 下 界 显然 是 Q(z2)( 这 是 显然 的 下 界 ， 因 为 我 们 必须 
填写 结果 矩阵 的 n 个 元 素 ) 。 

从 实用 的 角度 看 ，Strassen 算法 通常 并 不 是 解决 矩阵 乘法 的 最 好 选择 ， 原 因 有 4 个 : 

1. 隐藏 在 Strassen 算法 运行 时 间 9(xe? ) 中 的 常数 因子 比 过 程 SQUARE-MATRIX- 
MULTIPLY 的 (wi ) 时 间 的 常数 因子 大 。 

2. TAMER, SHAKER. 

3. Strassen 算法 的 数值 稳定 性 不 如 SQUARE-MATRIX-MULTIPLY 那么 好 。 换 句 话 说 ， 由 
于 计算 机 计算 非 整 数值 时 有 限 的 精度 ，Strassen 算法 累积 的 误差 比 SQUARE-MATRIX- 
MULTIPLY 大 。 

4. 递归 过 程 中 生成 的 子 矩阵 消耗 存储 空间 。 
后 两 个 原因 在 1990 年 左右 得 到 了 缓解 。HighamL167] 显 示 了 数值 稳定 性 上 的 差异 被 过 分 强调 了 ; 
虽然 Strassen 算法 对 某 些 应 用 来 说 数值 稳定 性 太 差 ， 但 对 其 他 应 用 来 说 ， 它 所 产生 的 数值 误差 还 
在 可 接受 的 范围 内 。Bailey、Lee 和 Simon[L 32] 讨 论 了 降低 Strassen 算法 内 存 需求 的 技术 。 

在 实际 应 用 中 ， 稠 密 矩 阵 的 快速 乘法 程序 在 和 矩阵 规模 超过 一 个 “交叉 点 ”时 使 用 Strassen 算 
法 ,一旦 子 问题 规模 降低 到 交叉 点 之 下 ， 就 切换 到 一 个 更 简单 的 方法 。 交 又 点 的 确切 值 高 度 依赖 
于 具体 系统 。 有 一 些 分 析 统计 操作 次 数 ， 但 忽略 CPU 缓存 和 流水 线 的 影响 ， 得 出 的 交叉 点 低 至 
7 一 8(Higham[167]) 或 n=12( Huss-Lederman “% A[186]). D’Alberto 和 Nicolau[ 81] 设 计 了 一 个 
自 适应 方法 ， 在 软件 包 安 装 完 毕 后 通过 基准 测试 确定 交叉 点 。 他 们 发 现 ， 在 不 同 的 系统 上 ， 交 叉 
点 的 值 从 n= 二 400 到 n=2 150 变化 ， 而 在 几 个 系统 中 无 法 找到 交叉 点 。 

递归 式 的 研究 最 早 可 追溯 到 1202 年 李 奥 纳 多 。 斐 波 那 契 的 工作 ， 斐 波 那 契 数 就 是 以 他 命名 
的 。A. De Moivre 提出 了 用 生成 函数 (参见 思考 题 4-4) 求 解 递归 式 的 方法 。 主 方法 改 自 Bentley、 
Haken 和 Saxe[44] 的 方法 ， 这 篇 文章 提供 了 一 种 扩展 方法 ， 在 练习 4. 6-2 中 已 经 得 到 验证 。 
KnuthL209] 和 LiuL237] 展 示 了 如 何 使 用 生成 函数 的 方法 求解 线性 递归 式 。Purdom 和 Brown Wit 
文 [287] 及 Graham, Knuth 和 Patashnik 的 论文 [152] 包 含 了 递归 式 求解 的 进一步 讨论 。 

相对 于 主 方法 可 求解 的 分 治 算法 递归 式 ， 多 名 研究 者 ， 包 括 Akra 和 Bazzi[13]、Roura 
[299]j、VermaL346] 及 YapL360]， 都 给 出 过 更 一 般 的 递归 式 的 求解 方法 。 我 们 介绍 一 下 Akra 和 
Bazzi 的 结果 ， 这 里 给 出 的 是 Leighton[ 228] 修 改 后 的 版 本 。Akra-Bazzi 方法 求解 如 下 形式 的 递 
AX: 


k (4. 30) 


Q(1) FISTS 
T(z) = 
T] DaTh) tfa) #2>x 
i=l 


其 中 


ZX 之 1 是 一 个 实数 ， 

To 是 一 个 常数 ， 满足 对 i=l, 2, =°, k; 21/6; H z; 21/(1—b;); 
对 i=1, 2, =, k, a 是 一 个 正常 数 ， 

。 XP i=1, 2, +, ky bi 是 一 个 常数 ， 范 围 在 0 一 六 一 1， 

$ k>1 是 一 个 整数 常数 ， 且 
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。 f(z) 是 一 个 非 负 函数 ， 满 足 多 项 式 增长 条 件 : 存在 正常 数 c 和 c ， 使 得 对 所 有 c>1, 
i 二 1]，2，…， 上 以 及 所 有 满足 bz 三 u 志 x 的 wu， af OLSAK flix). (Fl f'(z)| 
的 上 界 是 z 的 某 个 多 项 式 ， 则 f(x) 满足 多 项 式 增长 条 件 。 例 如 ， 对 任意 实 常数 a 和 8B， 
f(z) 二 x lgsz 满足 此 条 件 。) 

虽然 主 定理 不 能 应 用 于 T = T(Ln/3)) + TCL2n/3) +OCn) RE MBIASL, 18 Akra-Bazzi 方 


法 可 以 。 为 了 求解 递归 式 (4. 30)， 我 们 首先 寻找 满足 dab? = 1 的 实数 p( 这 样 的 p 总 是 存在 
的 )。 那 么 递归 式 的 解 为 
Ton) = o(a (1+| Eau) ) 


Akra-Bazzi 方法 可 能 有 点 儿 难 用 ， 但 它 可 以 求解 那些 子 问题 划分 不 均衡 的 算法 的 递归 式 。 主 方法 
13) ”很 容易 使 用 ， 但 只 能 用 于 子 问题 规模 相等 的 情况 。 


| 555 


Introduction to Algorithms, Third Edition 


概率 分 析 和 随机 算法 


本 章 介 绍 概率 分 析 和 随机 算法 。 如 果 你 不 熟悉 概率 论 的 基本 知识 ， 应 先 阅读 附录 C， 复 习 这 
部 分 材料 。 我 们 将 在 本 书 中 多 次 提 到 概率 分 析 和 随机 算法 。 


5.1 雇用 问题 


假如 你 要 雇用 一 名 新 的 办 公 助 理 。 你 先前 的 雇用 尝试 都 失败 了 ， 于 是 你 决定 找 一 个 雇用 代 
理 。 雇 用 代理 每 天 给 你 推荐 一 个 应 聘 者 。 你 面试 这 个 人 ， 然 后 决定 是 否 雇用 他 。 你 必须 付 给 雇用 
代理 一 小 笔 费用 ， 以 便 面 试 应聘 者 。 然 而 要 真 的 雇用 一 个 应 聘 者 需要 花 更 多 的 钱 ， 因 为 你 必须 酬 
掉 目 前 的 办 公 助 理 ， 还 要 付 一 大 笔 中 介 费 给 雇用 代理 。 你 承诺 在 任何 时 候 ， 都 要 找 最 适合 的 人 来 
担任 这 项 职务 。 因 此 ， 你 决定 在 面试 完 每 个 应 聘 者 后 ， 如 果 该 应 聘 者 比 目 前 的 办 公 助 理 更 合适 ， 
就 会 辞 掉 当 前 的 办 公 助 理 ， 然 后 聘用 新 的 。 你 愿意 为 该 策略 付费 ， 但 希望 能 够 估算 该 费用 会 是 
多 少 。 

下 面 给 出 的 HIRE-ASSISTANT 过 程 以 伪 代 码 表示 该 雇用 策略 。 假 设 应 聘 办 公 助 理 的 候选 人 
编号 为 1 到 n。 该 过 程 中 假设 你 能 在 面试 完 应 聘 者 i 后 ， 决 定 应 聘 者 ;是否 是 你 目前 见 过 的 最 佳 
人 选 。 初 始 化 时 ， 该 过 程 创 建 一 个 虚拟 的 应 聘 者 ， 编 号 为 0， 他 比 其 他 所 有 应 聘 者 都 差 。 

HIRE-ASSISTANT (n) 

l best = 0 // candidate 0 is a least-qualified dummy candidate 

2 fori = lton 





3 interview candidate i 
4 if candidate i is better than candidate best 
5 best = i 
6 


hire candidate i 


这 个 问题 的 费用 模型 与 第 2 章 中 描述 的 模型 不 同 。 我 们 关注 的 不 是 HIRE-ASSISTANT 的 执 
行 时 间 ， 而 是 面试 和 雇用 所 产生 的 费用 。 表 面 上 看 起 来 ， 分 析 这 个 算法 的 费用 与 分 析 归 并 排序 等 
的 运行 时 间 有 很 大 不 同 。 然 而 ， 我 们 在 分 析 费 用 或 者 分 析 运 行 时 间 时 ， 所 采用 的 分 析 技 术 却 是 相 
同 的 。 在 任何 情形 中 ， 我们 都 是 在 计算 特定 基本 操作 的 执行 次 数 。 

面试 的 费用 较 低 ， 比 如 为 c;:， 然 而 雇用 的 费用 较 高 ， 设 为 o,。 假 设 m 是 雇用 的 人 数 ， 那 么 该 
算法 的 总 费用 就 是 OCcin 十 cwm)。 不 管 雇用 多 少 人 ， 我们 总 会 面试 个 应 聘 者 ， 于 是 面试 产生 的 
费用 总 是 cn。 因此， 我 们 只 关注 于 分 析 cx ， 即 雇用 的 费用 。 这 个 量 在 该 算法 的 每 次 执行 中 都 
不 同 。 

这 个 场景 用 来 作为 一 般 计算 范 式 的 模型 。 我 们 通常 通过 检查 序列 中 的 每 个 成 员 ， 并 且 维 护 
一 个 当前 的 “获胜 者 ”， 来 找 出 序列 中 的 最 大 值 或 最 小 值 。 这 个 雇用 问题 对 当前 获胜 成 员 的 更 新 频 
率 建立 模型 。 

最 坏 情 形 分 析 

在 最 坏 情况 下 ,我 们 实际 上 雇用 了 每 个 面试 的 应 聘 者 。 当 应 聘 者 质量 按 出 现 的 次 序 严格 递 
增 时 ， 这 种 情况 就 会 出 现 ， 此 时 雇用 了 ?次 ， 总 的 费用 是 On), 

当然 ， 应 聘 者 并 非 总 以 质量 递增 的 次 序 出 现 。 事 实 上 ， 我 们 既 不 知道 他 们 出 现 的 次 序 ， 也 不 
能 控制 这 个 次 序 。 因 此 ， 很 自然 地 会 问 在 一 种 典型 或 者 平均 的 情形 下 ， 会 有 什么 发 生 。 
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概率 分 析 
概率 分 析 是 在 问题 分 析 中 应 用 概率 的 理念 。 大 多 数 情 况 下 ， 我 们 采用 概率 分 析 来 分 析 一 个 


[0 引 算法 的 运行 时 间 ， 有 时 也 用 它 来 分 析 其 他 的 量 ,， 例 如， 过 程 HIRE-ASSISTANT 中 的 雇用 费用 。 


为 了 进行 概率 分 析 ， 我 们 必须 使 用 或 者 假设 关于 输入 的 分 布 。 然 后 分 析 该 算法 ， 计 算出 一 个 平均 
情形 下 的 运行 时 间 ， 其 中 我 们 对 所 有 可 能 的 输入 分 布 取 平均 值 。 因 此 ， 实 际 上 ， 我 们 对 所 有 可 能 
输入 产生 的 运行 时 间 取 平均 。 当 报告 此 种 类 型 的 运行 时 间 时 ， 我 们 称 其 为 平均 情况 运行 时 间 。 

我 们 在 确定 输入 分 布 时 必须 非常 小 心 。 对 于 某 些 问 题 ， 我 们 可 以 对 所 有 可 能 的 输入 集合 做 
某 种 假定 ， 然 后 采用 概率 分 析 来 设计 一 个 高 效 算 法 ， 并 加 深 对 问题 的 认识 。 对 于 其 他 一 些 问题 ， 
我 们 不 能 描述 一 个 合理 的 输入 分 布 ， 此 时 就 不 能 采用 概率 分 析 。 

在 雇用 问题 中 ， 我 们 可 以 假设 应 聘 者 以 随机 顺序 出 现 。 这 一 假设 意味 着 什么 ? 假定 可 以 对 任 
何 两 个 应 聘 者 进行 比较 ， 并 决定 哪 一 个 更 有 资格 ; 也 就 是 说 ， 所 有 应 聘 者 存在 一 个 全 序 关系 (全 
序 的 定义 可 参见 附录 B)。 因 此 ， 可 以 使 用 从 1 到 nn 的 唯一 号 码 对 应 聘 者 排列 名 次 ， 用 rank Gi) 
示 应 聘 者 i 的 名 次 ， 并 照常 约定 一 个 较 高 名 次 对 应 一 个 更 好 的 应 聘 者 。 有 序 序列 (rank (1)， 
rank(2)，…，rank(n)) 是 序列 (1，2，…，n) 的 一 个 排列 。 称 应 聘 者 以 随机 顺序 出 现 ， 等 价 于 称 
这 个 排名 列表 是 数字 1 到 的 n! 种 排列 表 中 的 任 一 个 。 或 者 ， 我 们 也 称 这 些 排 名 构成 一 个 均匀 
随机 排列 ， 也 就 是 说 ， 在 n! 种 可 能 的 排列 中 ， 每 一 种 以 等 概率 出 现 。 

5. 2 节 包 含 这 个 雇用 问题 的 一 个 概率 分 析 。 

随机 算法 

为 了 利用 概率 分 析 ， 我 们 需要 了 解 关 于 输入 分 布 的 一 些 信 息 。 在 许多 情况 下 ， 我 们 对 输入 分 
布 了 解 很 少 。 即 使 知道 输入 分 布 的 某 些 信息 ， 也 可 能 无 法 从 计算 上 对 该 分 布 知识 建立 模型 。 然 
而 ， 我 们 通过 使 一 个 算法 中 某 部 分 的 行为 随机 化 ， 常 可 以 利用 概率 和 随机 性 作为 算法 设计 和 分 
析 的 工具 。 

在 雇用 问题 中 ， 看 起 来 应 聘 者 好 像 以 随机 顺序 出 现 ， 但 我 们 无 法 知道 是 否 的 确 如 此 。 因 此 ， 
为 了 设计 雇用 问题 的 一 个 随机 算法 ， 我 们 必须 对 面试 应 聘 者 的 次 序 有 更 大 的 控制 。 所 以 ， 稍 稍 改 
变 这 个 模型 。 假 设 雇用 代理 有 ?个 应 聘 者 ， 而 且 他 们 事先 给 我 们 一 份 应 聘 者 名 单 。 每 天 随机 选择 
某 个 应 聘 者 来 面试 。 尽 管 除了 应 聘 者 的 名 字 外 对 其 他 信息 一 无 所 知 ， 但 我 们 已 经 做 了 一 个 显著 
的 改变 。 不 是 像 以 前 依赖 于 猜测 应 聘 者 以 随机 次 序 出 现 ， 取 而 代 之 ， 我 们 获得 了 对 流程 的 控制 并 
且 加 强 了 随机 次 序 。 

更 一 般 地 ， 如 果 一 个 算法 的 行为 不 仅 由 输入 决定 ， 而 且 也 由 随机 数 生成 器 (random-number 
generator) 产 生 的 数值 决定 ， 则 称 这 个 算法 是 随机 的 (randomized) 。 我 们 将 假设 有 一 个 可 以 自由 
使 用 的 随机 数 生成 器 RANDOM。 调用 RANDOM(a，b) 将 返回 一 个 介 于 a Mlb 之 间 的 整数 ， 并 
且 每 个 整数 以 等 概率 出 现 。 例 如 ，RANDOM(0，1) 产 生 0 的 概率 是 1/2， 产 生 1 的 概率 也 是 1/2。 
调用 RANDOM(3，7) 将 返回 3、4、5、6 或 7， 每 个 出 现 的 概率 都 是 1/5。 每 次 RANDOM 返回 
的 整数 独立 于 前 面 调 用 的 返回 值 。 可 以 将 RANDOM 想象 成 掷 一 个 (8 一 a 十 1) 面 的 规 子 ， 获 得 出 
现 的 点 数 。( 在 实践 中 ， 大 多 数 编程 环境 会 提供 一 个 伪 随 机 数 生成 器 ， 它 是 一 个 确定 性 算法 ， 返 
回 值 在 统计 上 看 起 来 是 随机 的 。) 

当 分 析 一 个 随机 算法 的 运行 时 间 时 ， 我 们 以 运行 时 间 的 期 望 值 衡量 ， 其 中 输入 值 由 随机 数 
生成 器 产生 。 我 们 将 一 个 随机 算法 的 运行 时 间 称 为 期 望 运行 时 间 ， 以 此 来 区 分 这 类 算法 和 那些 
输入 是 随机 的 算法 。 一 般 而 言 ， 当 概率 分 布 是 在 算法 的 输入 上 时 ， 我 们 讨论 的 是 平均 情况 运行 时 
间 ; 当 算 法 本 身 做 出 随机 选择 时 ， 我 们 讨论 其 期 望 运行 时 间 。 


练习 
5.1-1 WH: 假设 在 过 程 HIRE-ASSISTANT 的 第 4 行 中 , 我们 总 能 决定 哪 一 个 应 聘 者 最 佳 ， 
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则 意味 着 我 们 知道 应 聘 者 排名 的 全 部 次 序 。 

*5. 1-2 ”请 描述 RANDOM(a， 包 过 程 的 一 种 实现 ， 它 只 调用 RANDOM(O, 1. HH a Alb 的 函 
数 ， 你 的 过 程 的 期 望 运行 时 间 是 多 少 ? 

*5. 1-3 ”假设 你 希望 以 1/2 的 概率 输出 0 与 1。 你 可 以 自由 使 用 一 个 输出 0 或 1 的 过 程 BIASED- 
RANDOM, 它 以 某 概率 p 输 出 1， 概 率 1 一 p HO, HH O<p<l, 但 是 p 的 值 未 知 。 
请 给 出 一 个 利用 BIASED-RANDOM 作为 子 程序 的 算法 ， 返 回 一 个 无 偏 的 结果 ， 能 以 概 
率 1/2 返 回 0， 以 概率 1/2 返回 1。 作 为 p 的 函数 ， 你 的 算法 的 期 望 运行 时 间 是 多 少 ? 


5.2 指示 器 随机 变量 


为 了 分 析 雇 用 问题 在 内 的 许多 算法 ， 我 们 采用 指示 器 随机 变量 (indicator random variable) 。 
它 为 概率 与 期 望 之 间 的 转换 提供 了 一 个 便利 的 方法 。 给 定 一 个 样本 空间 S 和 一 个 事件 A， 那 么 事 
件 A 对 应 的 指示 器 随机 变量 I{A} 定 义 为 : 

bata? ee 

0 如 果 A 不 发 生 

举 一 个 简单 的 例子 ， 我 们 来 确定 抛掷 一 枚 标准 硬币 时 正面 朝 上 的 期 望 次 数 。 样 本 空间 为 S= 
{H, T}, 其 中 Pr(H}=PriT}=1/2. HP RENL—ME ABLE Xu ， 对 应 于 硬币 正面 朝 
上 的 事件 及 。 这 个 变量 计数 抛 硬币 时 正面 朝 上 的 次 数 ， 如 果 正 面 朝 上 则 值 为 1， 否 则 为 0。 我 们 
记 成 : 


(5.1) 


1 如 果 五 发 生 
0 如 果 了 发 生 
在 一 次 抛掷 硬币 时 ， 正 面 朝 上 的 期 望 次 数 就 是 指示 器 变量 Xn 的 期 望 值 : 
ELXy] = EL[I{H}] = 1+ Pr{H} +0 Pr{T} 
= 1+ (1/2)+0+ (1/2) = 1/2 

因此 抛掷 一 枚 标准 硬币 时 ， 正 面 朝 上 的 期 望 次 数 是 1/2。 如 下 面 引 理 所 示 ， 一 个 事件 A 对 应 的 指 
示 器 随机 变量 的 期 望 值 等 于 事件 A 发 生 的 概率 。 

引 理 5. 1 给 定 一 个 样本 空间 S 和 S 中 的 一 个 事件 A， 设 X SHA, RA ELX, ]=PrA}. 

证 明 由 等 式 (5. 1) 指 示 器 随机 变量 的 定义 ， 以 及 期 望 值 的 定义 ， 我 们 有 

EL[Xa] = E[I{A}] = 1+ Pr{A} +0 + Pr{A} = Pr{A} 

其 中 到 表示 S 一 A， 即 A 的 补 。 m 

虽然 指示 器 随机 变量 看 起 来 很 麻烦 ， 比 如 在 计算 单 枚 硬币 一 次 投掷 的 正面 次 数 期 望 时 ， 但 
是 它 在 分 析 重 复 随机 试验 时 是 有 用 的 。 例 如 ， 指 示 器 随机 变量 为 我 们 求 等 式 (C. 37) 的 结果 提供 
了 一 个 简单 方法 。 在 这 个 等 式 中 ， 我 们 分 别 考虑 出 现 0 个 、1 个 、2 个 … 正 面 朝 上 的 概率 ， 以 计 
算 抛 nn 次 硬币 时 正面 朝 上 的 次 数 。 等 式 (C. 38) 中 给 出 了 简单 方法 ， 隐 含 使 用 了 指示 器 随机 变量 。 
为 使 讨论 更 清楚 ， 我 们 设 指示 器 随机 变量 X; 对 应 第 i 次 抛 硬币 时 正面 朝 上 的 事件 ，X,==I{ 第 i 次 
抛掷 时 出 现 事 件 H). BERLE X 表示 次 抛 硬币 中 出 现 正面 的 总 次 数 ， 于 是 


x= 31x, 
我 们 希望 计算 正面 朝 上 次 数 的 期 望 ， 所 以 对 上 面 等 式 两 边 取 期 望 ， 得 到 
ELX] = FL x] 
上 面 等 式 给 出 了 ”个 指示 器 随机 变量 总 和 的 期 望 值 。 由 引 理 5. 1， 我 们 容易 计算 出 每 个 随机 变量 


的 期 望 值 。 根 据 反 映 期 望 线 性 性 质 的 等 式 (C. 21) ， 容 易 计 算出 总 和 的 期 望 值 : 它 等 于 个 随机 
变量 期 望 值 的 总 和 。 期 望 的 线性 性 质 利 用 指示 器 随机 变量 作为 一 种 强大 的 分 析 技 术 ; 当 随 机 变量 


Xu =H) = | 
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之 间 存 在 依赖 关系 时 也 成 立 。 现 在 我 们 可 以 轻松 地 计算 正面 出 现 次 数 的 期 望 ; 
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E[X] = [5x] = DEX] = 971/2 = n/2 

因此 ， 和 等 式 (C. 37) 中 用 到 的 方法 相 比 ， 指 示 器 随机 变量 极 大 地 简化 了 计算 过 程 。 我 们 将 在 本 
书 中 一 直 采 用 指示 器 随机 变量 。 

用 指示 器 随机 变量 分 析 雇 用 问题 

返回 到 雇用 问题 上 来 。 我 们 希望 计算 雇用 一 个 新 的 办 公 助 理 的 期 望 次 数 。 为 了 利用 概率 分 
析 ， 假 设 应 聘 者 以 随机 顺序 出 现 ， 如 前 一 节 所 述 。( 我 们 将 看 到 在 5. 3 节 如 何 去 除 这 个 假设 。.) 设 
X 是 一 个 随机 变量 ， 其 值 等 于 我 们 雇用 一 个 新 办 公 助 理 的 次 数 。 然 后 ， 应 用 等 式 (C. 20) 中 期 望 
值 的 定义 ， 得 到 


ELX] = SizPrix = 2} 


但 是 这 种 计算 会 很 麻烦 。 取 而 代 之 ， 我 们 将 采用 指示 器 随机 变量 来 大 大 简化 计算 。 

为 了 利用 指示 器 随机 变量 ， 我 们 不 是 通过 定义 与 雇用 一 个 新 办 公 助 理 所 需 次 数 对 应 的 一 个 
变量 来 计算 ELX]， 而 是 定义 ” 个 变量 ， 与 每 个 应 聘 者 是 否 被 雇用 对 应 。 特 别 地 ， 假 设 X, 对 应 于 
第 ;个 应 聘 者 被 雇用 该 事件 的 指示 器 随机 变量 。 因 而 ， 

8 1 如 果 应 聘 者 i 被 座 用 
X 二 I 应 聘 者 i 被 诬 用 } 一 | 。 ie hs 
以 及 
X= X,+X,++-4+X, (5. 2) 
根据 引 理 5. 1， 我 们 有 
ELX,] = Pri DRA i RBA} 
因此 必须 计算 HIRE-ASSISTANT 中 第 5~6 行 被 执行 的 概率 。 

在 第 6 行 中 ,应 聘 者 i 被 和 雇用， 正好 应 聘 者 i 比 从 1 到 i 一 1 的 每 一 个 应 聘 者 优秀 。 因 为 我 们 
已 经 假设 应 聘 者 以 随机 顺序 出 现 ， 所 以 前 i 个 应 聘 者 也 以 随机 次 序 出 现 。 这 些 前 i 个 应 聘 者 中 的 
任意 一 个 都 等 可 能 地 是 目前 最 有 资格 的 。 应 聘 者 i 比 应 聘 者 1 到 i 一 1 更 有 资格 的 概率 是 1/i， 因 
而 也 以 1/i 的 概率 被 雇用 。 由 引 理 5. 1， 可 得 

ELX;) = 1/i (5. 3) 
现在 可 以 计算 ELX]: 


ELX] = E| Xx] (根据 等 式 (5. 2)) (5.4) 
= Ñ EX] (根据 期 望 的 线性 性 质 ) 


= SI (根据 等 式 (5. 3)) 


二 Inn 十 O(1) (根据 等 式 (A.7)) (5. 5) 
尽管 我 们 面试 了 nn 个 人 ,但 平均 起 来 ,实际 上 大 约 只 雇用 他 们 之 中 的 Inn 个人。 我 们 用 下 面 的 引 
理 来 总 结 这 个 结果 。 

引 理 5.2 假设 应 聘 者 以 随机 次 序 出 现 ， 算 法 HIRE-ASSISTANT 总 的 雇用 费用 平均 情形 下 
A Olc, Inn). 

证 明 根据 雇用 费用 的 定义 和 等 式 (5. 5)， 可 以 立即 推出 这 个 界 ， 说 明 雇 用 的 人 数 期 望 值 大 
约 是 lgn。 E 

平均 情形 下 的 雇用 费用 比 最 坏 情况 下 的 雇用 费用 OCcwn) 有 了 很 大 的 改进 。 
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5.2-1 在 HIRE-ASSISTANT 中 ,假设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 一 次 的 概率 是 多 少 ? 
正好 雇用 nn 次 的 概率 是 多 少 ? 

5.2-2 在 HIRE-ASSISTANT 中 ,假设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 两 次 的 概率 是 多 少 ? 

5.2-3 ”利用 指示 器 随机 变量 来 计算 掷 个 角子 之 和 的 期 望 值 。 

5.2-4 ”利用 指示 器 随机 变量 来 解 如 下 的 帽子 核对 间 题 (hat-heck problem): ?位 顾客 ， 他 们 每 个 
人 给 餐厅 核对 帽子 的 服务 生 一 顶 帽子 。 服 务 生 以 随机 顺序 将 帽子 归还 给 顾客 。 请 问 拿 到 
自己 帽子 的 客户 的 期 望 数 是 多 少 ? 

5.2-5 设 4[1.. 妆 是 由 个 不 同 数 构成 的 数列 。 如 果 i<j HASAD], WRG, PAA AW 
一 个 逆序 对 (inversion) 。( 参 看 思考 题 2-4 中 更 多 关于 逆序 对 的 例子 。) 假 设 A 的 元 素 构成 
(1，2，…，?)? 上 的 一 个 均匀 随机 排列 。 请 用 指示 器 随机 变量 来 计算 其 中 逆序 对 的 数目 
期 望 。 


5.3 随机 算法 


在 前 面 一 节 中 ， 我 们 已 说 明了 输入 的 分 布 是 如 何 有 助 于 分 析 一 个 算法 的 平均 情况 行为 。 许 
多 时 候 ， 我 们 无 法 得 知 输入 分 布 的 信息 ， 因 而 阻碍 了 平均 情况 分 析 。 如 5. 1 节 中 所 提 及 ， 我 们 也 
许可 以 采用 一 个 随机 算法 。 

对 于 诸如 雇用 问题 之 类 的 问题 ， 其 中 假设 输入 的 所 有 排列 等 可 能 出 现 往往 有 益 ， 通 过 概率 
分 析 可 以 指导 设计 一 个 随机 算法 。 我 们 不 是 假设 输入 的 一 个 分 布 ， 而 是 设 定 一 个 分 布 。 特 别 地 ， 
在 算法 运行 前 ， 先 随机 地 排列 应 聘 者 ， 以 加 强 所 有 排列 都 是 等 可 能 出 现 的 性 质 。 尽 管 已 经 修改 了 
这 个 算法 ， 我 们 仍 希 望 雇用 一 个 新 的 办 公 助 理 大 约 需 要 lnz 次 期 望 值 。 但 是 现在 我 们 期 望 对 于 所 
有 的 输入 它 都 是 这 种 情况 ， 而 不 是 对 于 一 个 具有 特别 分 布 的 输入 。 

我 们 来 进一步 探索 概率 分 析 和 随机 算法 之 间 的 区 别 。 在 5. 2 节 中 ,我们 断言 ,如果 应 聘 者 以 
随机 顺序 出 现 ， 则 聘用 一 个 新 办 公 助 理 的 期 望 次 数 大 约 是 Inn。 注 意 ， 这 个 算法 是 确定 性 的 ; 对 
于 任何 特定 输入 ， 雇 用 一 个 新 办 公 助 理 的 次 数 始终 相同 。 此 外 ， 我 们 雇用 一 个 新 办 公 助 理 的 次 数 
将 因 输 入 的 不 同 而 不 同 ， 而 且 依赖 于 各 个 应 聘 者 的 排名 。 既 然 次 数 仅 依赖 于 应 聘 者 的 排名 ， 我 们 
可 以 使 用 应 聘 者 的 有 序 排名 列表 来 代表 一 个 特定 的 输入 ， 例 如 《rank(1)，rank(2)，…，rank(n))。 给 
定 排名 列表 A=, 2, 3, 4, 5, 6, 7, 8, 9, 10), 一 个 新 的 办 公 助 理会 雇用 10 次 ， 因为 每 
一 个 后 来 应 聘 者 都 优 于 前 一 个 ， 在 算法 的 每 次 迭代 中 ,第 5 一 6 行 都 要 被 执行 。 给 定 排名 列表 
A,=(10, 9, 8, 7, 6, 5, 4, 3, 2, 1), 一 个 新 的 办 公 助 理 只 雇用 一 次 ， 在 第 一 次 迭代 中 。 给 
定 排名 序列 A =(5, 2, 1, 8, 4, 7, 10, 9, 3, 6), 一 个 新 的 办 公 助 理会 雇用 三 次 ， 即 面试 排 
名 为 5、8 和 10 的 3 位 应 聘 者 。 回 顾 一 下 ， 算 法 的 费用 依赖 于 雇用 一 个 新 办 公 助 理 的 次 数 。 我 们 
可 以 看 到 ， 有 昂贵 的 输入 (如 A,) 、 不 贵 的 输入 (如 A:)， 以 及 适中 贵 的 输入 (如 As). 

另外 ， 考 虑 先 对 应 聘 者 进行 排列 ， 然 后 确定 最 佳 应 聘 者 的 随机 算法 。 此 时 ， 我 们 让 随机 发 生 
在 算法 上 ， 而 不 是 在 输入 分 布 上 。 给 定 一 个 输入 ， 如 上 面 的 A: ， 我 们 无 法 说 出 最 大 值 会 被 更 新 
多 少 次 ， 因 为 此 变量 在 每 次 运行 该 算法 时 都 不 同 。 第 一 次 在 A; 上 运行 这 个 算法 时 ， 可 能 会 产生 
排列 A, 并 执行 10 次 更 新 ; 但 第 二 次 运行 算法 时 ， 可 能 会 产生 排列 A, 并 只 执行 1 次 更 新 。 第 三 
次 执行 时 ， 可 能 会 产生 其 他 次 数 的 更 新 。 每 次 运行 这 个 算法 时 ， 执 行 依赖 于 随机 选择 ， 而 且 很 可 
能 和 前 一 次 算法 的 执行 不 同 。 对 于 该 算法 及 许多 其 他 的 随机 算法 ， 没 有 特别 的 输入 会 引出 它 的 
最 坏 情况 行为 。 即 使 你 最 坏 的 敌人 也 无 法 产生 最 坏 的 输入 数组 ， 因 为 随机 排列 使 得 输入 次 序 不 
再 相关 。 只 有 在 随机 数 生成 器 产生 一 个 “不 走运 ?的 排列 时 ， 随 机 算法 才 会 运行 得 很 差 。 
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对 于 雇用 问题 ， 代 码 中 唯一 需要 改变 的 是 随机 地 变换 应 聘 者 序列 。 


RANDOMIZED-HIRE-ASSISTANT(z) 
1 randomly permute the list of candidates 


2 best =0 // candidate 0 is a least-qualified dummy candidate 
3 fori = 1ton 
4 interview candidate i 


5 if candidate i is better than candidate best 
6 best = i 
7 hire candidate i 
通过 这 个 简单 改变 ， 我 们 已 经 建立 了 一 个 随机 算法 ， 其 性 能 和 假设 应 聘 者 以 随机 次 序 出 现 所 得 
结果 是 匹配 的 。 
引 理 5.3 过程 RANDOMIZED-HIRE-ASSISTANT 的 座 用 费用 期 望 是 Olc1nn)。 
证 明 对 输入 数组 进行 变换 后 ， 我 们 已 经 达到 了 和 HIRE-ASSISTANT 概率 分 析 时 相同 的 
情况 。 a 
比较 引 理 5. 2 和 引 理 5. 3 突出 了 概率 分 析 和 随机 算法 的 差别 。 在 引 理 5. 2 中 ， 我 们 在 输入 上 
做 了 一 个 假设 。 在 引 理 5. 3 中 ， 我 们 没有 做 这 种 假设 ， 尽 管 随机 化 输入 会 花费 一 些 额 外 时 间 。 为 
了 保持 术语 的 一 致 性 ， 我 们 用 平均 情形 下 的 雇用 费用 来 表达 引 理 5. 2， 而 用 期 望 雇用 费用 来 表达 
引 理 5. 3。 在 本 节余 下 部 分 里 ， 我 们 讨论 关于 随机 排列 输入 的 一 些 议题 。 
随机 排列 数组 
很 多 随机 算法 通过 对 给 定 的 输入 变换 排列 以 使 输入 随机 化 。( 还 有 其 他 使 用 随机 化 的 方法 。) 
这 里 ， 我 们 将 讨论 两 种 随机 化 方法 。 不 失 一 般 性 ， 假 设 给 定 一 个 数组 A， 包 含 元 素 1 到 n。 我 们 
的 目标 是 构造 这 个 数组 的 一 个 随机 排列 。 
一 个 通常 的 方法 是 为 数组 的 每 个 元 素 A[ 赋 一 个 随机 的 优先 级 PLi]， 然 后 依据 优先 级 对 数 
组 A 中 的 元 素 进行 排序 。 例 如 ， 如 果 初 始 数 组 A 二 (1，2，3，4);， 随 机 选择 的 优先 级 P= (36， 
3，62，19)， 则 将 产生 一 个 数组 B=(2, 4, 1, 3), KAR 2 个 优先 级 最 小 ， 接 下 来 是 第 4 个 ， 
然后 第 1 个 ， 最 后 第 3 个 。 我 们 称 这 个 过 程 为 PERMUTE-BY-SORTING: 
PERMUTE-BY-SORTING(A) 
l n= A. length 
let P[1. .n] be a new array 
for: = l ton 
PLi] = RANDOM(1, n°) 
sort A, using P as sort keys 


第 4 行 选取 一 个 在 1 一 产 之 间 的 随机 数 。 我 们 使 用 范围 1~n? 是 为 了 让 P 中 所 有 优先 级 尽 可 能 唯 
一 。( 练 习 5. 3-5 要 求 读者 证 明 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n， 练习 5. 3-6 问 如 何在 两 个 
或 更 多 优先 级 相同 的 情况 下 ， 实 现 这 个 算法 。) 我 们 假设 所 有 的 优先 级 都 唯一 。 

这 个 过 程 中 耗 时 的 步骤 是 第 5 行 的 排序 。 正 如 我 们 将 在 第 8 章 看 到 的 那样 ， 如 果 使 用 比较 排 
序 ， 排 序 将 花费 QCnlgn) 时 间 。 我 们 可 以 达到 这 个 下 界 ， 因 为 我 们 已 经 看 到 归并 排序 时 间 代 价 为 
@(nlgn)。( 我 们 将 在 第 二 部 分 看 到 ， 其 他 的 比较 排序 花费 时 间 代 价 为 8(nlgn)。 练 习 8. 3-4 BOR 
读者 解决 一 个 非常 类 似 的 问题 ， 在 O(n) 时间 内 对 O~ ne? — 1 范围 之 内 的 整数 排序 。) 排 序 以 后 ， 如 
R P[ij 是 第 j 个 最 小 的 优先 级 ， 那 么 A[ 引 将 出 现在 输出 位 置 ; 上 。 用 这 种 方式 ， 我们 得 到 了 一 
个 排列 。 还 需要 证 明 这 个 过 程 能 产生 一 个 均匀 随机 排列 ， 即 该 过 程 等 可 能 地 产生 数字 on 
一 种 排列 。 

引 理 5.4 假设 所 有 优先 级 都 不 同 ， 则 过 程 PERMUTE-BY-SORTING 产生 输入 的 均匀 随机 
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排列 。 

证 明 ”我 们 从 考虑 每 个 元 素 A[ 门 分 配 到 第 i 个 最 小 优先 级 的 特殊 排列 开始 ， 并 说 明 这 个 排列 
正好 发 生 的 概率 是 1/n!。 对 i 二 1，2，…，n， 设 E 代表 元 素 A[ 冲 分配 到 第 i 个 最 小 优先 级 的 事 
件 。 然 后 我 们 想 计算 对 所 有 的 i, SEE E: 发 生 的 概率 ， 即 

PrE: N ENE fl NE N E,} 

运用 练习 C. 2-5 ， 这 个 概率 等 于 

Pr{E,} ° Pr{E, | E,} e Pr{E; | E, N E? . Pr{E, | E; NENE)? 

Pr{E; |E N E- N e N Ev} Prt E, [Em N= NE} 
AA Prt Ey EMAA n OR SE BL EHR AY PE FE EB, MAA Pr{E,}=1/n. BEF 
来 ， 我 们 观察 到 Pr{E, | E,} 二 1/(n 一 1)， 因 为 假定 元 素 AL1J 有 最 小 的 优先 级 ， 余 下 来 的 ”一 1 个 
元 素 都 有 相等 的 可 能 成 为 第 二 小 的 优先 级 别 。 一 般 地 ， 对 i 二 2，3，…，n, RITE PE |E N 
Ez 门 … 门 i) 二 1/(n 一 i 十 1)。 因 为 给 定 元 素 AL1j 到 A[Li 一 1]( 按 顺序 ) 有 前 i 一 1 小 的 优先 级 ， 剩 
下 的 n 一 (i 一 1) 个 元 素 中 ， 每 一 个 都 等 可 能 具有 第 i 小 优先 级 。 所 以 有 
be a 1 1 LN = 
PHE VE NE: Ne 1 Bes NEY = (=) (525) -($)(4) = 

并 且 我 们 已 说 明 ， 获 得 等 同 排列 的 概率 是 1/n!。 

我 们 可 以 扩展 这 个 证 明 ， 使 其 对 任何 优先 级 的 排列 都 有 效 。 考 虑 集合 {1，2，…，n} 的 任意 
一 个 确定 排列 oc 二 (oc(1)，o(2)，…，oln))。 我 们 用 r 表示 赋予 元 素 A[i] 优 先 级 的 排名 ， 其 中 优 
先 级 第 j 小 的 元 素 名 次 为 。 如 果 定 义 E: ATK A[ 门 分 配 到 优先 级 第 c(i) 小 的 事件 ， 或 者 r= 
oli)， 则 同样 的 证 明 仍 适用 。 因 此 ， 如 果 要 计算 得 到 任何 特定 排列 的 概率 ， 该 计算 与 前 面 的 计算 
完全 相同 ， 于 是 得 到 此 排列 的 概率 也 是 1/n!。 m 

你 可 能 会 这 样 想 ， 要 证 明 一 个 排列 是 均匀 随机 排列 ， 只 要 证 明 对 于 每 个 元 素 ALi], CHEE 
位 置 j 的 概率 是 1/n。 练 习 5. 3-4 证 明 这 个 弱 条 件 实际 上 并 不 充分 。 

产生 随机 排列 的 一 个 更 好 方法 是 原址 排列 给 定数 组 。 过 程 RANDOMIZE-IN-PLACE 在 O(n) 
时 间 内 完成 。 在 进行 第 ;次 迭代 时 ， 元 素 ALi 是 从 元 素 AGJA AL 中 随机 选取 的 。 第 站 次 迭代 
以 后 ，A[Li] 不 再 改变 。 

RANDOMIZE-IN-PLACE(A) 

1 n= A. length 

2 fori = lton 

3 swap A[i] with AERANDOM(G, n)] 


我 们 将 使 用 循环 不 变 式 来 证 明 过 程 RANDOMIZE-IN-PLACE 能 产生 一 个 均匀 随机 排列 。 一 
个 具有 n NORA k 排列 (k-permutation) 是 包含 这 个 元 素 中 的 k 个 元 素 的 序列 ， 并 且 不 重复 ( 参 
见 附录 C) 。 一 共有 n! /(n—k)! 种 可 能 的 有 排列 。 

引 理 5.5 过 程 RANDOMIZE-IN-PLACE 可 计算 出 一 个 均匀 随机 排列 。 

证 明 我 们 使 用 下 面 的 循环 不 变 式 : 

在 第 2~3 4 for 循环 的 第 i 次 迭代 以 前 ， 对 每 个 可 能 的 (i 一 1) 排 列 ， 子 数组 A[1.. i 一 1] 

包含 这 个 (i 一 1) 排 列 的 概率 是 (n 一 i 十 1)! /zl 。 
我 们 需要 说 明 这 个 不 变 式 在 第 1 次 循环 迭代 以 前 为 真 ， 循 环 的 每 次 迭代 能 够 维持 此 不 变 式 ， 并 且 
当 循 环 终 止 时 ， 这 个 不 变 式 提 供 一 个 有 用 的 性 质 来 说 明正 确 性 。 

初始 化 : 考虑 正好 在 第 1 次 循环 迭代 以 前 的 情况 ， 此 时 ;一 1。 由 循环 不 变 式 可 知 ， 对 每 个 可 
能 的 0 排列 ， 子 数组 AL1.. 0] 包含 这 个 0 排列 的 概率 是 (> 一 zi 十 1)1 /al =n! /n! =1. FRA 
ALl. . 0] 是 一 个 空 的 子 数组 ， 并 且 0 排列 也 没有 元 素 。 因 而 ，A[1.. 0] 包 含 任何 0 排列 的 概率 是 
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1， 在 第 1 次 循环 迭代 以 前 循环 不 变 式 成 立 。 

保持 : 我 们 假设 在 第 i 次 迭代 之 前 ， 每 种 可 能 的 (i 一 1) 排 列 出 现在 子 数组 AL1.. i 一 1] 中 的 概 
率 是 (n 一 i 十 1)! /n!， 我 们 要 说 明 在 第 i 次 迭代 以 后 ， 每 种 可 能 的 i 排列 出 现在 子 数 组 A[l.. 纪 
中 的 概率 是 (” 一 站 1! /n!。 下 一 次 迭代 i 累加 后 ， 还 将 保持 这 个 循环 不 变 式 。 

我 们 来 检查 第 i 次 迭代 。 考 虑 一 个 特殊 的 i 排列 ， 并 以 (xi ，zx。，…，Zi) 来 表示 其 中 的 元 素 。 
这 个 排列 中 包含 一 个 (i 一 1) 排 列 (xi， Zoo y Ba ARAA ALi] ECEE x;。 HE: 
表示 前 ;一 1 KAREAHA AL1..i- 1] PMT RAG- DHEN KR. MM ABH, 
Pr{E,}=(n—it1)! /nl. BE, RAN i WERE ALLA zx; 的 事件 。 当 E, AE, 恰好 都 
发 生 时 ,i 排列 (zi ，…，zi) 出 现在 ALL. ic], A, 我们 希望 计算 Pr{E, NEL}. AE 
(C. 14) ， 我 们 有 

Pr{E, N E} = Pr{E,| E,}Pr{E,} 
概率 Pr{E | Ei) 等 于 1/(n 一 i 十 1)， 因 为 在 算法 第 3 行 ， 从 A[i..nj 的 n 一 i 十 1 个 值 中 随机 选取 
Zi。 因 此 ， 我 们 有 
PHE, N E,) = P(EIE)P(E)} -ir = ail 


终止 : 终止 时 ， i 二 =n 十 1， 子 数组 A[1. .是 一 个 给 定 n 排列 的 概率 为 (n 一 (n 十 1]) 十 1)/n! = 
0! /n! =1/n!. 

KE, RANDOMIZE-IN-PLACE 产生 一 个 均匀 随机 排列 。 q 

一 个 随机 算法 通常 是 解决 一 个 问题 最 简单 、 最 有 效 的 方法 。 我 们 将 在 本 书 中 偶尔 用 到 随机 
算法 。 


练习 


5.3-1 Marceau 教授 不 同意 引 理 5. 5 证 明 中 使 用 的 循环 不 变 式 。 他 对 第 1 次 迭代 之 前 循环 不 变 式 
是 否 为 真 提出 质疑 。 他 的 理由 是 ， 我 们 可 以 很 容易 宣称 一 个 空 数组 不 包含 0 排列 。 因 此 ， 
一 个 空 的 子 数组 包含 一 个 0 排列 的 概率 应 是 0， 从 而 第 1 次 迭代 之 前 循环 不 变 式 无 效 。 请 
重 写 过 程 RANDOMIZE-IN-PLACE， 使 得 相关 循环 不 变 式 适 用 于 第 1 次 迭代 之 前 的 非 空 
子 数组 ， 并 为 你 的 过 程 修 改 引 理 5. 5 的 证 明 。 

5.3-2 Kelp 教授 决定 写 一 个 过 程 来 随机 产生 除 恒 等 排列 (identity permutation) 外 的 任意 排列 。 他 
提出 了 如 下 过 程 : 
PERMUTE-WITHOUT-IDENTITY(A) 
l n= A. length 
2 fori=1ton—1 
3 swap A[i] with A[RANDOM(i + 1, n)] 


这 段 代码 实现 了 Kelp 教授 的 意图 吗 ? 
5.3-3 假设 我 们 不 是 将 元 素 ALFA ALi. . nj 中 的 一 个 随机 元 素 交 换 ， 而 是 将 它 与 数组 任 
何 位 置 上 的 随机 元 素 交换 : 


PERMUTE-WITH-ALL(A) 
1 n =A. length 





2 fori=lton 

5 swap A[i] with ATRANDOM(1, n) ] 

这 段 代码 会 产生 一 个 均匀 随机 排列 吗 ? 为 什么 会 或 为 什么 不 会 ? 
5.3-4 Armstrong 教授 建议 用 下 面 的 过 程 来 产生 一 个 均匀 随机 排列 


第 5 章 概率 分 析 和 随机 算法 


PERMUTE-BY-CYCLIC(A) 
l n = A. length 

2 let B[1..n] be a new array 
3 offset = RANDOM(1, n) 
4 fori = lton 

5 dest = i + offset 

6 if dest > n 

7 dest = dest — n 
8 B[dest] = ALi] 

9 return B 


请 说 明 每 个 元 素 ALERE B 中 任何 特定 位 置 的 概率 是 1/”"。 然 后 通过 说 明 排列 结果 不 
是 均匀 随机 排列 ， 表 明 Armstrong 教授 错 了 。 

*5.3-5 ”证 明 : 在 过 程 PERMUTE-BY-SORTING 的 数组 已 中 ， 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n。 
5.3-6 请 解释 如 何 实现 算法 PERMUTE-BY-SORTING， 以 处 理 两 个 或 更 多 优先 级 相同 的 情形 。 
也 就 是 说 ， 即 使 有 两 个 或 更 多 优先 级 相同 ， 你 的 算法 也 应 该 产生 一 个 均匀 随机 排列 。 

5.3-7 ”假设 我 们 希望 创建 集合 {1，2，3，…，n} 的 一 个 随机 样本 ， 即 一 个 具有 m 个 元 素 的 集合 

S， 其 中 0<m<n, (84945 m 集合 能 够 等 可 能 地 创建 。 一 种 方法 是 对 i 二 1, 2, «+, on 
#XALi]=i, Jak RANDOMIZE-IN-PLACE(A)， 然 后 取 最 前 面 的 m 个 数组 元 素 。 这 种 方 
法 会 对 RANDOM HEWA nK. WR niem KRZ, 我们 能 够 创建 一 个 随机 样本 ， 只 
对 RANDOM 调用 更 少 的 次 数 。 请 说 明 下 面 的 递归 过 程 返 回 {1，2，3，…，n)}) 的 一 个 随 
机 闷 子 集 S， 其 中 每 个 关子 集 是 等 可 能 的 ， 然 而 只 对 RANDOM HA mK. 
RANDOM-SAMPLE(m, n) 
1 ifm==0 
2 return Ø 

3 else S = RANDOM-SAMPLE(m — 1, n — 1) 

4 i = RANDOM(1, n) 

5 fie S 

6 S=SU {n} 

7 else S = S U {i} 

8 return S 


5.4 概率 分 析 和 指示 器 随机 变量 的 进一步 使 用 


本 节 通 过 4 个 例子 进一步 阐释 概率 分 析 。 第 1 个 例子 确定 在 一 个 有 上 个 人 的 屋子 中 ， 某 两 个 
人 生日 相同 的 概率 。 第 2 个 例子 讨论 把 球 随机 投入 箱子 的 问题 。 第 3 个 例子 探究 抛 硬币 时 连续 出 
现 正 面 的 情况 。 最 后 一 个 例子 分 析 雇 用 问题 的 一 个 变形 ， 其 中 你 必须 在 没有 面试 所 有 的 应 聘 者 
时 做 出 决定 。 


5.4.1 生日 悖 论 


我 们 的 第 一 个 例子 是 生日 悖 论 。 一 个 屋子 里 人 数 必须 要 达到 多 少 人 ， 才 能 使 其 中 两 人 生日 
相同 的 机 会 达到 50%? 这 个 问题 的 答案 是 一 个 很 小 的 数值 ， 让 人 吃惊 。 下 面 我 们 将 看 到 ， 所 出 
现 的 悖 论 在 于 ， 这 个 数目 实际 上 远 小 于 一 年 中 的 天 数 ， 甚 至 不 足 一 年 天 数 的 一 半 。 

为 了 回答 这 个 问题 ， 我 们 用 整数 1，2，…, 上 对 屋子 里 的 人 编号 ， 其 中 是 屋子 里 的 总 人 
数 。 另 外 ， 我 们 不 考虑 头 年 的 情况 ， 并 且 假 设 所 有 年 份 都 有 zx 一 365 天 。 对 于 i 一 1，2，…，A， 
设 b; 表示 编号 为 i 的 人 的 生日 ， 其 中 1<6b: 二 n。 还 假设 生日 均匀 分 布 在 一 年 的 nw 天 中 ， 因 此 对 
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=1, 2, =, kR#lr=1, 2, =, n, Pr{b,=r}=1/n, 
两 个 人 i 和 j 的 生日 正好 相同 的 概率 依赖 于 生日 的 随机 选择 是 否 独立 。 从 现在 开始 ， 假 设 生 


日 是 独立 的 ， 于 是 i 和 j 的 生日 都 落 在 同一 日 + 上 的 概率 是 


Pr{b;: = r Hb; = r} = Pr{b, = r}Pr{b; = r} = 1/7 
这 样 ， 他 们 的 生日 落 在 同一 天 的 概率 是 


Pr{, =b} = SIPs, =r Bb, =r} = D/P) = 1/n (5. 6) 


更 直观 地 说 ,一 旦 选 定 5;，b; 被 选 在 同一 天 的 概率 是 1/n。 因此 ， i 和; 有 相同 生日 的 概率 与 他 们 
其 中 一 个 的 生日 落 在 给 定 一 天 的 概率 相同 。 然 而 需要 注意 ， 这 个 巧合 依赖 于 各 人 的 生日 是 独立 
的 这 个 假设 。 

我 们 可 以 通过 考察 一 个 事件 补 的 方法 ， 来 分 析 & 个 人 中 至 少 有 两 人 生日 相同 的 概率 。 至 少 有 
两 个 人 生日 相同 的 概率 等 于 1 减 去 所 有 人 生日 都 不 相同 的 概率 。& 个 人 生日 互 不 相同 的 事件 为 


=f) A; 
其 中 A, 是 指 对 所 有 ji <i, ij 生日 不 同 的 事件 。 既 然 可 以 写成 B =A NB HARC 16) 
可 得 递归 式 
Pr{B = Pr{B,,}Pr{A, | Bia} (5. 7) 

其 中 取 Pr(B)}=Pr(A,)=1 作为 初始 条 件 。 换 句 话说 ， 对 i=l, 2, +, kl, BEB bo oy 
b.-1 两 两 不 同 ， ABA bis bzs cers ba 两 两 不 同 的 概率 等 于 bis bry tts bi- BA DA AS E FY BE 8 FR LA 
i=l, 2, ++, k—1 Hf OAD, 的 概率 。 

WR bs bs s ba MMSE, XF i=l, 2, ++, kl, AD, 的 条 件 概率 是 Pr{A, | Bea} = 
(n 一 k 十 1)/n， 这 是 因为 n 天 中 有 nn 一 (& 一 1) 天 没 被 占用 。 我 们 反复 应 用 递归 式 (5.7) 得 到 

Pr(B,) = Pr{ B; i} Pr{A, |B 1 } 
= Pr{ B,2}Pr{Ai. | B; 2} Pr{A, |B, i} 


了 Pr{B,}Pr{Az | B, }Pr{A; | B: }++*Pr{ A, |Bm? 
es =l = —k+1 
ee S A a 


-1 (1-4)(1-2)=(1- 47) 


由 不 等 式 (3. 12)，1 十 x 三 e*， 我 们 得 出 


Pr{B,) L ee rg dn 一 ee is = eK Din < 1/2 

W —k(k—1)/2n<1n(1/2) Af WIZ. ki k(k—1)>2n lIn2, 或 者 ， 解 二 次 方程 ， 当 有 宇 (1 十 
V1I+(8 In2)n)/2 时 ， 所 有 个 生日 两 两 不 同 的 概率 至 多 是 1/2。 当 n= 二 365 时 ， 必 有 kt 之 23。 因 
而 ， 如 果 至 少 有 23 个 人 在 一 间 屋 子 里 ， 那 么 至 少 有 两 个 人 生日 相同 的 概率 至 少 是 1/2。 在 火星 
上 ， 一 年 有 669 个 火星 日 ， 所 以 达到 相同 效果 须 有 31 个 火星 人 。 

采用 指示 器 随机 变量 的 一 个 分 析 

我 们 可 以 利用 指示 器 随机 变量 给 出 生日 悖 论 的 一 个 简单 而 近似 的 分 析 。 对 屋子 里 个 人 中 的 
每 一 对 (i，7)， 对 1 全 i<j 三 &， 定 义 指示 器 随机 变量 X; 如 下 : 

a. _ (l 如 果 i 和 j 生日 相同 
X; = I(i 和 j 生日 相同 } = k a 

根据 等 式 (5. 6) ， 两 个 人 生日 相同 的 概率 是 1/nx， 因 此 据 引 理 5. 1， 我 们 有 
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ELX, ] = Pr{i 和 j 生日 相同 } = 1/n 
设 X 表 示 计 数 生 日 相同 两 人 对 数目 的 随机 变量 ， 我 们 有 


k= X 
两 边 取 期 望 ， 并 应 用 期 望 的 线性 性 质 ， 我 们 得 到 
k k k k k = 
ELX] = eX] = Spex (r= 


因此 ， 当 AGE 一 1) 达 22 时 ， 生 日 相同 的 两 人 对 的 期 望 数 至 少 是 1。 因 此 ， 若 屋子 里 至 少 有 VW2z 十 1 
个 人 ,我们 可 以 期 望 至 少 有 两 人 生日 相同 。 对 于 n= 365, 4 & 一 28， 生 日 相同 人 对 数目 的 期 望 值 
H (28 + 27)/(2 + 365) 1.0356, Ak, WREDA 28A, 我们 可 以 期 望 找 到 至 少 一 对 人 生日 
相同 。 在 火星 上 ， 一 年 有 669 个 火星 日 ， 我 们 至 少 需 要 38 个 火星 人 。 

第 一 种 分 析 仅 用 了 概率 ， 确 定 了 为 使 存在 至 少 一 对 人 生日 相同 概率 大 于 1/2 所 需 的 人 数 ; 第 
二 种 分 析 使 用 了 指示 器 随机 变量 ， 给 出 了 相同 生日 期 望 数 为 1 时 的 人 数 。 虽 然 两 种 情形 下 人 的 准 


确 数目 不 同 ， 但 它们 在 渐 近 阶 数 上 是 相等 的 ， 都 为 9CVz) 。 


5.4.2 球 与 箱子 


现在 我 们 来 考虑 这 样 一 个 过 程 ， 即 把 相同 的 球 随机 投 到 5 个 箱子 里 ,箱子 编号 为 1，2，…， 
b。 每 次 投球 都 是 独立 的 ， 每 一 次 投球 ， 球 等 可 能 落 在 每 一 个 箱子 中 。 球 落 在 任 一 个 箱子 中 的 概 
率 为 /56。 因 此 ， 投 球 的 过 程 是 一 组 伯 努 利 试验 (参见 附录 C. 4)， 每 次 成 功 的 概率 是 1/6， 其 中 
成 功 是 指 球 落 入 指定 的 箱子 中 。 这 个 模型 对 分 析 散 列 (参见 第 11 章 ) 特 别 有 用 ， 而 且 我 们 可 以 回 
答 关于 该 投球 过 程 的 各 种 有 趣 问题 。( 思 考题 C-1 提出 了 另外 一 些 关于 球 和 箱子 的 问题 。) 

有 多 少 球 落 在 给 定 的 箱子 里 ? 落 在 给 定 箱子 里 的 球 数 服从 二 项 分 布 CRs n, 1/6). MRA n 
个 球 ， 公 式 (C. 37) 告 诉 我 们 ， 落 在 给 定 箱子 里 的 球 数 期 望 值 是 wb。 

在 平均 意义 下 ， 我 们 必须 要 投 多 少 个 球 ， 才 能 在 给 定 的 箱子 里 投 中 一 个 球 ? 直至 给 定 箱子 收 到 一 
个 球 的 投球 次 数 服从 几何 分 布 ， 概 率 为 /5， 根 据 等 式 (C32)， 成 功 的 投球 次 数 期 望 是 1/(1/5) 二 6b。 

我 们 需要 投 多 少 次 球 ， 才 能 使 每 个 箱子 里 至 少 有 一 个 球 ? 一 次 投球 落 在 空 箱子 里 称 为 一 次 
“命中 ”。 我们 想 知 道 为 了 获得 5 次 命中 ， 所 需 的 投球 次 数 期 望 n。 

采用 命中 次 数 ， 可 以 把 n 次 投球 分 为 几 个 阶段 。 第 i 个 阶段 包括 从 第 i 一 1 次 命中 到 第 i 次 命 
中 之 间 的 投球 。 第 1 阶段 包含 第 1 次 投球 ， 因 为 我 们 可 以 保证 一 次 命中 ， 此 时 所 有 的 箱子 都 是 空 
的 。 对 第 i 阶段 的 每 一 次 投球 ， 有 ;一 1 个 箱子 有 球 ，b 一 i 十 1 个 箱子 是 空 的 。 因 而 ， 对 第 i 阶段 
的 每 次 投球 ,得 到 一 次 命中 的 概率 是 (6 一 i 十 1)/5。 

设 RIRH i 阶段 的 投球 次 数 。 因 而 ， 为 得 到 5b 次 命中 所 需 的 投球 次 数 为 n = 之 /mu 。 每 个 
随机 变量 n: 服从 几何 分 布 ， 成 功 的 概率 是 (5 一 i 十 1)/5， 根 据 公 式 (C. 32)， 于 是 有 

b 


i 





根据 期 望 的 线性 性 质 ， 我 们 有 
Elm) = E| Dm] = etn = Do 


i=1 i 
= | 

= 6D) = = WInb+ O01)) (根据 等 式 (A. 7)) 
i=l 


所 以 ， 在 我 们 期 望 每 个 箱子 里 都 有 一 个 球 之 前 ， 大 约 要 投 ln 次。 这 个 问题 也 称 为 礼券 收集 者 
问题 ， 意 思 是 一 个 人 如 果 想 要 收集 齐 5 种 不 同 礼券 中 的 每 一 种 ， 大 约 需 要 blnb 张 随机 得 到 的 礼 
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券 才能 成 功 。 


5.4.3 ”特征 序列 

假设 抛 投 一 枚 标准 的 硬币 n 次， 最 长 连续 正面 的 序列 的 期 望 长 度 有 多 长 ? 答案 是 BClgz)， 
如 以 下 分 析 所 示 。 

首先 证 明 最 长 的 连续 正面 的 特征 序列 的 长 度 期 望 是 O(lgn)。 每 次 抛 硬币 时 是 一 次 正面 的 概 
率 为 1/2。 设 Ai 为 这 样 的 事件 : 长 度 至 少 为 的 正面 特征 序列 开始 于 第 i 次 抛掷 ， 或 更 准确 地 
说 ,上 次 连续 硬币 抛 挪 i，i 十 1，…，i 十 & 一 1 得 到 的 都 是 正面 ， 其 中 1<k<n, 1<i<n 一 k 十 1。 
因为 每 次 抛 硬币 是 互相 独立 的 ， 对 任何 给 定 事件 Ax ， 所 有 次 抛掷 都 是 正面 的 概率 是 

Pr{Ay} = 1/2 (5. 8) 
对 于 k=2[lgnl, 
Pr{Aisren)} = 1/2 < 1/22" = 1/r? 

因而 ， 长 度 至 少 为 2 [lgz]、 起 始 于 位 置 ;的 一 个 正面 特征 序列 的 概率 是 很 小 的 。 这 种 序列 起 始 位 
MELA ”一 2 [lgz] 十 1 个 。 所 以 长 度 至 少 为 2 [lgz] 的 正面 特征 序列 开始 于 任 一 位 置 的 概率 是 


mn-2TIgnH1 n—20 Ign n 
Pr{ U Aizen }< > l/r? < Sit 一 1/n (5. 9) 
1 i=l im 


因为 根据 布尔 不 等 式 (C. 19)， 一 组 事件 并 集 的 概率 至 多 是 各 个 事件 的 概率 之 和 。 (注意 ， 即 使 这 
些 事件 不 独立 ， 布 尔 不 等 式 依然 成 立 。) 

我 们 现在 利用 不 等 式 (5. 9) 来 给 出 最 长 特征 序列 的 长 度 界 。 对 于 j 二 0, 1, 2, …, n, $L 
表示 最 长 连续 正面 的 特征 序列 长 度 正好 是 7 的 事件 ， 并 设 最 长 特征 序列 的 长 度 是 工 。 由 期 望 值 的 
定义 ， 我 们 有 


ELL] = SPL) (5. 10) 


我 们 可 以 尝试 用 每 个 Pr{L;} 的 上 界 来 估计 这 个 和 ， 就 像 不 等 式 (5.9) 所 计算 的 那样 。 遗 憾 的 
是 ， 这 种 方法 将 导致 弱 的 界 。 不 过 ， 我 们 可 以 用 从 上 面 分 析 得 到 的 一 些 直观 知识 来 得 到 一 个 好 的 
界 。 然 而 非 正式 地 说 ， 我 们 观察 到 在 等 式 (5. 10) 的 总 和 中 ， 没 有 任何 一 项 同时 让 7 和 Pr{L;} 因 子 
都 是 大 的 。 为 什么 呢 ? 当 j 宇 2『lgnl 时 ，Pr{L} 很 小 ; 当 j<=2『lgnl 时 ，j 相当 小 。 更 正式 地 说 ， 
我 们 注意 到 对 于 7 二 0，1，…，n， 事 件 L; 是 不 相交 的 ， 因 此 长 度 至 少 为 [len | 的 连续 正面 特征 


序列 起 始 于 任 一 位 置 的 概率 为 “2 PriL,) 。 根据 不 等 式 (5.9)， 我 人 有 >) PiL) <in. B 
外 ， 注 意 到 X Pri Ls) =1, RNA S PHL) 三 1。 因 此， 我 们 得 到 
E[L] = Pr 一 $jprL,) +> jPr(L,) 
2 ‘Ye NenDPriL,} + >) mPr(L;) 


20 ign bl n 
= 2 [lgn] >) PriL;}+n >) PriL;} 
j=0 j=2[ lga] 


<2[lgn]+1+n- (1/n) = OUgn) 
TE WD PTE FF AR SE Er [Ne SY ER ar 变 小 而 很 快 减少 。 对 r 三 1， 正面 特征 序列 
长 度 至 少 为 >[lgz]， 起 始 于 位 置 i 的 概率 是 
Pr{Airen} = 1/27% < 1/w 
因此 ， 最 长 特征 序列 长 度 至 少 为 ~「 lgz] 的 概率 至 多 是 z/zr 王 1/ 一 :， 或 等 价 地 ， 最 长 特征 序列 长 
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度 小 于 [flgz] 的 概率 至 少 是 1 一 ILz  。 

看 一 个 例子 ， 抛 掷 n=1000 次 硬币 ， 最 少 出 现 2 [len |=20 次 连续 正面 的 几率 至 多 是 1/" 一 
1/1 000。 长 度 超过 3 [lgn]=30 次 连续 正面 特征 序列 的 几率 至 多 是 1/n =1/1 000 000, 

现在 我 们 证 明 一 个 补充 的 下 界 : 在 n 次 硬币 抛 据 中 ， 最 长 的 正面 特征 序列 的 长 度 期 望 为 
Qllgn) 。 为 证 明 这 个 界 ， 我 们 通过 把 次 抛掷 划分 成 大 约 z/s 个 组 ， 每 组 * 次 抛掷 ， 来 看 长 度 为 
s 的 特征 序列 。 如 果 选 择 * 王 [lgz)/2j， 可 以 说 明 这 些 组 中 至 少 有 一 组 可 能 全 是 正面 ， 因 而 可 能 
最 长 特征 序列 的 长 度 至 少 是 *=Q(lgz) 。 然 后 将 表明 最 长 特征 序列 的 长 度 期 望 是 Agn). 

我 们 把 次 硬币 抛掷 划分 成 至 少 LaVLlg7D72 个 组 ， 每 组 [(lgz)72j 次 连续 抛掷 ， 然 后 对 没有 
组 全 是 正面 的 概率 求 界 。 根 据 等 式 (5. 8) ， 从 位 置 i 开始 都 是 正面 的 组 的 概率 是 

Pr{ Aig cigm/2s} = 1/2tnl< 1/Vn 


所 以 长 度 至 少 为 KKlgzD/2J 的 正面 特征 序列 不 从 位 置 i 开始 的 概率 至 多 是 1 一 1MWz。 既 然 L[wLlgz)/21 个 
组 是 由 彼此 互 斥 、 独 立 的 抛掷 硬币 构成 ， 其 中 每 个 组 都 不 是 长 度 为 KlgzD/2]j 的 特征 序列 的 概率 至 多 是 
《1 一 1/ Vn Loem/2 < aT 1/ Jn)" (ten/21 < 《1 一 1/ Vn)" er 1 

EW ds = CCE") = O(1/n) 
关于 此 论证 ， 我 们 用 到 了 不 等 式 (3. 12), ， 即 1 十 x 三 e， 还 用 到 了 你 可 能 想 验证 的 一 个 事实 : 对 
足够 大 的 n， 有 (2n/ lgn 一 1) /Vn 宇 lgn。 
因此 ， 最 长 特征 序列 超过 [(lgn)/2j 的 概率 为 


D Pr{L;} 1—0O(/n) (5.11) 
j=L(ign)/2J 


现在 我 们 可 以 计算 最 长 特征 序列 的 长 度 期 望 的 一 个 下 界 ， 从 等 式 (5. 10) 开 始 ， 采 用 类 似 于 我 们 上 
界 分 析 的 方式 : 


n Logn)/2}-1 n 

ELL] = DjPr(L} = 2) jPr{L}+ 之 jPr{L;} 
j=0 j=0 j= (lg /2 
LUgw/2}-1 


> >) oe Pr{L;} + p Kign)/2]Pr(L 


j=0 
Ldgn)/2F1 


。 >) Pri{L;}+ldgn)/2] p> Pr{L;} 


0 j=L gn/2] 
> 0+ Lgn)/2Ja — OA /n)) (根据 不 等 式 (5. 11)) 
= AN(lgn) 
和 生日 悖 论 一 样 ， 可 以 采用 指示 器 随机 变量 来 得 到 一 个 简单 而 近似 的 分 析 。 设 Xi = An} 
表示 对 应 于 特征 序列 长 度 至 少 为 &、 开 始 于 第 次 抛掷 硬币 的 指示 器 随机 变量 。 为 了 计数 这 些 特 
征 序列 的 总 数 ， 定 义 


两 边 取 期 望 并 利用 期 望 的 线性 性 质 ， 我 们 有 
ECX] = E| $ xa | = > ELXs] = Si Pri Au) = Se = cet k+l 


通过 代入 不 同 的 & 值 ， 可 以 计算 出 长 度 为 的 特征 序列 的 数目 期 望 WE 
1)， 那 么 我 们 期 望 很 多 长 度 为 & 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 高 。 如 果 这 个 数 小 
( 远 小 于 1) ， 那 么 我 们 期 望 很 少 的 长 度 为 & 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 低 。 如 果 
对 某 个 正常 数 c<， 有 上 = 二 clgn， 那 么 可 以 得 到 
ECX] = mle = n—clgnt = sl — (clgn— 1)/n = 0(1/x 7) 
n n 
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如 果 c 较 大 ， 长 度 为 clgn 的 特征 序列 的 数目 期 望 将 很 小 ， 并 且 我 们 的 结论 是 它们 不 大 可 能 发 生 。 
另外 ， 如 果 c=1/2， 那 么 ELXJ=O0/n?") =O”), F#ARMWBSA KEKE DA (1/2) Ign 
的 特征 序列 。 所 以 ， 这 种 长 度 的 特征 序列 很 可 能 发 生 。 仅 通过 这 些 粗略 估计 ,我们 可 得 出 结论 : 
最 长 特征 序列 的 长 度 期 望 是 @(lgn)。 


5.4.4 在 线 雇用 问题 

作为 最 后 一 个 例子 ， 我 们 考虑 雇用 问题 的 一 个 变形 。 假 设 现在 我 们 不 希望 面试 所 有 的 应 聘 
者 以 找到 最 好 的 一 个 。 我 们 也 不 希望 因为 有 更 好 的 申请 者 出 现 ， 不 停 地 雇用 新 人 解雇 旧 人 。 取 而 
代 之 ， 我 们 愿意 雇用 接近 最 好 的 应 聘 者 ， 只 雇用 一 次 。 我 们 必须 遵守 公司 的 一 个 要 求 : 每 次 面试 
后 ， 或 者 我 们 必须 马上 提供 职位 给 应 聘 者 ， 或 者 马上 拒绝 该 应 聘 者 。 如 何在 最 小 化 面试 次 数 和 最 
大 化 所 雇用 应 聘 者 的 质量 两 方面 取得 平衡 ? 

我 们 可 以 通过 如 下 方式 对 该 问题 建 模 。 在 面试 一 个 应 聘 者 之 后 ， 我 们 能 够 给 每 人 一 个 分 数 ; 
令 score(Gi) 表 示 给 第 i 个 应 聘 者 的 分 数 ， 并 且 假 设 没有 两 个 应 聘 者 得 到 同样 分 数 。 在 已 看 过 j 个 
应 聘 者 后 ， 我 们 知道 这 7 人 中 哪 一 个 分 数 最 高 ， 但 是 不 知道 在 剩余 的 n 一 j 个 应 聘 者 中 会 不 会 有 
更 高 分 数 的 应 聘 者 。 我 们 决定 采用 这 样 一 个 策略 : 选择 一 个 正 整 数 k 二 n， 面 试 然后 拒绝 前 个 
应 聘 者 ， 再 雇用 其 后 比 前 面 的 应 聘 者 有 更 高 分 数 的 第 一 个 应 聘 者 。 如 果 最 好 的 应 聘 者 在 前 & 个 面 
试 之 中 ， 那 么 将 雇用 第 ”个 应 聘 者 。 我 们 形式 化 地 表达 该 策略 在 过 程 ON-LINE-MAXIMUM(2, n) 
中 ， 它 返回 的 是 我 们 希望 雇用 的 应 聘 者 下 标 。 


ON-LINE-MAXIMUM (k, n) 
bestscore = 一 co 
fori = 1 tok 
if score(i) > bestscore 


1 

2 

3 

4 bestscore = score(i) 
5 fori=k+1lton 

6 if score(i) > bestscore 

7 return i 

8 


return 7 


对 每 个 可 能 的 &， 我 们 和 希望 确定 能 雇用 最 好 应 聘 者 的 概率 。 然 后 选择 最 佳 的 & 值 ， 并 用 该 值 
来 实现 这 个 策略 。 暂 时 先 假设 & 是 固定 的 。 设 MG ) 王 =max{ score(i) } R78 MG 1~j 中 的 最 高 分 


数 。 设 S 表 示 成 功 选 择 最 好 应 聘 者 的 事件 ，S; 表示 最 好 的 应 聘 者 是 第 i 个 面试 者 时 成 功 的 事件 。 


既然 不 同 的 S: 不 相交 ， 我 们 有 Pr{S) = 》 Pr{S,} 。 注 意 到 ， 当 最 好 应 聘 者 是 前 个 应 聘 者 中 的 
一 个 时 ， 我 们 不 会 成 功 ， 于 是 对 i 一 1，2，…，A&， 有 Pr{S,} 二 0。 因 而 得 到 


Pr{S} = DPS, (5. 12) 


现在 来 计算 Pr{S;}。 为 了 当 第 i 个 应 应 聘 者 是 最 好 时 成 功 ， 两 件 事 情 必 须发 生 。 第 一 ， 最 好 的 
应 聘 者 必须 在 位 置 i 上， 用 事件 B 表示 。 第 二 ， 算 法 不 能 选择 从 位 置 & 十 1 一 ;一 1 中 任何 一 一 个 应 
聘 者 ， 而 这 个 选择 当 且 仅 当 满足 十 1<<j 志 i 一 1 时 发 生 ， 在 程序 第 6 行 有 score(j)<bestcore, (Al 
为 分 数 是 唯一 的 ， 所 以 可 以 忽略 score(j) = bestcore 的 可 能 性 。) 换 句 话 说 ， 所 有 score(k 十 1) 到 
score(i 一 1) 的 值 都 必须 小 于 MCA); 如 果 其 中 有 大 于 MC) 的 数 ， 则 将 返回 第 一 个 大 于 MCR) 的 数 
的 下 标 。 我 们 用 O 表示 从 位 置 k 十 1 到 i 一 1 中 没有 任何 应 聘 者 入 选 的 事件 。 幸 运 的 是 ， 两 个 事 
件 B: MO; 是 独立 的 。 事件 O 仅 依 赖 于 位 置 1 到 i 一 1 中 值 的 相对 次 序 ， 而 B: 仅 依 赖 于 位 置 i 的 
值 是 否 大 于 所 有 其 他 位 置 的 值 。 从 位 置 1 到 i 一 1 的 排序 并 不 应 影响 位 置 i 的 值 是 否 大 于 上 述 所 有 
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值 ， 并 且 位 置 i 的 值 也 不 会 影响 从 位 置 1 到 i 一 1 值 的 次 序 。 因 而 应 用 等 式 (C. 15) 得 到 
Pr{S;} = Pr{B; N O) = Pr{B,}Pr{O,} 
Pri B,} 的 概率 显然 是 1/n， 因 为 最 大 值 等 可 能 地 是 个 位 置 中 的 任 一 个 。 若 事件 O 要 发 生 ， 从 位 
置 1 到 i 一 1 的 最 大 值 必须 在 前 个 位 置 的 一 个 ， 并 且 最 大 值 等 可 能 地 在 这 i 一 1 个 位 置 中 的 任 一 
个 。 于 是 ，Pr{O;}=k/(i 一 1),，Pr{S;}==k/(n(i 一 1))。 i 12), RNA 
r= pris) = > bao 二 > 2 -451 i 


我 们 利用 积分 来 近似 约束 这 个 和 数 的 上 界 和 下 界 。 根 据 不 等 式 (A. 12), 我们 有 








求解 这 些 定 积分 可 以 得 到 下 面 的 界 : 
和 (Inn Ink) < Pr{S} < 全 (ln(n 一 1)—InGk—1)) 


这 提供 了 Pr{(S) 的 一 个 相当 紧 确 的 界 。 因 为 我 们 希望 最 大 化 成 功 的 概率 ， 所 以 关注 如 何 选 取 A 值 
使 Pr{S} 的 下 界 最 大 化 。( 此 外 ， 下 界 表 达 式 比 上 界 表 达 式 更 容易 最 大 化 。) 以 上 为 变量 对 表达 式 
(k/n) (lnn 一 lnk) 求 导 ， 得 到 


es 
n 


令 此 导数 为 0， 我 们 看 到 当 Ink=Inn—1=In(n/) ME Hrs, k=n/elt, BAR PARK. Alm, 
如 果 用 = 二 n/e 来 实现 我 们 的 策略 ， 那 么 将 以 至 少 1/e 的 概率 成 功 雇用 到 最 好 的 应 聘 者 。 


练习 

5.4-1 一 个 屋子 里 必须 要 有 和 多少 人 ,才能 让 某 人 和 你 生日 相同 的 概率 至 少 为 1/2? 必须 要 有 多 少 
人 ， 才 能 让 至 少 两 个 人 生日 为 7 月 4 日 的 概率 大 于 1/2? 

5.4-2 ”假设 我 们 将 球 投入 到 b 个 箱子 里 ， 直 到 某 个 箱子 中 有 两 个 球 。 每 一 次 投掷 都 是 独立 的 ， 
并 且 每 个 球 落 入 任何 箱子 的 机 会 均等 。 请 问 投球 次 数 期 望 是 多 少 ? 

*5.43 在 生日 悖 论 的 分 析 中 ， 要 求 各 人 生日 彼此 独立 是 否 很 重要 ? 或 者 ， 是 否 只 要 两 两 成 对 独 
立 就 足够 了 ? 证 明 你 的 答案 。 

*S. 4-4 ”一 次 聚会 需要 邀请 多 少 人 ， 才 能 让 其 中 3 人 的 生日 很 可 能 相同 ? 

*5.45 ”在 大 小 为 n 的 集合 中 ,一 个 上 字符 串 构 成 一 个 排列 的 概率 是 多 少 ? 这 个 问题 和 生日 悖 
论 有 什么 关系 ? 

*5.4-6 ”假设 将 个 球 投入 nn 个 箱子 里 ， 其 中 每 次 投球 独立 ， 并 且 每 个 球 等 可 能 落 入 任何 箱子 。 
空 箱子 的 数目 期 望 是 多 少 ? 正好 有 一 个 球 的 箱子 的 数目 期 望 是 多 少 ? 

*5.4-7 ”为 使 特征 序列 长 度 的 下 界 变 得 更 精确 ， 请 说 明 在 ”次 硬币 的 公平 抛 搓 中 ， 不 出 现 比 gn 
2 lg lgn 更 长 的 连续 正面 特征 序列 的 概率 小 于 1/n。 


思考 题 
5-1 (概率 计数 ) 利用 一 个 2 位 的 计数 器 ， 我 们 一 般 只 能 计数 到 2 一 1。 而 用 R. Morris 的 概率 
计数 法 ， 我 们 可 以 计数 到 一 个 大 得 多 的 值 ， 代 价 是 精度 有 所 损失 。 
对 i 二 0，1,，…，2 一 1, 令 计数 器 值 i 表示 nn; 的 计数 ， 其 中 n 构成 了 一 个 非 负 的 递增 
序列 。 假 设计 数 器 初 值 为 0， 表示 计数 n= 二 0。INCREMENT 运算 单元 工作 在 一 个 计数 器 
上 ， 它 以 概率 的 方式 包含 值 i。 如 果 i 二 2 一 1， 则 该 运算 单元 报告 溢出 错误 ; 否则， 
INCREMENT 运算 单元 以 概率 1/ 《ni 一 ni) 把 计数 器 增加 1， 以 概率 1 一 1/ (ni41 一 n;) 保 持 计 
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数 器 不 变 。 

对 所 有 的 i 宇 0， 若 选择 n= 二 i， 此 计数 器 就 是 一 个 普通 的 计数 器 。 若 选择 nw 二 2”' (i>0), 或 

者 n= 二 =F,( 第 i 个 非 波 那 契 数 ， 参 见 3. 2 节 ) ， 则 会 出 现 更 多 有 趣 的 情形 。 

对 于 这 个 问题 ， 假 设 xz- 已 足够 大 ， 发 生 一 个 溢出 错误 的 概率 可 以 忽略 。 

a. 请 说 明 在 执行 n 次 INCREMENT 操作 后 ， 计 数 器 所 表示 的 数 期 望 值 正好 是 n. 

b. 分 析 计数 器 表示 的 计数 的 方差 依赖 于 n 序列 。 我 们 来 看 一 个 简单 情形 : 对 所 有 io, 
中 一 100i。 在 执行 了 次 INCREMENT 操作 后 ， 请 估计 计数 器 所 表示 数 的 方差 。 

5-2 (查找 一 个 无 序数 组 ) 本 题 将 分 析 三 个 算法 ， 它 们 在 一 个 包含 n 个 元 素 的 无 序数 组 A PH 

找 一 个 值 z。 

考虑 如 下 的 随机 策略 : 随机 挑选 A 中 的 一 个 下 标 i。 如 果 AL] WAIL; 否则 ， 继 

续 挑选 A 中 一 个 新 的 随机 下 标 。 重 复 随机 挑选 下 标 ， 直 到 找到 一 个 下 标 7， 使 AL 门 =z， 或 

者 直到 我 们 已 检查 过 A 中 的 每 一 个 元 素 。 注 意 ， 我 们 每 次 都 是 从 全 部 下 标的 集合 中 挑选 ， 

于 是 可 能 会 不 止 一 次 地 检查 某 个 元 素 。 

a. 请 写 出 过 程 RANDOM-SEARCH 的 伪 代 码 来 实现 上 述 策略 。 确 保 当 A 中 所 有 下 标 都 被 

143 挑选 过 时 ， 你 的 算法 应 停止 。 

b. 假定 恰好 有 一 个 下 标 i 使 得 A[ 本 = 二 x。 在 我 们 找到 zx 和 RANDOM-SEARCH 结束 之 前 ， 
必须 挑选 A 下 标的 数目 期 望 是 多 少 ? 

e 假设 有 k 宇 1 个 下 标 i 使 得 A[ 菇 =z， 推 广 你 对 (b) 部 分 的 解答 。 在 找到 z 或 RANDOM- 
SEARCH 结束 之 前 ， 必 须 挑选 A 的 下 标的 数目 期 望 是 多 少 ? 你 的 答案 应 该 是 n 和 上 的 函数 。 
d. 假设 没有 下 标 i EALLi] Sr ERETT A 的 所 有 元 素 或 RANDOM-SEARCH 结束 之 

前 ， 我 们 必须 挑选 A 的 下 标的 数目 期 望 是 多 少 ? 
现在 考虑 一 个 确定 性 的 线性 查找 算法 ， 我 们 称 之 为 DETERMINISTIC-SEARCH。 具 体 

地 说 ， 这 个 算法 在 A 中 顺序 查找 zx， 考虑 AL1]，AL2]，AL3]j，…，A[z]， 直 到 找到 AL] = 

Z， 或 者 到 达 数 组 的 末尾 。 假 设 输入 数组 的 所 有 排列 都 是 等 可 能 的 。 

e 假设 恰好 有 一 个 下 标 i 848 Ali] =r. DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 
是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情 形 的 运行 时 间 又 是 多 少 ? 

f. 假设 有 k>1 AFER i EE ALi J = 2, HES RM Ce) BA KA. DETERMINISTIC- 
SEARCH 平均 情形 的 运行 时 间 是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 
间 又 是 多 少 ? 你 的 答案 应 是 nn 与 & 的 函数 。 

g 假设 没有 下 标 i 14 ALi]=2, DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 是 多 
少 ? DETERMINISTIC-SEARCH 最 坏 情 形 的 运行 时 间 又 是 多 少 ? 

最 后 ， 考 虑 一 个 随机 算法 SCRAMBLE-SEARCH， 它 先 将 输入 数组 随机 变换 排列 ， 然 

后 在 排列 变换 后 的 数组 上 ， 运 行 上 面 的 确定 性 线性 查找 算法 。 

h. Ù k EWE AL Sr 的 下 标的 数目 ， 请 给 出 在 k= 二 0 和 二 1 情况 下 ， 算 法 SCRAMBLE- 
SEARCH 最 坏 情形 的 运行 时 间 和 运行 时 间 期 望 。 推 广 你 的 解答 以 处 理 & 宇 1 的 情况 。 

144 i 你 将 会 使 用 3 种 查找 算法 中 的 哪 一 个 ?解释 你 的 答案 。 


本 章 注 记 
BollobasL53]、HofriL174] 和 Spencer[321] 介 绍 了 大 量 高 等 概率 技术 。 随 机 算法 的 优点 在 Karp 
[200j] 和 Rabin[288] 中 有 讨论 和 综述 。Motwani 和 Raghavan[262] 的 教材 中 大 量 论述 了 随机 算法 。 
雇用 问题 的 很 多 变形 已 经 得 到 广泛 研究 。 这 些 问题 通常 被 称 为 “秘书 问题 "。Ajtai、Meggido 
和 WaartsL11] 中 给 出 了 该 领域 中 的 一 个 例子 。 
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这 一 部 分 介绍 了 几 种 解决 如 下 排序 问题 的 算法 : 

输入 : 一 个 个 数 的 序列 (al az, t, Ando 

输出 : 输入 序列 的 一 个 排列 ( 重 排 )(a ，a: ，…，as)， 使 得 ai Ka 
soit. 

输入 序列 通常 是 一 个 nn 元 数组 ， 尽 管 它 可 以 用 链表 等 其 他 方式 描述 。 

数据 的 结构 

在 实际 中 ， 待 排序 的 数 很 少 是 单独 的 数值 ， 它 们 通常 是 称 为 记录 
(record) 的 数据 集 的 一 部 分 。 每 个 记录 包含 一 个 关键 字 (key) ， 就 是 排序 问 
题 中 要 重 排 的 值 。 记 录 的 剩余 部 分 由 卫星 数据 (satellite data) 组 成 ， 通 常 
与 关键 字 是 一 同 存 取 的 。 在 实际 中 ， 当 一 个 排序 算法 重 排 关 键 字 时 ， 也 必 
须要 重 排 卫 星 数据 。 如 果 每 个 记录 包含 大 量 卫 星 数据 ， 我 们 通常 重 排 记录 
指针 的 数组 ， 而 不 是 记录 本 身 ， 这 样 可 以 降低 数据 移动 量 。 

在 某 种 意义 上 ， 正 是 这 些 实现 细节 将 一 个 算法 与 成 熟 的 程序 区 分 开 
来 。 一 个 排序 算法 描述 确定 有 序 次 序 的 方法 (method) ， 而 不 管 我 们 是 在 排 
序 单独 的 数 还 是 包含 很 多 卫星 数据 的 大 记录 。 因 此 ， 当 关注 排序 问题 时 ， 
我 们 通常 假定 输入 只 是 由 数组 成 。 将 一 个 对 数 进行 排序 的 算法 转换 为 一 个 
对 记录 进行 排序 的 程序 在 概念 上 是 很 直接 的 ， 当 然 在 具体 的 工程 情境 下 ， 
其 他 一 些 细节 问题 可 能 会 使 实际 的 编程 工作 遇 到 很 多 挑战 。 

为 什么 要 排序 

很 多 计算 机 科学 家 认为 排序 是 算法 研究 中 最 基础 的 问题 ， 其 原因 有 
很 多 : 

。 有 时 应 用 本 身 就 需要 对 信息 进行 排序 。 例 如 ， 为 了 准备 用 户 财务 

报表 ， 银 行 需要 按 编号 对 支票 进行 排序 。 

。 很 多 算法 通常 把 排序 作为 关键 子 程序 。 例 如 ， 在 一 个 演 染 图 形 对 

象 的 程序 中 ， 图 形 对 象 是 分 层 登 在 一 起 的 ， 这 个 程序 可 能 就 需要 
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按 “ 上 层 " 关 系 来 排序 对 象 ， 以 便 能 按 自 底 向 上 的 次 序 绘制 对 象 。 在 本 书 中 ， 我 们 将 看 到 
大 量 的 算法 将 排序 作为 子 程序 来 使 用 。 

。 现 有 的 排序 算法 数量 非常 庞大 ， 其 中 所 使 用 的 技术 也 非常 丰富 。 实 际 上 ,很 多 重要 的 算 
法 设计 技术 都 体现 在 多 年 来 研究 者 所 设计 的 排序 算法 中 。 从 这 个 角度 看 ， 排 序 问题 还 有 
很 好 的 历史 价值 。 

。 我 们 可 以 证 明 排序 问题 的 一 个 非 平 凡 下 界 ( 在 第 8 章 中 ， 我 们 会 给 出 这 个 证 明 )。 而 我 们 
的 最 佳 上 界 能 够 与 这 个 非 平凡 下 界 渐 近 相等 ， 这 就 意味 着 我 们 介绍 的 算法 是 渐 近 最 优 
的 。 而 且 ， 我们 可 以 利用 排序 问题 的 下 界 来 证 明 其 他 问题 的 下 界 。 

。 在 实现 排序 算法 时 会 出 现 很 多 工程 问题 。 某 个 特定 环境 下 的 最 快 的 排序 算法 可 能 依赖 很 
SAK, 例如， 关于 关键 字 和 卫星 数据 的 先 验 知识 、 计 算 机 主机 的 内 存 层次 (缓存 和 虚拟 
内 存 ) 和 软件 环境 。 很 多 这 类 问题 最 好 在 算法 层面 来 处 理 ， 而 不 是 通过 “代码 调 优 ”来 
解决 。 

排序 算法 

我 们 在 第 2 章 已 经 介绍 了 两 种 排序 算法 。 插 入 排序 最 坏 情况 下 可 以 在 O(n? ) 时 间 内 将 个 数 
排 好 序 。 但 是 ， 由 于 其 内 层 循 环 非常 紧凑 ， 对 于 小 规模 输入 ， 插 入 排序 是 一 种 非常 快 的 原址 排序 
算法 (回忆 一 下 ， 如 果 输 入 数组 中 仅 有 常数 个 元 素 需 要 在 排序 过 程 中 存储 在 数组 之 外 ， 则 称 排序 
算法 是 原址 的 (in place) )。 归 并 排序 有 更 好 的 渐 近 运行 时 间 @(nlgn)， 但 它 所 使 用 的 MERGE 过 
程 并 不 是 原址 的 。 

在 这 一 部 分 中 ， 我 们 将 介绍 两 种 新 的 排序 算法 ， 它 们 可 以 排序 任意 的 实数 。 第 6 章 将 介绍 堆 
排序 ， 这 是 一 种 O(nlgn) 时 间 的 原址 排序 算法 。 它 使 用 了 一 种 被 称 为 堆 的 重要 数据 结构 ， 堆 还 可 
用 来 实现 优先 队列 。 

第 7 章 介绍 快速 排序 ， 它 也 是 一 种 原址 排序 算法 ,但 最 坏 情况 运行 时 间 为 O(n’). AMMEN 
期 望 运行 时 间 为 @(nlgn)， 而 且 在 实际 应 用 中 通常 比 堆 排 序 快 。 与 插入 排序 类 似 ， 快 速 排序 的 代 
码 也 很 紧凑 ， 因 此 运行 时 间 中 隐 含 的 常数 系数 很 小 。 快 速 排序 是 排序 大 数组 的 最 常用 算法 。 

插入 排序 、 归 并 排序 、 堆 排序 及 快速 排序 都 是 比较 排序 算法 : 它们 都 是 通过 对 元 素 进行 比较 
操作 来 确定 输入 数组 的 有 序 次 序 。 第 8 章 首先 介绍 了 决策 树 模型 ， 可 用 来 研究 比较 排序 算法 的 性 
能 局 限 。 使 用 决策 树 模型 ， 我 们 可 以 证 明 任 意 比较 排序 算法 排序 x 个 元 素 的 最 坏 情 况 运行 时 间 的 
FRA Q(zlgz) ， 从 而 证 明 堆 排序 和 归并 排序 是 渐 近 最 优 的 比较 排序 算法 。 

第 8 章 接 下 来 展示 了 : 如 果 通 过 比较 操作 之 外 的 方法 来 获得 输入 序列 有 序 次 序 的 信息 ， 就 有 
可 能 打破 Q(zlgz) 的 下 界 。 例 如 ， 计 数 排序 算法 假定 输入 元 素 的 值 均 在 集合 10，1，…，A 人 内 。 
通过 使 用 数组 索引 作为 确定 相对 次 序 的 工具 ， 计 数 排序 可 以 在 @(& 十 2) 的 时 间 内 将 ”个 数 排 好 
序 。 因 此 ， 当 一 O(z) 时 ， 计 数 排序 算法 的 运行 时 间 与 输入 数组 的 规模 呈 线 性 关系 。 另 外 一 种 相 
关 的 排序 算法 一 一 基数 排序 ， 可 以 用 来 扩展 计数 排序 的 适用 范围 。 如 果 有 个 整数 要 进行 排序 ， 
每 个 整数 有 d 位 数字 ， 并 且 每 个 数字 可 能 取 k 个 值 ， 那 么 基数 排序 就 可 以 在 8(d(n 十 &)) 时 间 内 
完成 排序 工作 。 当 a 是 常数 且 & 三 O(n) 时， 基数 排序 的 运行 时 间 就 是 线性 的 。 第 8 章 介 绍 的 第 三 
种 算法 是 桶 排序 算法 ， 它 需要 了 解 输 入 数组 中 数据 的 概率 分 布 。 对 于 半 开 区 间 [0，1) 内 服从 均匀 
分 布 的 个 实数 ， 桶 排序 的 平均 情况 运行 时 间 为 O(n)。 

下 表 总 结 了 第 2 章 和 第 6 一 8 章 介绍 的 排序 算法 的 运行 时 间 ， 其 中 ”表示 要 排序 的 数据 项 数 
量 。 对 于 计数 排序 ， 数 据 项 均 在 集合 {10，1，…， 对 内 。 对 于 基数 排序 ， 每 个 数据 项 都 是 4 位 数 
字 的 整数 ， 每 位 数字 可 能 取 & 个 值 。 对 于 桶 排序 ， 假 定 关键 字 是 半 开 区 间 [0，1) 内 服从 均匀 分 布 
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的 个 实数 。 表 的 最 右 一 列 给 出 了 平均 情况 或 期 望 运行 时 间 ， 可 能 与 最 坏 情况 运行 时 间 不 同 。 我 
们 忽略 了 堆 排 序 的 平均 情况 运行 时 间 ， 因 为 本 书 中 并 未 对 其 进行 分 析 。 


最 坏 情况 运行 时 间 





平均 情况 /期 望 运行 时 间 











插入 排序 O(n?) O(n?) 

归并 排序 Qnlgn) Qnlgn) 

堆 排序 O(nlgn) 一 

快速 排序 On?) Bnlgn) (期 望 ) 
计数 排序 @(k+n) @Q(k+n) 

基数 排序 Q(d(n+k)) @Q(d(n+k)) 


桶 排序 O(n?) O(n) (平均 情况 ) 





顺序 统计 量 

一 个 nn 个 数 的 集合 的 第 i 个 顺序 统计 量 就 是 集合 中 第 ; 小 的 数 。 当 然 ， 我 们 可 以 通过 将 输入 
集合 排序 ， 取 输出 的 第 i 个 元 素来 选择 第 i 个 顺序 统计 量 。 当 不 知道 输入 数据 的 分 布 时 ， 这 种 方 
法 的 运行 时 间 为 Q(nlgn)， 即 第 8 章 中 所 证 明 的 比较 排序 算法 的 下 界 。 

在 第 9 章 中 , 我们 展示 了 即使 输入 数据 是 任意 实数 ， 也 可 以 在 O(n) 时 间 内 找到 第 i 小 的 元 
素 。 我 们 提出 了 一 种 随机 算法 ， 其 伪 代 码 非常 紧凑 ， 它 的 最 坏 情 况 运行 时 间 为 8(w*)， 但 期 望 运 
行 时 间 为 O(n)。 我 们 还 给 出 了 一 种 更 复杂 的 算法 ， 最 坏 情 况 运行 时 间 为 O(n)。 

背景 

虽然 这 一 部 分 的 大 部 分 内 容 并 不 依赖 高 深 的 数学 知识 ， 但 一 些 章节 还 是 需要 一 些 稍微 复杂 
的 数学 知识 。 特 别 地 ， 快 速 排序 、 桶 排序 和 顺序 统计 量 算法 的 分 析 要 用 到 概率 知识 (附录 C 中 回 
顾 了 概率 知识 ) 以 及 第 5 章 中 介绍 的 概率 分 析 和 随机 算法 。 顺 序 统计 量 算法 的 最 坏 情 况 线性 时 间 
分 析 涉 及 的 数学 知识 比 本 部 分 中 其 他 最 坏 情 况 分 析 要 更 复杂 些 。 
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在 本 章 中 ， 我 们 会 介绍 另 一 种 排序 算法 : 堆 排序 (heapsort) 。 与 归并 排序 一 样 ， 但 不 同 于 插 
入 排序 的 是 ， 堆 排序 的 时 间 复 杂 度 是 OOzlgz) 。 而 与 插入 排 序 相同 ， 但 不 同 于 归并 排序 的 是 ， 堆 
排序 同样 具有 空间 原址 性 : 任何 时 候 都 只 需要 常数 个 额外 的 元 素 空间 存储 临时 数据 。 因 此 ， 堆 排 
序 是 集合 了 我 们 目前 已 经 讨论 的 两 种 排序 算法 优点 的 一 种 排序 算法 。 

堆 排 序 引 入 了 另 一 种 算法 设计 技巧 : 使 用 一 种 我 们 称 为 “ 堆 ” 的 数据 结构 来 进行 信息 管理 。 堆 
不 仅 用 在 堆 排序 中 ， 而 且 它 也 可 以 构造 一 种 有 效 的 优先 队列 。 在 后 续 的 章节 中 ， 我 们 还 将 多 次 在 
算法 中 引入 堆 。 

虽然 “ 堆 ” 这 一 词 源 自 堆 排序 ， 但 是 目前 它 已 经 被 引申 为 “垃圾 收集 存储 机 制 ”， 例 如 在 Java 
和 Lisp 语言 中 所 定义 的 。 强 调 一 下 ， 我 们 使 用 的 堆 不 是 垃圾 收集 存储 ， 并 且 在 本 书 的 任何 部 分 ， 
只 要 涉及 堆 ， 指 的 都 是 堆 数据 结构 ， 而 不 是 垃圾 收集 存储 。 


6.1 J3 

如 图 6-1 所 示 ，( 二 叉 ) 堆 是 一 个 数组 ， 它 可 以 被 看 成 一 个 近似 的 完全 二 叉 树 ( 见 B. 5. 3 节 )。 
树 上 的 每 一 个 结 点 对 应 数组 中 的 一 个 元 素 。 除 了 最 底层 外 ， 该 树 是 完全 充满 的 ， 而 且 是 从 左 向 右 
填充 。 表 示 堆 的 数组 A 包括 两 个 属性 : A. Length (通常 ) 给 出 数组 元 素 的 个 数 ，A. heap-size 表示 
有 多 少 个 堆 元 素 存储 在 该 数组 中 。 也 就 是 说 ， 虽 然 AL1..A. lengthj] 可 能 都 存 有 数据 ,但 只 有 
A[1.. A. heap-size] 中 存放 的 是 堆 的 有 效 元 素 ， 这 里 ，0 三 A. heap-size<A. length。 树 的 根 结 点 是 

A[1]， 这 样 给 定 一 个 结 点 的 下 标 i， 我 们 很 容易 计算 得 到 它 的 父 结 点 、 左 孩子 和 右 孩 子 的 下 标 : 
PARENT (i) 
1 return | i/2] 


LEFT (i) 
l return 2: 


RIGHT (i) 
1 return 2i+1 








图 6-1 以 (a) 二 又 树 和 (b) 数 组 形式 展现 的 一 个 最 大 堆 。 每 个 结 点 圆圈 内 部 的 数字 
是 它 所 存储 的 数据 。 结 点 上 方 的 数字 是 它 在 数组 中 相应 的 下 标 。 数 组 上 方 
和 下 方 的 连 线 显 示 的 是 父 - 子 关系 : 父 结 点 总 是 在 它 的 孩子 结 点 的 左边 。 
该 树 的 高 度 为 3， 下 标 为 4( 值 为 8) 的 结 点 的 高 度 为 1 
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在 大 多 数 计算 机 上 ， 通 过 将 i 的 值 左 移 一 位 ，LEFT 过 程 可 以 在 一 条 指令 内 计算 出 2。 采 用 
类 似 方法 ， 在 RIGHT 过 程 中 也 可 以 通过 将 i 的 值 左 移 1 位 并 在 低位 加 1， 快 速 计算 得 到 2i 十 1。 
至 于 PARENT 过 程 ， 则 可 以 通过 把 i 的 值 右 移 1 位 计算 得 到 Li/2j。 在 堆 排序 的 好 的 实现 中 ， 这 
三 个 函数 通常 是 以 “ 宏 ” 或 者 “内 联 函 数 ” 的 方式 实现 的 。 

二 叉 堆 可 以 分 为 两 种 形式 : 最 大 堆 和 最 小 堆 。 在 这 两 种 堆 中 ， 结 点 的 值 都 要 满足 堆 的 性 质 ， 
但 一 些 细节 定义 则 有 所 差异 。 在 最 大 堆 中 ， 最 大 堆 性 质 是 指 除了 根 以 外 的 所 有 结 点 i 都 要 满足 : 

A[PARENT(i)] > Ali] 
也 就 是 说 ， 某 个 结 点 的 值 至 多 与 其 父 结 点 一 样 大 。 因 此 ， 堆 中 的 最 大 元 素 存 放 在 根 结 点 中 ; 并 
且 ， 在 任 一 子 树 中 ， 该 子 树 所 包含 的 所 有 结 点 的 值 都 不 大 于 该 子 树 根 结 点 的 值 。 最 小 堆 的 组 织 方 ”[152 
式 正好 相反 : 最 小 堆 性 质 是 指 除 了 根 以 外 的 所 有 结 点 i 都 有 
A[PARENT(2)] < ALi] 
最 小 堆 中 的 最 小 元 素 存 放 在 根 结 点 中 。 

在 堆 排 序 算法 中 ， 我 们 使 用 的 是 最 大 堆 。 最 小 堆 通常 用 于 构造 优先 队列 ， 在 6. 5 节 中 ， 我 们 
会 再 具体 讨论 。 对 于 某 个 特定 的 应 用 来 说 ， 我 们 必须 明确 需要 的 是 最 大 堆 还 是 最 小 堆 ; 而 当 某 一 
属性 既 适 合 于 最 大 堆 也 适合 于 最 小 堆 的 时 候 ， 我们 就 只 使 用 “ 堆 ” 这 一 名 词 。 

如 果 把 堆 看 成 是 一 棵 树 ， 我 们 定义 一 个 堆 中 的 结 点 的 高 度 就 为 该 结 点 到 叶 结 点 最 长 简单 路 
径 上 边 的 数目 ， 进 而 我 们 可 以 把 堆 的 高 度 定义 为 根 结 点 的 高 度 。 既 然 一 个 包含 n 个 元 素 的 队 可 以 
看 做 一 棵 完全 二 又 树 ， 那 么 该 堆 的 高 度 是 9(lgz)( 见 练习 6. 1-2)。 我 们 会 发 现 ， 堆 结构 上 的 一 些 
基本 操作 的 运行 时 间 至 多 与 树 的 高 度 成 正比 ， 即 时 间 复 杂 度 为 O(lgz) 。 在 本 章 的 剩余 部 分 中 ， 
我 们 将 介绍 一 些 基 本 过 程 ， 并 说 明 如 何在 排序 算法 和 优先 队列 中 应 用 它们 。 

。 MAX-HEAPIFY 过 程 : 其 时 间 复 杂 度 为 O(lgn)， 它 是 维护 最 大 堆 性 质 的 关键 。 
BUILD-MAX-HEAP 过 程 具有 线性 时 间 复 杂 度 ， 功 能 是 从 无 序 的 输入 数据 数组 中 构造 
一 个 最 大 堆 。 

HEAPSORT 过 程 : 其 时 间 复 杂 度 为 O(nlgn)， 功 能 是 对 一 个 数组 进行 原址 排序 。 
e MAX-HEAP-INSERT, HEAP-EXTRACT-MAX, HEAP-INCREASE-KEY 和 HEAP-MAXIMUM 
过 程 : 时 间 复 杂 度 为 O(lgz) ， 功 能 是 利用 堆 实 现 一 个 优先 队列 。 


6.1-1 在 高 度 为 六 的 堆 中 ， 元 素 个 数 最 多 和 最 少 分 别 是 多 少 ? 
6.1-2 WEH: 含 w 个 元 素 的 堆 的 高 度 为 Llgaj。 

6.1-3 证 明 : 在 最 大 堆 的 任 一 子 树 中 ， 该 子 树 所 包含 的 最 大 元 素 在 该 子 树 的 根 结 点 上 。 53 
6.1-4 ”假设 一 个 最 大 堆 的 所 有 元 素 都 不 相同 ， 那 么 该 堆 的 最 小 元 素 应 该 位 于 哪里 ? 

6.1-5 一 个 已 排 好 序 的 数组 是 一 个 最 小 堆 吗 ? 

6.1-6 值 为 (23，17，14，6，13，10，1，5，7，12) 的 数组 是 一 个 最 大 堆 吗 ? 

6.1-7 证明 ， 当 用 数组 表示 存储 个 元 素 的 堆 时 ， 叶 结 点 下 标 分 别 是 Ln/2] 十 1，Ln/2] 二 2，…，n。 


6.2 维护 堆 的 性 质 

MAX-HEAPIFY 是 用 于 维护 最 大 堆 性 质 的 重要 过 程 。 它 的 输入 为 一 个 数组 A 和 一 个 下 标 i。 
在 调用 MAX-HEAPIFY 的 时 候 ， 我 们 假定 根 结 点 为 LEFT(i) 和 RIGHT(i) 的 二 又 树 都 是 最 大 堆 ， 
但 这 时 A[ 洒 有 可 能 小 于 其 孩子 ， 这 样 就 违背 了 最 大 堆 的 性 质 。MAX-HEAPIFY 通过 让 ALM fa 
在 最 大 堆 中 “ 逐 级 下 降 ”"， 从 而 使 得 以 下 标 ;为 根 结 点 的 子 树 重新 遵循 最 大 堆 的 性 质 。 
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MAX-HEAPIFY (A, i) 
1 l= LEFT (i) 

2 r= RIGHT (i) 

3 if 1 <A. heap-size and A[1] > ALi] 

4 largest =! 

5 else largest = i 

6 ifr <A. heap-size and A[r] > AlLlargest] 
7 largest = r 

8 if larget Ai 

9 exchange A[i] with A[ largest] 

10 MAX-HEAPIFY (A, largest ) 


图 6-2 图 示 了 MAX-HEAPIFY 的 执行 过 程 。 在 程序 的 每 一 步 中 ， 从 ALi], ALLEFTC) JA 
A[RIGHT(i)] 中 选 出 最 大 的 ， 并 将 其 下 标 存储 在 largest 中 。 如 果 ALIA, ARAVA i 为 根 
结 点 的 子 树 已 经 是 最 大 堆 ， 程 序 结束 。 否 则 ， 最 大 元 素 是 i 的 某 个 孩子 结 点 ， 则 交换 ALIA 
ALlargest] 的 值 。 从 而 使 i 及 其 孩子 都 满足 最 大 堆 的 性 质 。 在 交换 后 ， 下 标 为 largest 的 结 点 的 值 
是 原来 的 A[ 避 ， 于 是 以 该 结 点 为 根 的 子 树 又 有 可 能 会 违反 最 大 堆 的 性 质 。 因 此 ， 需 要 对 该 子 树 
递归 调用 MAX-HEAPIFY。 





图 6-2 24 A. heapsize 王 10 时 ，MAX-HEAPIFY(A，2) 的 执行 过 程 。(a) 初 始 状态 ， 在 结 点 ;一 2 
处 ，A[2] 违 背 了 最 大 堆 性 质 ， 因 为 它 的 值 不 大 于 它 的 孩子 。 在 (b) 中 ,通过 交换 AL2] 和 
ALKA, 44 2 恢复 了 最 大 堆 的 性 质 ， 但 又 导致 结 点 4 违反 了 最 大 堆 的 性 质 。 递 归 调 用 
MAX-HEAPIFY(A，4)， 此 时 一 4。 在 (c) 中 ， 通 过 交换 AL4] 和 A[9] 的 值 ， 结 点 4 的 最 
大 堆 性 质 得 到 了 恢复 。 再 次 递归 调用 MAX-HEAPIFY(A，9)， 此 时 不 再 有 新 的 数据 交换 


对 于 一 棵 以 i 为 根 结 点 、 大 小 为 n 的 子 树 ，MAX-HEAPIFY 的 时 间 代价 包括 : 调整 A[ 门 、 
ALLEFT(i) ] 和 ALRIGHT(2)] 的 关系 的 时 间 代 价 6(1)， 加 上 在 一 棵 以 i 的 一 个 孩子 为 根 结 点 的 
子 树 上 运行 MAX-HEAPIFY 的 时 间 代 价 ( 这 里 假设 递归 调用 会 发 生 )。 因 为 每 个 孩子 的 子 树 的 大 
小 至 多 为 2n/3( 最 坏 情 况 发 生 在 树 的 最 底层 恰好 半 满 的 时 候 )， 我 们 可 以 用 下 面 这 个 递归 式 刻 画 
MAX-HEAPIFY 的 运行 时 间 : 

T(n) < T(2n/3) +001) 
根据 主 定理 (定理 4.1) 的 情况 2， 上 述 递归 式 的 解 为 TC(n) 二 Ol(lgn)。 也 就 是 说 ， 对 于 一 个 树 高 为 
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的 结 点 来 说 ，MAX-HEAPIFY 的 时 间 复 杂 度 是 Oh). 


练习 

6.2-1 参照 图 6-2 的 方法 ， 说明 MAX-HEAPIFY(A，3) 在 数组 A= 二 (27，17，3，16，13,，10， 
1，5，7，12，4，8，9，0) 上 的 操作 过 程 。 

6.2-2 参考 过 程 MAX-HEAPIFY， 写 出 能 够 维护 相应 最 小 堆 的 MIN-HEAPIFY(A, 让 的 伪 代 
码 ， 并 比较 MIN-HEAPIFY 与 MAX-HEAPIFY 的 运行 时 间 。 

6.2-3 ” 当 元 素 A[ 疏 比 其 孩子 的 值 都 大 时 ,调用 MAX-HEAPIFY(A. 让 会 有 什么 结果 ? 

6.2-4 24 i>A. heap-size/2 ht, 调用 MAX-HEAPIFY(A, 会 有 什么 结果 ? 

6.2-5 MAX-HEAPIFY 的 代码 效率 较 高 ， 但 第 10 行 中 的 递归 调用 可 能 例外 ， 它 可 能 使 某 些 编 
译 器 产生 低 效 的 代码 。 请 用 循环 控制 结构 取代 递归 ， 重 写 MAX-HEAPIFY 代码 。 

6. 2-6 证 明 : 对 一 个 大 小 为 n 的 堆 ，MAX-HEAPIFY 的 最 坏 情况 运行 时 间 为 Q(lgn)。( 提 示 : 
对 于 ”个 结 点 的 堆 ， 可 以 通过 对 每 个 结 点 设 定 恰当 的 值 ， 使 得 从 根 结 点 到 叶 结 点 路 径 上 
的 每 个 结 点 都 会 递归 调用 MAX-HEAPIFY。) 


6.3 HE 


我 们 可 以 用 自 底 向 上 的 方法 利用 过 程 MAX-HEAPIFY 把 一 个 大 小 为 n= 二 A. length 的 数组 
ALL. .nj 转换 为 最 大 堆 。 通 过 练习 6. 1-7 可 以 知道 ， 子 数组 ACL n/2S+1.. n) PATCH ABE AY OT 
结 点 。 每 个 叶 结 点 都 可 以 看 成 只 包含 一 个 元 素 的 堆 。 过 程 BUILD-MAX-HEAP 对 树 中 的 其 他 结 
点 都 调用 一 次 MAX-HEAPIFY。 


BUILD-MAX-HEAP(A) 

1 A. heap-size = A. length 

2 for i = |A. length/2| downto 1 
3 MAX-HEAPIFY(A, i) 


6-3 给 出 了 BUILD-MAX-HEAP 过 程 的 一 个 例子 。 

为 了 证 明 BUILD-MAX-HEAP 的 正确 性 ， 我 们 使 用 如 下 的 循环 不 变量 : 

在 第 2 一 3 行 中 每 一 次 for 循环 的 开始 ， 结 点 i 十 1，i 十 2，…，n 都 是 一 个 最 大 堆 的 

根 结 点 。 

我 们 需要 证 明 这 一 不 变量 在 第 一 次 循环 前 为 真 ， 并 且 每 次 循环 迭代 都 维持 不 变 。 当 循环 结束 时 ， 
这 一 不 变量 可 以 用 于 证 明正 确 性 。 

初始 化 : 在 第 一 次 循环 迭代 之 前 ，;i 一 Lz2j， 而 LV2j+1，Lzy2j+2，…，72 都 是 叶 结 点 ， 因 
而 是 平凡 最 大 堆 的 根 结 点 。 

保持 : 为 了 看 到 每 次 迭代 都 维护 这 个 循环 不 变量 ， 注 意 到 结 点 i 的 孩子 结 点 的 下 标 均 比 i 
大 。 所 以 根据 循环 不 变量 ， 它 们 都 是 最 大 堆 的 根 。 这 也 是 调用 MAX-HEAPIFY(A, DEA i 
成 为 一 个 最 大 堆 的 根 的 先决 条 件 。 而 且 ，MAX-HEAPIFY 维护 了 结 点 i 十 1，i 十 2，…，nn 都 是 一 
个 最 大 堆 的 根 结 点 的 性 质 。 在 for 循环 中 递减 ;的 值 ， 为 下 一 次 循环 重新 建立 循环 不 变量 。 

终止 : 过 程 终 止 时 ，i 一 0。 根据 循环 不 变量 ， 每 个 结 点 1，2，…， n 都 是 一 个 最 大 堆 的 根 。 
特别 需要 指出 的 是 ， 结 点 1 就 是 最 大 的 那个 堆 的 根 结 点 。 

我 们 可 以 用 下 面 的 方法 简单 地 估算 BUILD-MAX-HEAP 运行 时 间 的 上 界 。 每 次 调用 MAX- 
HEAPIFY 的 时 间 复 杂 度 是 O(lgn)，BUILD-MAX-HEAP 需要 O(n) 次 这 样 的 调用 。 因 此 总 的 时 
间 复 杂 度 是 OC(nlgn)。 当 然 ， 这 个 上 界 虽然 正确 ， 但 不 是 渐 近 紧 确 的 。 

我 们 还 可 以 进一步 得 到 一 个 更 紧 确 的 界 。 可 以 观察 到 ， 不 同 结 点 运行 MAX-HEAPIFY 的 时 间 与 
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该 结 点 的 树 高 相关 ， 而 且 大 部 分 结 点 的 高 度 都 很 小 。 因 此 ， 利 用 如 下 性 质 可 以 得 到 一 个 更 紧 确 的 界 : 包 
含 nn 个 元 素 的 堆 的 高 度 为 Llgn|( 见 练习 6. 1-2); REH h 的 堆 最 多 包含 [n/2 1 个 结 点 ( 见 练习 6. 3-3). 

在 一 个 高 度 为 h 的 结 点 上 运行 MAX-HEAPIFY 的 代价 是 O(h)， 我 们 可 以 将 BUILD-MAX- 
HEAP 的 总 代价 表示 为 


Liga) Lemj 
h 
2 [ger |0 = O(n D7 =) 
最 后 的 一 个 累积 和 的 计算 可 以 用 c= 1/2 带 入 公式 (A. 8) 得 到 ， 则 有 
<< ee: 
2 24 (1—1/2)? ad 


h=0 


于 是 ， 我 们 可 以 得 到 BUILD-MAX-HEAP 的 时 间 复 杂 度 : 
Liga æ 
O(n) =) = O(n 如 ar) = OM 


h=0 


因此 ， 我 们 可 以 在 线性 时 间 内 ， 把 一 个 无 序数 组 构造 成 为 一 个 最 大 堆 。 
4[4[1312|26[9jlol4|817| 





6-3 BUILD-MAX-HEAP 的 操作 过 程 示 意图 ， 显示 了 在 BUILD-MAX-HEAP 的 第 3 行 调 用 
MAX-HEAPIFY 之 前 的 数据 结构 。(a) 一 个 包括 10 个 元 素 的 输入 数组 及 其 对 应 的 二 叉 树 。 
图 中 显示 的 是 调用 MAX-HEAPIFY(A, 让 前 ， 循 环 控制 变量 i 指向 结 点 5 的 情况 。(b) 操 
作 结 果 的 数据 结构 。 下 一 次 迭代 ， 循 环 控制 变量 i 指向 结 点 4。(c) 一 (e) BUILD-MAX- 
HEAP 中 for 循环 的 后 续 迭 代 操 作 。 需 要 注意 的 是 ， 任 何 时 候 在 某 个 结 点 调用 MAX- 
HEAPIFY, 该 结 点 的 两 个 子 树 都 是 最 大 堆 。(f) 执 行 完 BUILD-MAX-HEAP 时 的 最 大 堆 
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类 似 地 ， 我 们 也 可 以 通过 调用 BUILD-MIN-HEAP 构造 一 个 最 小 堆 。 除 了 第 3 行 的 调用 替换 
为 MIN-HEAPIFY( 见 练习 6. 2-2) 以 外 ，BUILD-MIN-HEAP 与 BUILD-MAX-HEAP 完全 相同 。 
BUILD-MIN-HEAP 可 以 在 线性 时 间 内 ， 把 一 个 无 序数 组 构造 成 为 一 个 最 小 堆 。 


练习 

6.3-1 参照 图 6-3 的 方法 ， 说 明 BUILD-MAX-HEAP 在 数组 A=(5, 3, 17, 10, 84, 19, 6, 
22，9? 上 的 操作 过 程 。 

6.3-2 对 于 BUILD-MAX-HEAP 中 第 2 行 的 循环 控制 变量 ;来 说 ， 为 什么 我 们 要 求 它 是 从 
LA. length/2] 到 1 递减， 而 不 是 从 1 BLA. /enrgth/2j 递 增 呢 ? 

6.3-3 证明: 对 于 任 一 包含 n 个 元 素 的 堆 中 ， 至 多 有 [nn/2** "| 个 高 度 为 的 结 点 ? 


6.4 堆 排 序 算法 


初始 时 候 ， 堆 排序 算法 利用 BUILD-MAX-HEAP 将 输入 数组 AL1. . n ERRAK, HH n= 
A. length。 因 为 数组 中 的 最 大 元 素 总 在 根 结 点 AL1j 中 ， 通 过 把 它 与 ALnj 进 行 互 换 ， 我们 可 以 让 
该 元 素 放 到 正确 的 位 置 。 这 时 候 ， 如 果 我 们 从 堆 中 去 掉 结 点 n( 这 一 操作 可 以 通过 减少 A. heap- 
size 的 值 来 实现 )， 剩 余 的 结 点 中 ， 原 来 根 的 孩子 结 点 仍然 是 最 大 堆 ， 而 新 的 根 结 点 可 能 会 违背 
最 大 堆 的 性 质 。 为 了 维护 最 大 堆 的 性 质 ， 我 们 要 做 的 是 调用 MAX-HEAPIFY(A，1)， 从 而 在 
ALl. .7 一 1] 上 构造 一 个 新 的 最 大 堆 。 堆 排序 算法 会 不 断 重复 这 一 过 程 ， 直 到 堆 的 大 小 从 nn 一 1 降 
到 2。( 准 确 的 循环 不 变量 定义 见 练习 6. 4-2.) 

HEAPSORT(A) 

1 BUILD-MAX-HEAP(A) 

2 fori = A. length downto 2 

3 exchange A[1] with A[i] 

4 A. heap-size = A. heap-size — 1 
5 MAX-HEAPIFY(A, 1) 


6-4 给 出 了 一 个 在 HEAPSORT 的 第 1 行 建立 初始 最 大 堆 之 后 ， 堆 排序 操作 的 一 个 例子 。 
图 6-4 显示 了 第 2 一 5 行 for 循环 第 一 次 迭代 开始 前 最 大 堆 的 情况 和 每 一 次 迭代 之 后 最 大 堆 的 情况 。 
HEAPSORT 过 程 的 时 间 复 杂 度 是 O(nlgn)， 因 为 每 次 调用 BUILD-MAX-HEAP 的 时 间 复 杂 
REE Oln), mi "一 1 次 调用 MAX-HEAPIFY， 每 次 的 时 间 为 O(lgn)。 
(16) (4) 
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6-4 HEAPSORT 的 运行 过 程 。(a) 执 行 堆 排 序 算法 第 1 行 , 用 BUILD-MAX-HEAP 构造 得 到 的 
最 大 堆 。(b) 一 (G) 每 次 执行 算法 第 5 行 ， 调 用 MAX-HEAPIFY 后 得 到 的 最 大 堆 ， 并 标识 当 
次 的 i 值 。 其 中 ,仅仅 浅 色 阴 影 的 结 点 被 保留 在 堆 中 。(k) 最 终 数 组 A 的 排序 结果 
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x Yo or “Oo or © 


© @@ ®@ i:@®@ @@ © © @@ © 


@ @ @ ®@@ @ @ @ 
(g) Ch) (i) 
® 
i@ ® 
A [1121314171s19 jiol4|26 
@ @@ ®@ 
@O@ 
(j) (k) 
图 6-4 ( 续 ) 
练习 
6.4-1 参照 图 6-4 的 方法 ， 说明 HEAPSORT 在 数组 A 二 (5，13, 2, 25, 7, 17, 20, 8, HE 
的 操作 过 程 。 


6.4-2 ” 试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAPSORT 的 正确 性 : 
在 算法 的 第 2 一 5 行 for 循环 每 次 迭代 开始 时 ， 子 数组 A[1.. 疏 是 一 个 包含 了 数 

组 A[1. .nj 中 第 i 小 元 素 的 最 大 堆 ， 而 子 数组 A[i 十 1. .nj 包含 了 数组 A[1..nj 中 已 排 
序 的 n 一 i 个 最 大 元 素 ? 

6.4-3 ”对 于 一 个 按 升序 排列 的 包含 n 个 元 素 的 有 序数 组 A 来 说 ，HEAPSORT 的 时 间 复 杂 度 是 
多 少 ? 如 果 A 是 降序 呢 ? 

6.4-4 证 明 : 在 最 坏 情 况 下 ，HEAPSORT 的 时 间 复 杂 度 是 Q(nlgn)。 

*6. 4-5 WEH: 在 所 有 元 素 都 不 同 的 情况 下 ，HEAPSORT 的 时 间 复 杂 度 是 Q(nlgn)。 


6.5 优先 队列 


堆 排 序 是 一 个 优秀 的 算法 ， 但 是 在 实际 应 用 中 ,第 7 章 将 要 介绍 的 快速 排序 的 性 能 一 般 会 优 
于 堆 排序 。 尽 管 如 此 ， 堆 这 一 数据 结构 仍然 有 很 多 应 用 。 在 这 一 节 中 ， 我 们 要 介绍 堆 的 一 个 常见 
应 用 : 作为 高 效 的 优先 队列 。 和 堆 一 样 ， 优 先 队 列 也 有 两 种 形式 : 最 大 优先 队列 和 最 小 优先 队 
列 。 这 里 ， 我 们 关注 于 如 何 基于 最 大 堆 实现 最 大 优先 队列 。 练 习 6. 5-3 将 会 要 求 读者 编写 最 小 优 
先 队 列 过 程 。 

优先 队列 (priority queue) 是 一 种 用 来 维护 由 一 组 元 素 构成 的 集合 S 的 数据 结构 ， 其 中 的 每 一 
个 元 素 都 有 一 个 相关 的 值 ， 称 为 关键 字 (key) 。 一 个 最 大 优先 队列 支持 以 下 操作 : 

INSERT(S, x): 把 元 素 z 插 入 集合 S 中 。 这 一 操作 等 价 于 S=SU {zx}。 

MAXIMUM(S): 返回 S 中 具有 最 大 键 字 的 元 素 。 

EXTRACT-MAX(S) : 去 掉 并 返回 S 中 的 具有 最 大 键 字 的 元 素 。 

INCREASE-KEY(S, x, k): 将 元 素 工 的 关键 字 值 增 加 到 &， 这 里 假设 & 的 值 不 小 于 z 的 原 
关键 字 值 。 

最 大 优先 队列 的 应 用 有 很 多 ， 其 中 一 个 就 是 在 共享 计算 机 系统 的 作业 调度 。 最 大 优先 队列 
记录 将 要 执行 的 各 个 作业 以 及 它们 之 间 的 相对 优先 级 。 当 一 个 作业 完成 或 者 被 中 断后 ， 调 度 器 
调用 EXTRACT-MAX 从 所 有 的 等 待 作业 中 ， 选 出 具有 最 高 优先 级 的 作业 来 执行 。 在 任何 时 候 ， 
调度 器 可 以 调用 INSERT 把 一 个 新 作业 加 入 到 队列 中 来 。 
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相应 地 ,最 小 优先 队列 支持 的 操作 包括 INSERT、MINIMUM、EXTRACT-MIN 和 
DECREASE-KEY。 最 小 优先 队列 可 以 被 用 于 基于 事件 驱动 的 模拟 器 。 队 列 中 保存 要 模拟 的 事 
件 ， 每 个 事件 都 有 一 个 发 生 时 间作 为 其 关键 字 。 事 件 必须 按照 发 生 的 时 间 顺 序 进 行 模拟 ， 因 为 某 
一 事件 的 模拟 结果 可 能 会 触发 对 其 他 事件 的 模拟 。 在 每 一 步 ， 模 拟 程序 调用 EXTRACT-MIN 来 
选择 下 一 个 要 模拟 的 事件 。 当 一 个 新 事件 产生 时 ， 模 拟 器 通过 调用 INSERT 将 其 插入 最 小 优先 
级 队列 中 。 在 第 23 章 和 第 24 章 的 内 容 中 ， 我 们 将 会 看 到 最 小 优先 队列 的 其 他 用 途 ， 特 别 是 对 
DECREASE-KEY 操作 的 使 用 。 

显然 ， 优 先 队 列 可 以 用 堆 来 实现 。 对 一 个 像 作 业 调 度 或 事件 驱动 模拟 器 这 样 的 应 用 程序 来 
说 ， 优 先 队 列 的 元 素 对 应 着 应 用 程序 中 的 对 象 。 通 常 ， 我 们 需要 确定 哪个 对 象 对 应 一 个 给 定 的 优 
先 队列 元 素 ， 反 之 亦 然 。 因 此 ， 在 用 堆 来 实现 优先 队列 时 ， 需 要 在 堆 中 的 每 个 元 素 里 存储 对 应 对 
象 的 句柄 (handle) 。 句 柄 (如 一 个 指针 或 一 个 整 型 数 等 ) 的 准确 含义 依赖 于 具体 的 应 用 程序 。 同 
样 ， 在 应 用 程序 的 对 象 中 ， 我 们 也 需要 存储 一 个 堆 中 对 应 元 素 的 句柄 。 通 常 ， 这 一 句柄 是 数组 的 
下 标 。 由 于 在 堆 的 操作 过 程 中 ， 元 素 会 改变 其 在 数组 中 的 位 置 ， 因 此 ， 在 具体 的 实现 中 ， 在 重新 
确定 堆 元 素 位置 时 ， 我 们 也 需要 更 新 相应 应 用 程序 对 象 中 的 数组 下 标 。 因 为 对 应 用 程序 对 象 的 
访问 细节 强烈 依赖 于 应 用 程序 及 其 实现 方式 ， 所 以 这 里 我 们 不 做 详细 讨论 。 需 要 强调 的 是 ， 这 些 
句柄 也 需要 被 正确 地 维护 。 

现在 ， 我 们 来 讨论 如 何 实现 最 大 优先 队列 的 操作 。 过 程 HEAP-MAXIMUM 可 以 在 8(1) 时 
间 内 实现 MAXIMUM 操作 。 

HEAP-MAXIMUM(A) 

1 return A[1] 


过 程 HEAP-EXTRACT-MAX 实现 EXTRACT-MAX 操作 。 它 与 HEAPSORT 过 程 中 的 for 
循环 体 部 分 (第 3 一 5 行 ) 很 相似 。 
HEAP-EXTRACT-MAX(A) 
1 if A. heap-size < 1 
2 error “heap underflow” 
3 max = A[1] 
4 AL1] = ACA. heap-size } 
5 A.heaprsize = A. heap-size — 1 
6 MAX-HEAPIFY(A, 1) 
T 


return max 


HEAP-EXTRACT-MAX 的 时 间 复 杂 度 为 O(lgz) 。 因 为 除了 时 间 复 杂 度 为 O(lgz) 的 MAX- 
HEAPIFY 以 外 ， 它 的 其 他 操作 都 是 常数 阶 的 。 

HEAP-INCREASE-KEY 能 够 实现 INCREASE-KEY 操作 。 在 优先 队列 中 ,我们 希望 增加 关 
键 字 的 优先 队列 元 素 由 对 应 的 数组 下 标 i 来 标识 。 这 一 操作 需要 首先 将 元 素 A[ 门 的 关键 字 更 新 为 
新 值 。 因 为 增 大 A[i 的 关键 字 可 能 会 违反 最 大 堆 的 性 质 ， 所 以 上 述 操作 采用 了 类 似 于 2.1 节 
INSERTION-SORT 中 插入 循环 (算法 第 5 一 7 行 ) 的 方式 ， 在 从 当前 结 点 到 根 结 点 的 路 径 上 ， 为 
新 增 的 关键 字 寻 找 恰 当 的 插入 位 置 。 在 HEAP-INCREASE-KEY 的 操作 过 程 中 ， 当 前 元 素 会 不 
断 地 与 其 父 结 点 进行 比较 ， 如 果 当 前 元 素 的 关键 字 较 大 ， 则 当前 元 素 与 其 父 结 点 进行 交换 。 这 一 
过 程 会 不 断 地 重复 ， 直 到 当前 元 素 的 关键 字 小 于 其 父 结 点 时 终止 ， 因 为 此 时 已 经 重新 符合 了 最 
大 堆 的 性 质 。( 淮 确 的 循环 不 变量 表示 见 练习 6. 5-5.) 

HEAP-INCREASE-KEY(A, i, key) 

1 if key < Ali] 
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2 error “new key is smaller than current key” 

3 Ali] = key 

4 while i > 1 and ACPARENT(i)] < A[i] 

5 exchange A[i] with ACPARENT() ] 

6 i = PARENT(i) 

图 6-5 显示 了 HEAP-INCREASE-KEY 的 一 个 操作 过 程 。 在 包含 个 元 素 的 堆 上 ，HEAP- 
INCREASE-KEY 的 时 间 复 杂 度 是 O(lgn)。 这 是 因为 在 算法 第 3 行 做 了 关键 字 更 新 的 结 点 到 根 结 
点 的 路 径 长 度 为 Ogn). 





图 6-5 HEAP-INCREASE-KEY 的 操作 过 程 。(a) 图 6-4(a) 中 的 量 大 堆 ， 其 中 下 标 为 i 的 结 点 以 深 色 阴影 
显示 。(b) 该 结 点 的 关键 字 增加 到 15。(c) 经 过 第 4 一 6 行 的 while 循环 的 一 次 迭代 ， 该 结 点 与 其 父 
结 点 交换 关键 字 ， 同 时 下 标 i 的 指示 上 移 到 其 父 结 点 。(d) 经 过 再 一 次 迭代 后 得 到 的 最 大 堆 。 此 时 ， 
A[PARENT(i) ] 宇 A[ 疏 。 现 在 ， 最 大 堆 的 性 质 成 立 ， 程 序 终止 


MAX-HEAP-INSERT 能 够 实现 INSERT 操作 。 它 的 输入 是 要 被 插入 到 最 大 堆 A 中 的 新 元 素 
的 关键 字 。MAX-HEAP-INSERT 首先 通过 增加 一 个 关键 字 为 一 c 的 叶 结 点 来 扩展 最 大 堆 。 然 后 
调用 HEAP-INCREASE-KEY 为 新 结 点 设置 对 应 的 关键 字 ， 同 时 保持 最 大 堆 的 性 质 。 

MAX-HEAP-INSERT(A, key) 

1 A.heap-size = A. heap size + 1 

2 ALA. heap-size ] 一 一 co 

3  HEAP-INCREASE-KEY(A, A. heaprsize, key) 

在 包含 n SICH HEL, MAX-HEAP-INSERT 的 运行 时 间 为 O(lgn)。 

总 之 ， 在 一 个 包含 n 个 元 素 的 堆 中 ， 所 有 优先 队列 的 操作 都 可 以 在 Ol(gn) 时 间 内 完成 。 


练习 
6.5-1 试 说 明 HEAP-EXTRACT-MAX 在 堆 A=(15, 13, 9, 5, 12, 8, 7, 4, 0, 6, 2, DDE 


的 操作 过 程 。 
6.5-2 试 说 明 MAX-HEAP-INSERT(A, 10) 在 堆 A= (15, 13， 9， 5， 12， 8, 7, 4, 0， 6， 2， 1) 


上 的 操作 过 程 。 


6. 5-3 


6. 5-4 


6. 5-5 


6. 5-6 
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要 求 用 最 小 堆 实现 最 小 优先 队列 ， 请 写 出 HEAP-MINIMUM、HEAP-EXTRACT-MIN、 
HEAP-DECREASE-KEY 和 MIN-HEAP-INSERT 的 伪 代 码 。 
在 MAX-HEAP-INSERT 的 第 2 行 ， 为 什么 我 们 要 先 把 关键 字 设 为 一 上 2， 然 后 又 将 其 增 
加 到 所 需 的 值 呢 ? 
试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAP-INCREASE-KEY 的 正确 性 : 

在 算法 的 第 4 一 6 FF while 循环 每 次 迭代 开始 的 时 候 ， 子 数组 AL1..A. heapsize | 
要 满足 最 大 堆 的 性 质 。 如 果 有 违背 ， 只 有 一 个 可 能 : A[ 让 大 于 ALPARENT()]. 
这 里 ， 你 可 以 假定 在 调用 HEAP-INCREASE-KEY 时 ，A[1..A. heap-size ] 是 满足 最 大 堆 
性 质 的 。 
在 HEAP-INCREASE-KEY 的 第 5 行 的 交换 操作 中 ， 一 般 需 要 通过 三 次 赋值 来 完成 。 想 
一 想 如 何 利 用 INSERTION-SORT 内 循环 部 分 的 思想 ， 只 用 一 次 赋值 就 完成 这 一 交换 
操作 ? 


6. 5-7” 试 说 明 如 何 使 用 优先 队列 来 实现 一 个 先进 先 出 队列 ， 以 及 如 何 使 用 优先 队列 来 实现 栈 。 
(队列 和 栈 的 定义 见 10. 1 节 。) 
6.5-8 HEAP-DELETECA, 操作 能 够 将 结 点 i 从 堆 A 中 删除 。 对 于 一 个 包含 ”个 元 素 的 堆 ， 
请 设计 一 个 能 够 在 O(lgn) 时 间 内 完成 的 HEAP-DELETE 操作 。 
6. 5-9 请 设计 一 个 时 间 复 杂 度 为 O(n lgk) 的 算法 ， 它 能 够 将 & 个 有 序 链表 合并 为 一 个 有 序 链表 ， 
这 里 ”是 所 有 输入 链表 包含 的 总 的 元 素 个 数 。( 提 示 : 使 用 最 小 堆 来 完成 路 归并 .) 
思考 题 
6-1 (用 插入 的 方法 建 堆 ) 我 们 可 以 通过 反复 调用 MAX-HEAP-INSERT 实现 向 一 个 堆 中 插入 
TK, 考虑 BUILD-MAX-HEAP 的 如 下 实现 方式 : 
BUILD-MAX-HEAP' (A) 
1 A. heaprsize = 1 
2 for i =2 to A. length 
3 MAX-HEAP-INSERT(A, A[i]) 


6-2 


6-3 


a. 当 输 入 数据 相同 的 时 候 ，BUILD-MAX-HEAP 和 BUILD-MAX-HEAP' 生 成 的 堆 是 否 总 
是 一 样 ? 如 果 是 ， 请 证 明 ; 和 否则， 请 举 出 一 个 反例 。 

b. 证 明 : 在 最 坏 情 况 下 ， 调 用 BUILD-MAX-HEAP' 建 立 一 个 包含 ”个 元 素 的 堆 的 时 间 复 杂 
度 是 O(n ign). 

(对 d 又 堆 的 分 析 ) 只 叉 堆 与 二 叉 堆 很 类 似 ， 但 (一 个 可 能 的 例外 是 ) 其 中 的 每 个 非 叶 结 点 

有 d 个 孩子 ， 而 不 是 仅仅 2 个 。 

a. 如 何在 一 个 数组 中 表示 一 个 d LHE? 

b. 包含 n 个 元 素 的 a 又 堆 的 高 度 是 多 少 ? 请 用 n 和 4d 表示 。 

c 请 给 出 EXTRACT-MAX 在 d 叉 最 大 堆 上 的 一 个 有 效 实现 ， 并 用 dAn 表示 出 它 的 时 间 
复杂 度 。 

d. 给 出 INSERT Æ d 又 最 大 堆 上 的 一 个 有 效 实现 ， 并 用 & 和 nn 表示 出 它 的 时 间 复 杂 度 。 

e 给 出 INCREASE-KEY(A, i, &) 的 一 个 有 效 实现 。 当 有 二 A[ 门 时 ， 它 会 触发 一 个 错误 ， 
否则 执行 AL 让 = 上 &， 并 更 新 相应 的 d 叉 最 大 堆 。 请 用 d 入 表示 出 它 的 时 间 复 杂 度 。 

(Young RÆ) 在 一 个 mXn 的 Young 氏 矩阵 (Young tableau) 中 ， 每 一 行 的 数据 都 是 从 左 

到 右 排序 的 ， 每 一 列 的 数据 都 是 从 上 到 下 排序 的 。Young 氏 和 矩阵 中 也 会 存在 一 些 值 为 cc 的 数 

据 项 ， 表 示 那 些 不 存在 的 元 素 。 因 此 ，Young 氏 和 矩阵 可 以 用 来 存储 r <n 个 有 限 的 数 。 
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a. 画 出 一 个 包含 元 素 为 { 9，16，3，2，4，8，5，14，12}) 的 4X4Young RER. 
b. 对 于 一 个 mXn 的 Young RERE Y KVL, WUE: WR YC, 1]=oo, WY AAs MR 
167 Yim, n]<co, MY 为 满 ( 即 包含 mn 个 元 素 )。 

c 请 给 出 一 个 在 mXn Young 氏 和 矩阵 上 时 间 复 杂 度 为 OCm 十 ) 的 EXTRACT-MIN 的 算法 实 
现 。 你 的 算法 可 以 考虑 使 用 一 个 递归 过 程 ， 它 可 以 把 一 个 规模 为 mXn 的 问题 分 解 为 规 
模 为 (m 一 1) Xn RH m X (* 一 1) 的 子 问题 (提示 : 考虑 使 用 MAX-HEAPIFY)。 这 里 ， 定 
X T(p) 用 来 表示 EXTRACT-MIN 在 任 一 mXn 的 Young 氏 和 矩阵 上 的 时 间 复 杂 度 ， 其 中 
p= 二 mx 十 n。 给 出 并 求解 T(p) 的 递归 表达 式 ， 其 结果 为 Omn). 

d. 试 说 明 如 何在 OClm 十 nn) 时间 内 ， 将 一 个 新 元 素 插 入 到 一 个 未 满 的 mXn 的 Young RE 
阵 中 。 

e 在 不 用 其 他 排序 算法 的 情况 下 ， 试 说 明 如 何 利 用 一 个 nXn 的 Young REEE O? ) 时 间 
内 将 xr 个 数 进行 排序 。 

f. 设计 一 个 时 间 复 杂 度 为 OC(m 十 n) 的 算法 ， 它 可 以 用 来 判断 一 个 给 定 的 数 是 否 存储 在 mXn 
的 Young 氏 和 矩阵 中 。 


本 章 注 记 

堆 排序 算法 是 由 Williams[L357j 发 明 的 ， 他 同时 描述 了 如 何 利用 堆 来 实现 一 个 优先 队列 。 
BUILD-MAX-HEAP 则 是 由 FloydL106] 提 出 的 。 

在 第 16、23 和 24 章 中 ， 我 们 会 使 用 最 小 堆 实 现 最 小 优先 队列 。 在 第 19 章 中 ， 我 们 会 给 出 
一 个 针对 特定 操作 改进 了 时 间 界 的 算法 实现 。 在 第 20 章 中 ， 我 们 还 给 出 了 一 个 针对 关键 字 来 自 
有 限 非 负 整 数 集合 的 实现 。 

如 果 数 据 都 是 2 位 整 型 数 ， 而 且 计 算 机 内 存 也 是 可 寻 址 的 5 位 字 所 组 成 的 ，Fredman 和 
Willard[115] 给 出 了 如 何在 O(1) 时 间 内 实现 MINIMUM 和 在 OC Ign) BY i AY SEH INSERT, 
EXTRACT-MIN 操作 的 算法 。ThorupL337] 将 时 间 复 杂 度 的 界 降低 到 O(lglg n)。 这 一 性 能 的 提 
升 是 以 使 用 了 额外 的 存储 空间 为 代价 的 ， 这 可 以 用 随机 散 列 方法 在 线性 空间 中 实现 。 

优先 队列 的 一 个 重要 的 特殊 情形 是 EXTRACT-MIN 操作 序列 为 单调 的 ， 即 连续 EXTRACT- 
MIN 操作 返回 的 值 随 着 时 间 单 调 递增 。 这 一 情况 会 在 一 些 重要 的 应 用 中 出 现 ， 例 如 ， 第 24 章 中 
将 会 介绍 的 Dijkstra 单 源 最 短路 径 算法 和 离散 事件 模拟 等 。 在 Dijkstra 算法 中 ，DECREASE- 

168] KEY 的 实现 效率 非常 重要 。 对 于 单调 情形 ， 如 果 数 据 是 1，2，…，C 范围 内 的 整数 ，Ahuja、 
Melhorn, Orlin 和 TarjanL8] 利 用 称 为 基数 堆 (radix heap) 的 数据 结构 ， 实 现 了 O(lgC) 摊 还 时 间 内 
的 EXTRACT-MIN 和 INSERT 操作 ( 摊 还 分 析 的 内 容 请 参见 第 17 W), UR O) it A 
DECREASE-KEY。 通 过 同时 使 用 斐 波 那 契 堆 ( 见 第 19 章 ) 和 基数 堆 ， 这 一 时 间 界 可 以 从 O(lgC) 
降低 到 OC( VlgC)。 通 过 将 Denardo 和 Fox[85] 提 出 的 多 层 桶 结构 与 前 文中 提 到 的 Thorup 设计 的 
堆 相 结合 ，Cherkassky、Goldberg 和 Silverstein[65] 进 一 步 把 这 一 时 间 界 降低 到 OCgVa+eC) 。 
RamanL291] 进 一 步 改 进 这 些 结果 ， 将 其 降低 到 OCmindg C, Ign), SPHERE EM e>0 
都 成 立 。 
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快速 排序 


对 于 包含 ”个 数 的 输入 数组 来 说 ， 快 速 排序 是 一 种 最 坏 情 况 时 间 复 杂 度 为 BC ) 的 排序 算 
法 。 虽 然 最 坏 情 况 时 间 复 杂 度 很 差 ， 但 是 快速 排序 通常 是 实际 排序 应 用 中 最 好 的 选择 ， 因 为 它 的 
平均 性 能 非常 好 : 它 的 期 望 时 间 复 杂 度 是 Olgan), mH Bnlgn) 中 隐 含 的 常数 因子 非常 小 。 另 
外 ， 它 还 能 够 进行 原址 排序 ( 见 2. 1 节 )， 甚 至 在 虚 存 环境 中 也 能 很 好 地 工作 。 

7. 1 节 将 描述 快速 排序 算法 及 它 的 一 个 重要 的 划分 子 程序 。 因 为 快速 排序 的 运行 情况 比较 复 
杂 , 在 7.2 节 中 ,我 们 先 对 其 性 能 进行 一 个 直观 的 讨论 ， 在 本 章 的 最 后 会 给 出 一 个 准确 的 分 析 。 
在 7. 3 节 中 ， 我 们 会 介绍 一 个 基于 随机 抽样 的 快速 排序 算法 。 这 一 算法 的 期 望 时 间 复 杂 度 较 好 ， 
而 且 没 有 什么 特殊 的 输入 会 导致 最 坏 情况 的 发 生 。7. 4 节 对 这 一 随机 算法 的 分 析 表 明 ， 其 最 坏 情 
况 时 间 复 杂 度 是 OC’); 在 元 素 互 异 的 情况 下 ， 期 望 时 间 复 杂 度 O(n Ign) 。 


7. 1 快速 排序 的 描述 

与 归并 排序 一 样 ， 快 速 排序 也 使 用 了 2. 3. 1 节 介 绍 的 分 治 思 想 。 下 面 是 对 一 个 典型 的 子 数组 
ALp. .rj 进行 快速 排序 的 三 步 分 治 过 程 : 

分 解 : BWA ALP. .rj 被 划分 为 两 个 (可 能 为 空 ) 子 数组 ALp..g 一 1] 和 ALg 十 1..r]， 使 得 
ALp. .9 一 1J 中 的 每 一 个 元 素 都 小 于 等 于 AL[q]， 而 ALqj 也 小 于 等 于 ALgq 十 1..r] 中 的 每 个 元 素 。 
其 中 ,计算 下 标 g 也 是 划分 过 程 的 一 部 分 。 

解决 : 通过 递归 调用 快速 排序 ， 对 子 数组 ALp. . g 一 1] 和 ALgq 十 1. . 门 进 行 排序 。 

合并 : 因为 子 数组 都 是 原址 排序 的 ， 所 以 不 需要 合并 操作 : 数组 ALp. . 门 已 经 有 序 。 

下 面 的 程序 实现 快速 排序 : 


QUICKSORT(A, p, r) 





1 if p<r 

2 q = PARTITION(A, p, r) 
3 QUICKSORT(A, p, g—1) 
4 QUICKSORT(A, q+ 1, r) 


为 了 排序 一 个 数组 A 的 全 部 元 素 ， 初 始 调用 是 QUICKSORT(A, 1, A. length). 
数组 的 划分 
算法 的 关键 部 分 是 PARTITION 过 程 ， 它 实现 了 对 子 数组 ALD. . rj] 的 原址 重 排 。 


PARTITION(A, p, r) 
1 z= A[r] 

2 i=p-l 

3 forj = ptor—1 

4 if A ]<z 

5 i=i+1 

6 exchange A[i] with A[j] 
7 exchange A[i+ 1] with A[r] 

8 returni + 1 


K 7-1 显示 了 PARTITION 如 何在 一 个 包含 8 个 元 素 的 数组 上 进行 操作 的 过 程 。 
PARTITION 总 是 选择 一 个 x 二 ALrj 作 为 主 元 (pivot element) ， 并 围绕 它 来 划分 子 数组 A[p. . 门 。 
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随 着 程序 的 执行 ， 数 组 被 划分 成 4 个 (可 能 有 空 的 ) 区 域 。 在 第 3 一 6 行 的 for 循环 的 每 一 轮 迭 代 的 
开始 ， 每 一 个 区 域 都 满足 一 定 的 性 质 ， 如 图 7-2 所 示 。 我 们 将 这 些 性 质 作 为 循环 不 变量 : 
在 第 3 一 6 行 循环 体 的 每 一 轮 迭 代 开 始 时 ， 对 于 任意 数组 下 标 &， 有 : 
1. 若 p<k<i, Wi) A[&k] 志 zx。 
2. #itl<rke<j—l1, W ALR] >-z. 
171 3. #k=r, N] ALAJ==z. 
但 是 上 述 三 种 情况 没有 覆盖 下 标 7 到 7 一 1， 对 应 位 置 的 值 与 主 元 之 间 也 不 存在 特定 的 大 小 关系 。 


i pi j r 


pj r 
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p i J r 


Ce) fa pe 3/5] 694 | (f) 
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图 7-1 在 一 个 样 例 数组 上 的 PARTITION 操作 过 程 。 数 组 项 AL 站 是 主 元 x。 浅 阴影 部 分 的 数组 元 
素 都 在 划分 的 第 一 部 分 ， 其 值 都 不 大 于 zx。 深 阴影 部 分 的 元 素 都 在 划分 的 第 二 部 分 ， 其 值 
都 大 于 zx。 无 阴影 的 元 素 则 是 还 未 分 人 这 两 个 部 分 中 的 任意 一 个 。 最 后 的 白色 元 素 就 是 主 
元 zx。(a) 初 始 的 数组 和 变量 设置 。 数 组 元 素 均 未 被 放 人 前 两 个 部 分 中 的 任何 一 个 。(b)2 
与 它 自身 进行 交换 ， 并 被 放 人 了 元 素 值 较 小 的 那个 部 分 。(c) 一 (d)8 和 ?7 被 添加 到 元 素 值 
较 大 的 那个 部 分 中 。(e)1 和 8 进行 交换 ， 数 值 较 小 的 部 分 规模 增加 。(f) 数 值 3 和 7 进行 
交换 ， 数 值 较 小 的 部 分 规模 增加 。(g)~(h)5 和 6 被 包含 进 较 大 部 分 ， 循 环 结束 。(i) 在 第 
7~8 行 中 ， 主 元 被 交换 ， 这 样 主 元 就 位 于 两 个 部 分 之 间 





图 7-2 在 子 数组 A[p..r] 上 ，PARTITION 维护 了 4 个 区 域 。A[p.. 司 区 间 内 的 所 有 值 都 小 于 等 
于 x，A[i 十 1..j 一 1] 区 间 内 的 所 有 值 都 大 于 z+，A[r]= 二 x。 子 数组 A[j. .7 一 1] 中 的 值 可 
能 属于 任何 一 种 情况 


我 们 需要 证 明 这 个 循环 不 变量 在 第 一 轮 迭代 之 前 是 成 立 的 ， 并 且 在 每 一 轮 迭 代 后 仍然 都 成 
立 。 在 循环 结束 时 ， 该 循环 不 变量 还 可 以 为 证 明正 确 性 提供 有 用 的 性 质 。 

初始 化 : 在 循环 的 第 一 轮 迭 代 开 始 之 前 ，i 王 p 一 1 和 j 王 p。 因 为 在 pp 和 i 之 间 、i 十 1 和 
] 一 1 之 间 都 不 存在 值 ， 所 以 循环 不 变量 的 前 两 个 条 件 显然 都 满足 。 第 1 行 中 的 赋值 操作 满足 了 
第 三 个 条 件 。 

保持 : 如 图 7-3 所 示 ， 根 据 第 4 行 中 条 件 判 断 的 不 同 结果 ， 我 们 需要 考虑 两 种 情况 。 图 7-3(a) 
显示 当 AL J> A: 循环 体 的 唯一 操作 是 j 的 值 加 1。 在 7 值 增加 后 ， 对 AD 一 1]， 条 件 
2 成立 ， 且 所 有 其 他 项 都 保持 不 变 。 图 7-3(b) 显 示 当 ALJ Ja ATOR: 将 i 值 加 1， 交 换 A[ 门 
和 AL]， 再 将 7 值 加 1。 因 为 进行 了 交换 ， 现 在 有 ALSI, PUA 1 得 到 满足 。 类 似 地 ， 我 
们 也 能 得 到 AUD 一 可 >z。 因 为 根据 循环 不 变量 ， 被 交换 进 AD 一 区 的 值 总 是 大 于 工 的 。 
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(b) 





7-3 PARTITION H—KERP AAA TT RENT: 〈a) 如 果 A[ 站 二 zx， 需要 做 的 只 是 将 
j 的 值 加 1， 从 而 使 循环 不 变量 继续 保持 。(b) 如 果 AGIS, WK FER i 的 值 加 1， 并 
ZH ALJA AG], FPK j 的 值 加 1。 此 时 ， 循 环 不 变量 同样 得 到 保持 


终止 : 当 终 止 时 ，;7 王 ~。 于 是 ， 数 组 中 的 每 个 元 素 都 必然 属于 循环 不 变量 所 描述 的 三 个 集合 
的 一 个 ， 也 就 是 说 ， 我 们 已 经 将 数组 中 的 所 有 元 素 划 分 成 了 三 个 集合 : 包含 了 所 有 小 于 等 于 z 的 
元 素 的 集合 、 包 含 了 所 有 大 于 z 的 元 素 的 集合 和 只 有 一 个 元 素 z 的 集合 。 

在 PARTITION 的 最 后 两 行 中 ， 通 过 将 主 元 与 最 左 的 大 于 z 的 元 素 进行 交换 ， 就 可 以 将 主 
元 移 到 它 在 数组 中 的 正确 位 置 上 ， 并 返回 主 元 的 新 下 标 。 此 时 ，PARTITION 的 输出 满足 划分 步 
又 规定 的 条 件 。 实 际 上 ， 一 个 更 严格 的 条 件 也 可 以 得 到 满足 : 在 执行 完 QUICKSORT 的 第 2 行 
之 后 ，ALqj 严 格 小 于 ALg 十 1. .rj 内 的 每 一 个 元 素 。 

PARTITION 在 子 数 组 ALp. . 门 上 的 时 间 复 杂 度 是 8(n)， 其 中 n=r 一 p 十 1( 见 练习 7. 1-3)。 


练习 

7.1-1 参照 图 7-1 的 方法 ,说 明 PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 21, 2, 
6，11? 上 的 操作 过 程 。 

7.1-2 HH ALp. . 门 中 的 元 素 都 相同 时 ，PARTITION 返回 的 g 值 是 什么 ?修改 PARTITION, 使 
得 当 数 组 ALp. .7] 中 所 有 元 素 的 值 都 相同 时 ，g==【(p 十 7)/2j。 

7.1-3 请 简要 地 证 明 : 在 规模 为 n 的 子 数组 上 ，PARTITION 的 时 间 复 杂 度 为 O(n). 

7.1-4 如 何 修改 QUICKSORT， 使 得 它 能 够 以 非 递增 序 进 行 排序 ? 


7.2 快速 排序 的 性 能 


快速 排序 的 运行 时 间 依 赖 于 划分 是 否 平衡 ， 而 平衡 与 否 又 依赖 于 用 于 划分 的 元 素 。 如 果 划 
分 是 平衡 的 ， 那 么 快速 排序 算法 性 能 与 归并 排序 一 样 。 如 果 划 分 是 不 平衡 的 ， 那 么 快速 排序 的 性 
能 就 接近 于 插入 排序 了 。 在 本 节 中 ， 我们 将 给 出 划分 为 平衡 或 不 平衡 时 快速 排序 性 能 的 非 形式 


当 划 分 产生 的 两 个 子 问题 分 别 包含 了 "一 1 个 元 素 和 0 个 元 素 时 ， 快 速 排序 的 最 坏 情况 发 生 
了 (证 明 见 7.4. 1 节 )。 不 妨 假设 算法 的 每 一 次 递归 调用 中 都 出 现 了 这 种 不 平衡 划分 。 划 分 操作 的 
时 间 复 杂 度 是 @(n)。 由 于 对 一 个 大 小 为 0 的 数组 进行 递归 调用 会 直接 返回 ， 因 此 TO)=0C), 
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于 是 算法 运行 时 间 的 递归 式 可 以 表示 为 : 
Tn) = Tin— 1) + TCO) + OG = Tr— 1) + OC) 

从 直观 上 来 看 ， 每 一 层 递归 的 代价 可 以 被 累加 起 来 ， 从 而 得 到 一 个 算术 级 数 ( 公 式 (A. 2))， 其 结 
果 为 @(mw)。 实 际 上 ， 利 用 代入 法 可 以 直接 得 到 递归 式 TO) =Tal) + O(n) WEI T) = 
O(n’) (MAY 7. 2-1) 。 

因此 ， 如 果 在 算法 的 每 一 层 递归 上 ， 划 分 都 是 最 大 程度 不 平衡 的 ， 那 么 算法 的 时 间 复 杂 度 就 
是 9()。 也 就 是 说 ， 在 最 坏 情 况 下 ， 快 速 排序 算法 的 运行 时 间 并 不 比 插入 排序 更 好 。 此 外 ， 当 
输入 数组 已 经 完全 有 序 时 ， 快 速 排序 的 时 间 复 杂 度 仍然 为 8(r*)。 而 在 同样 情况 下 ， 插 入 排序 的 
时 间 复 杂 度 为 On). 

最 好 情况 划分 

在 可 能 的 最 平衡 的 划分 中 ，PARTITION 得 到 的 两 个 子 问 题 的 规模 都 不 大 于 n/2。 这 是 因为 
其 中 一 个 子 问 题 的 规模 为 Ln/2J]， 而 另 一 个 子 问题 的 规模 为 [n/21 一 1。 在 这 种 情况 下 ， 快 速 排序 
的 性 能 非常 好 。 此 时 ， 算 法 运行 时 间 的 递归 式 为 : 

T(n) = 2T(n/2) + O(n) 

在 上 式 中 ， 我 们 忽略 了 一 些 余 项 以 及 减 1 操作 的 影响 。 根 据 主 定理 (定理 4. 1) 的 情况 2， 上 述 递 
归 式 的 解 为 T(n) 二 Blnlgn)。 通 过 在 每 一 层 递归 中 都 平衡 划分 子 数 组 ， 我 们 得 到 了 一 个 渐 近 时 间 
上 更 快 的 算法 。 

平衡 的 划分 

快速 排序 的 平均 运行 时 间 更 接近 于 其 最 好 情况 ， 而 非 最 坏 情 况 。 详 细 的 分 析 可 以 参看 本 书 
7.4 节 。 理 解 这 一 点 的 关键 就 是 理解 划分 的 平衡 性 是 如 何 反 映 到 描述 运行 时 间 的 递归 式 上 的 。 

例如 ， 假 设 划 分 算法 总 是 产生 9 : 1 的 划分 ， 乍 一 看 ， 这 种 划分 是 很 不 平衡 的 。 此 时 ， 我 们 
得 到 的 快速 排序 时 间 复 杂 度 的 递归 式 为 : 

T(n) = T(9n/10) + T(n/10) +n 

这 里 ， 我 们 显 式 地 写 出 了 8(n) 项 中 所 隐 含 的 常数 c。 图 7-4 显示 了 这 一 递归 调用 所 对 应 的 递归 
树 。 注 意 ， 树 中 每 一 层 的 代价 都 是 cx， 直 到 在 深度 logwn 二 Bl(lgn) 处 达到 递归 的 边界 条 件 时 为 








get n ay sdnasecccconsonanacnccccscsccssnssorssvovonne| Thee cn 
l 
To” Ro LI cn 
a N SR 
mo” 30” ior Bhn oo Di- cn 
Le YN /\ \ 
Biot | / ' 81 , 729 
1 T000” T000” seneneaavenssagy our cn 
Pr 
AN anag w- Sen 
\ 
| emes w- Sen 
O(n lg n) 


图 7-4 QUICKSORT 的 一 棵 递归 树 ， 其 中 PARTITION 总 是 产生 9 : 1 的 划分 。 该 树 的 时 间 复 
杂 度 为 O(nlgn)。 每 个 结 点 的 值 表示 子 问 题 的 规模 ， 每 一 层 的 代价 显示 在 最 右边 。 每 一 
层 的 代价 包含 了 @(z) 项 中 隐 含 的 常数 < 
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止 ， 之 后 每 层 代 价 至 多 为 cx。 递归 在 深度 为 logiosz 一 @(lgz) 处 终止 。 因 此 ， 快 速 排序 的 总 代价 
为 Ol(nlgn)。 因 此 ， 即 使 在 递归 的 每 一 层 上 都 是 9 : 1 的 划分 ， 直 观 上 看 起 来 非常 不 平衡 ， 但 快 
速 排序 的 运行 时 间 是 O(nlgn)， 与 恰好 在 中 间 划 分 的 渐 近 运行 时 间 是 一 样 的 。 实 际 上 ， 即 使 是 
99 : 1 的 划分 ， 其 时 间 复 杂 度 仍然 是 O(nlgn)。 事 实 上 ,任何 一 种 常数 比例 的 划分 都 会 产生 深度 
为 9(lgz) 的 递归 树 ， 其 中 每 一 层 的 时 间 代 价 都 是 OC(n)。 因 此 ， 只 要 划分 是 常数 比例 的 ， 算法 的 
运行 时 间 总 是 O(nlgn)。 

对 于 平均 情况 的 直观 观察 

为 了 对 快速 排序 的 各 种 随机 情况 有 一 个 清楚 的 认识 ， 我 们 需要 对 遇 到 各 种 输入 的 出 现 频率 
做 出 假设 。 快 速 排序 的 行为 依赖 于 输入 数组 中 元 素 的 值 的 相对 顺序 ， 而 不 是 某 些 特定 值 本 身 。 与 
5. 2 节 中 对 雇用 问题 所 做 的 概率 分 析 类 似 ， 这 里 我 们 也 假设 输入 数据 的 所 有 排列 都 是 等 概率 的 。 

当 对 一 个 随机 输入 的 数组 运行 快速 排序 时 ， 想 要 像 前 面 非 形式 化 分 析 中 所 假设 的 那样 ， 在 
每 一 层 上 都 有 同样 的 划分 是 不 太 可 能 的 。 我 们 预期 某 些 划分 会 比较 平衡 ， 而 另 一 些 则 会 很 不 平 
衡 。 例 如 ， 在 练习 7.2-6 中 ， 会 要 求 读者 说 明 PARTITION 所 产生 的 划分 中 80% 以 上 都 比 9:1 
更 平衡 ， 而 男 20%% 的 划分 则 比 9 : 1 更 不 平衡 。 

在 平均 情况 下 ，PARTITION 所 产生 的 划分 同时 混合 有 “好 ”和 “ 差 ” 的 划分 。 此 时 ,在 与 
PARTITION 平均 情况 执行 过 程 所 对 应 的 递归 树 中 ， 好 和 差 的 划分 是 随机 分 布 的 。 基 于 直觉 ， 假 
设 好 和 差 的 划分 交替 出 现在 树 的 各 层 上 ， 并 且 好 的 划分 是 最 好 情况 划分 ， 而 差 的 划分 是 最 坏 情 
况 划 分 ， 图 7-5(a) 显 示 出 了 递归 树 的 连续 两 层 上 的 划分 情况 。 在 根 结 点 处 ， 划 分 的 代价 为 x， 划 
分 产生 的 两 个 子 数组 的 大 小 为 n 一 1 和 0， 即 最 坏 情 况 。 在 下 一 层 上 ， 大 小 为 n 一 1 的 子 数组 按 最 
好 情况 划分 成 大 小 分 别 为 (x 一 1)/2 一 1 和 (n 一 1)/2 的 子 数组 。 在 这 里 ， 我 们 假设 大 小 为 0 的 子 数 
组 的 边界 条 件 代价 为 1。 

在 一 个 差 的 划分 后 面 接着 一 个 好 的 划分 ， 这 种 组 合 产生 出 三 个 子 数 组 ， 大 小 分 别 为 0、(n 一 
1)/2 一 1 和 (mn 一 1)/2。 这 一 组 合 的 划分 代价 为 8(7) 十 Bln 一 1) 二 B@(n)。 该 代价 并 不 比 图 7-5(b) 中 的 
更 差 。 在 图 7-5(b) 中 ,一 层 划 分 就 产生 出 大 小 为 (n 一 1)/2 的 两 个 子 数组 ， 划 分 代价 为 6(n)。 但 
E, 后 者 的 划分 是 平衡 的 ! 从 直观 上 看 ， 差 划分 的 代价 8(n 一 1) 可 以 被 吸收 到 好 划分 的 代价 8(7) 
中 去 ， 而 得 到 的 划分 结果 也 是 好 的 。 因 此 ， 当 好 和 差 的 划分 交替 出 现时 ， 快 速 排 序 的 时 间 复 杂 度 
与 全 是 好 的 划分 时 一 样 ， 仍 然 是 O(nlgn)。 区 别 只 是 O 符 号 中 隐 含 的 常数 因子 要 略 大 一 些 。 在 
7.4.2 节 中 ， 我 们 将 给 出 一 个 关于 随机 输入 情况 下 快速 排序 的 期 望 时 间 复 杂 度 的 更 严格 的 分 析 。 
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图 7-5 《〈a) 一 棵 快速 排序 递归 树 的 两 层 。 在 根 结 点 这 一 层 的 划分 代价 是 zz， 产生 了 一 个 “ 坏 ” 的 划分 : 两 个 
子 数 组 的 大 小 分 别 为 0 和 ?一 1。 对 大 小 为 n 一 1 的 子 数组 的 划分 代价 为 n 一 1， 并 产生 了 一 个 “好 ”的 
划分 : 大 小 分 别 为 (n 一 1)/2 一 1 和 (一 1)72 的 子 数 组 。(b) 一 棵 非常 平衡 的 递归 树 中 的 一 层 。 在 两 
棵 树 中 ， 椭 圆 阴影 所 示 的 子 问 题 的 划分 代价 都 是 9(z) 。 可 以 看 出 ，(a) 中 以 矩形 阴影 显示 的 待 解决 
子 问题 的 规模 并 不 大 于 (b) 中 对 应 的 待 解 决 子 问题 





练习 


7.2-1 利用 代入 法 证 明 : 正如 7. 2 节 开 头 提 到 的 那样 ,递归 式 T(n) 二 TT(n 一 1) 十 8(n) 的 解 为 
T(n) =O"). 
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7.2-2” 当 数组 A 的 所 有 元 素 都 具有 相同 值 时 ，QUICKSORT 的 时 间 复 杂 度 是 什么 ? 

7.2-3 证明: 当 数 组 A 包含 的 元 素 不 同 ， 并 且 是 按 降 序 排列 的 时 候 ，QUICKSORT 的 时 间 复 杂 
度 为 8( ) 。 

7.2-4 银行 一 般 会 按照 交易 时 间 来 记录 某 一 账户 的 交易 情况 。 但 是 ， 很 多 人 却 喜 欢 收 到 的 银行 
对 账单 是 按照 支票 号 码 的 顺序 来 排列 的 。 这 是 因为 ， 人 们 通常 都 是 按照 支票 号 码 的 顺序 
来 开 出 支票 的 ， 而 商人 也 通常 都 是 根据 支票 编号 的 顺序 兑付 支票 。 这 一 问题 是 将 按 交易 
时 间 排 序 的 序列 转换 成 按 支票 号 排序 的 序列 ， 它 实质 上 是 一 个 对 几乎 有 序 的 输入 序列 进 
行 排序 的 问题 。 请 证 明 : 在 这 个 问题 上 ，INSERTION-SORT 的 性 能 往往 要 优 于 
QUICKSORT? 

7.2-5 ”假设 快速 排序 的 每 一 层 所 做 的 划分 的 比例 都 是 1 一 a : a, HEP O<a<1/2 且 是 一 个 常数 。 
试 证 明 : 在 相应 的 递归 树 中 ， 叶 结 点 的 最 小 深度 大 约 是 一 lgn/ lga， 最 大 深度 大 约 是 
一 lgn/lg(1 一 a) (无 需 考虑 整数 合 人 问题 )。 

*7.2-6” 试 证 明 : 在 一 个 随机 输入 数组 上 ， 对 于 任何 常数 O<a<1/2, PARTITION 产生 比 1 一 xc :a 
更 平衡 的 划分 的 概率 约 为 1 一 2a。 


7.3 快速 排序 的 随机 化 版 本 


在 讨论 快速 排序 的 平均 情况 性 能 的 时 候 ， 我 们 的 前 提 假 设 是: 输入 数据 的 所 有 排列 都 是 等 
概率 的 。 但 是 在 实际 工程 中 ， 这 个 假设 并 不 会 总 是 成 立 ( 见 练习 7. 2-4)。 正 如 在 5. 3 节 中 我 们 所 
看 到 的 那样 ， 有 时 我 们 可 以 通过 在 算法 中 引入 随机 性 ， 从 而 使 得 算法 对 于 所 有 的 输入 都 能 获得 
较 好 的 期 望 性 能 。 很 多 人 都 选择 随机 化 版 本 的 快速 排序 作为 大 数据 输入 情况 下 的 排序 算法 。 

在 5.3 节 中 ， 我 们 通过 显 式 地 对 输入 进行 重新 排列 ， 使 得 算法 实现 随机 化 。 当 然 ， 对 于 快速 
排序 我 们 也 可 以 这 么 做 。 但 如 果 采 用 一 种 称 为 随机 抽样 (random sampling) 的 随机 化 技术 ， 那 么 
可 以 使 得 分 析 变 得 更 加 简单 。 与 始终 采用 A[ 门 作为 主 元 的 方法 不 同 ， 随 机 抽样 是 从 子 数组 
AL p. .rj 中 随机 选择 一 个 元 素 作为 主 元 。 为 达到 这 一 目的 ， 首 先 将 A[ 门 与 从 ALz. . 门 中 随机 选 出 
的 一 个 元 素 交 换 。 通 过 对 序列 p, eo r 的 随机 抽样 ， 我 们 可 以 保证 主 元 元 素 zx 一 A[ 门 是 等 概率 
地 从 子 数组 的 r 一 pp 十 1 个 元 素 中 选取 的 。 因 为 主 元 元 素 是 随机 选取 的 ， 我 们 期 望 在 平均 情况 下 ， 
对 输入 数组 的 划分 是 比较 均衡 的 。 

对 PARTITION 和 QUICKSORT 的 代码 的 改动 非常 小 。 在 新 的 划分 程序 中 ， 我 们 只 是 在 真 
正 进 行 划分 前 进行 一 次 交换 : 

RANDOMIZED-PARTITION (A, p, r) 

1 i=RANDOM(p, r) 

2 exchange A[r] with A[i] 

3 return PARTITION(A, p, r) 


新 的 快速 排序 不 再 调用 PARTITION， 而 是 调用 RANDOMIZED-PARTITION: 


RANDOMIZED-QUICKSORT (A, p, r) 

1 if p<r 

2 q = RANDOMIZED-PARTITION (A, p, r) 
3 RANDOMIZED-QUICKSORT (A, p, 9 一 1) 
4 RANDOMIZED-QUICKSORT (A, g+1, r) 


我 们 将 在 下 一 节 中 分 析 这 一 算法 。 


练习 
7.3-1 为 什么 我 们 分 析 随 机 化 算法 的 期 望 运 行 时 间 ， 而 不 是 其 最 坏 运行 时 间 呢 ? 
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7.3-2 在 RANDOMIZED-QUICKSORT 的 运行 过 程 中 ， 在 最 坏 情况 下 ， 随 机 数 生 成 器 RANDOM 
被 调用 了 多 少 次 ? 在 最 好 情况 下 呢 ? 以 @ 符 号 的 形式 给 出 你 的 答案 ? 


7.4 快速 排序 分 析 

在 7.2 节 中 ， 我们 给 出 了 在 最 坏 情况 下 快速 排序 性 能 的 直观 分 析 ， 以 及 它 速 度 比 较 快 的 原 
因 。 在 本 节 中 ， 我们 要 给 出 快速 排序 性 能 的 更 严谨 的 分 析 。 我 们 首先 从 最 坏 情况 分 析 开 始 ， 其 方 
法 可 以 用 于 QUICKSORT 和 RANDOMIZED-QUICKSORT 的 分 析 ， 然 后 给 出 RANDOMIZED- 
QUICKSORT 的 期 望 运行 时 间 。 


7.4.1 最 坏 情 况 分 析 


在 7.2 节 中 ,我 们 可 以 看 到 ， 在 最 坏 情 况 下 ， 快 速 排序 的 每 一 层 递归 的 时 间 复 杂 度 是 9(z) 。 
从 直观 上 来 看 ， 这 也 就 是 最 坏 情 况 下 的 运行 时 间 。 下 面 来 证 明 这 一 点 。 
利用 代入 法 ( 见 4. 3 节 )， 我 们 可 以 证 明快 速 排序 的 时 间 复 杂 度 为 O), E T(n) 是 最 坏 
情况 下 QUICKSORT 在 输入 规模 为 n 的 数据 集合 上 所 花费 的 时 间 ， 则 有 递归 式 : 
T(n) = max (T) + T(n—q—1)) +0) (7.1) 
因为 PARTITION 函数 生成 的 两 个 子 问题 的 规模 加 总 为 一 1， 所 以 参数 a 的 变化 范围 是 0 到 
?一 1。 我 们 不 妨 猜 测 TSc? Ror, HP c 为 常数 。 将 此 式 代 入 递归 式 (7.1) 中 ,得 : 
Tin) < max (cq? +c(n—q—1)7)+ @(—m) 
ogm] 
=c + max (g 十 (n 一 g 一 1)’?) 十 BQ(n) 
表达 式 9 十 (n 一 gq 一 1)? 在 参数 取 值 区 间 0<q<n 一 1 的 端点 上 取得 最 大 值 。 由 于 该 表达 式 对 
于 9 的 二 阶 导 数 是 正 的 ( 见 练习 7. 4-3), 我 们 可 以 得 到 表达 式 的 上 界 max (Hagl) < 
(n—1)? =n? —2n+1, HHRALR T, RITE: 
T(n) < cn? — c(2n—1) + O(n) < cn? 
因为 我 们 可 以 选择 一 个 足够 大 的 常数 c， 使 得 c(2n 一 1) 项 能 显著 大 于 8(n) 项 ， 所 以 有 TO) = 
Ow )。 在 7.2 节 中 ,我 们 看 到 了 特例 : 当 划 分 非 平 衡 的 时 候 ， 快 速 排序 的 运行 时 间 为 Cr’), 
此 外 ,在 练习 7. 4-1 中 ， 要 求 你 证 明 递 归 式 (7. 1) 有 另 一 个 解 T(n) 三 Q(2)。 因 此 ， 快 速 排序 的 
《最 坏 情况 ) 运 行 时 间 是 OG?) 。 


7.4.2 期 望 运行 时 间 

我 们 已 经 从 直观 上 了 解 了 为 什么 RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 是 O(n Ign) : 
如 果 在 递归 的 每 一 层 上 ，RANDOMIZED-PARTITION 将 任意 常数 比例 的 元 素 划分 到 一 个 子 数 组 
中 ， 则 算法 的 递归 树 的 深度 为 6(lgn)， 并 且 每 一 层 上 的 工作 量 都 是 O(n) 。 即 使 在 最 不 平衡 的 划 
分 情况 下 ， 会 增加 一 些 新 的 层次 , 但 总 的 运行 时 间 仍 然 保持 是 O(n lgn)。 要 准确 地 分 析 
RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 ， 首 先 要 理解 划分 操作 是 如 何 进 行 的 ; 然后， 在 
此 基础 之 上 ， 推 导出 期 望 运行 时 间 的 一 个 O(lgn) 的 界 。 有 了 这 一 期 望 运行 时 间 的 上 界 ， 再 加 上 
7. 2 节 中 得 到 的 最 好 情况 界 @Czlgz) ， 我 们 就 能 得 到 8(nlgn) 这 一 期 望 运行 时 间 。 在 这 里 ， 假 设 
待 排序 的 元 素 始终 是 互 异 的 。 

运行 时 间 和 比较 操作 

QUICKSORT 和 RANDOMIZED-QUICKSORT 除了 如 何 选择 主 元 元 素 有 差异 以 外 ， 其 他 方 
面 完 全 相同 。 因 此 , 我 们 可 以 在 讨论 QUICKSORT 和 PARTITION 的 基础 上 分 析 
RANDOMIZED-QUICKSORT。 其 中 ，RANDOMIZED-QUICKSORT 随机 地 从 子 数组 中 选择 元 
素 作为 主 元 元 素 。 
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QUICKSORT 的 运行 时 间 是 由 在 PARTITION 操作 上 所 花费 的 时 间 决 定 的 。 每 次 对 
PARTITION 的 调用 时 ， 都 会 选择 一 个 主 元 元 素 ， 而 且 该 元 素 不 会 被 包含 在 后 续 的 对 
QUICKSORT 和 PARTITION 的 递归 调用 中 。 因 此 ， 在 快速 排序 算法 的 整个 执行 期 间 ， 至 多 只 
可 能 调用 PARTITION 操作 nn 次。 调用 一 次 PARTITION 的 时 间 为 O(1) 再 加 上 一 段 循环 时 间 。 
这 段 时 间 与 第 3 一 6 行 中 for 循环 的 迭代 次 数 成 正比 。 这 一 for 循环 的 每 一 轮 迭 代 都 要 在 第 4 行进 
行 一 次 比较 : 比较 主 元 元 素 与 数组 A 中 另 一 个 元 素 。 因 此 ， 如 果 我 们 可 以 统计 第 4 行 被 执行 的 
总 次 数 ， 就 能 够 给 出 在 QUICKSORT 的 执行 过 程 中 ，for 循环 所 花 时 间 的 界 了 。 

引 理 7.1 当 在 一 个 包含 nn 个 元 素 的 数组 上 运行 QUICKSORT 时 ,假设 在 PARTITION 的 第 
4 行 中 所 做 比较 的 次 数 为 X， 那 么 QUICKSORT 的 运行 时 间 为 O(n 十 X)。 

证 明 根据 上 面 的 讨论 ， 算 法 最 多 对 PARTITION 调用 nn 次 。 每 次 调用 都 包括 一 个 固定 的 工 
作 量 和 执行 若干 次 for 循环 。 在 每 一 次 for 循环 中 ， 都 要 执行 第 4 行 。 a 

因此 ， 我 们 的 目标 是 计算 出 X， 即 所 有 对 PARTITION 的 调用 中 ， 所 执行 的 总 的 比较 次 数 。 
我 们 并 不 打算 分 析 在 每 一 次 PARTITION 调用 中 做 了 多 少 次 比较 ， 而 是 希望 能 够 推导 出 关于 总 
的 比较 次 数 的 一 个 界 。 为 此 ， 我 们 必须 了 解 算法 在 什么 时 候 对 数组 中 的 两 个 元 素 进 行 比 较 ， 什 么 
时 候 不 进行 比较 。 为 了 便于 分 析 ， 我 们 将 数组 A 的 各 个 元 素 重新 命名 为 z! ，z,，…，z,， 其 中 z 
是 数组 A 中 第 i 小 的 元 素 。 此 外 ， 我 们 还 定义 Zij = {zs Zi+19 °*"s zA Zi 5 Zj 之 间 ( 含 i All j) 
的 元 素 集合 。 

算法 什么 时 候 会 比较 = 和 xz; 呢 ? 为 了 回答 这 个 问题 ， 我 们 首先 注意 到 每 一 对 元 素 至 多 比较 
一 次 。 为 什么 呢 ? 因为 各 个 元 素 只 与 主 元 元 素 进行 比较 ， 并 且 在 某 一 次 PARTITION 调用 结束 
之 后 ， 该 次 调用 中 所 用 到 的 主 元 元 素 就 再 也 不 会 与 任何 其 他 元 素 进 行 比较 了 。 

我 们 的 分 析 要 用 到 指示 器 随机 变量 ( 见 5. 2 节 )。 定 义 

X; = Hz 与 z; 进行 比较 } 
其 中 我 们 考虑 的 是 比较 操作 是 否 在 算法 执行 过 程 中 任意 时 间 发 生 ， 而 不 是 局 限 在 循环 的 一 次 迭 
代 或 对 PARTITION 的 一 次 调用 中 是 否 发 生 。 因 为 每 一 对 元 素 至 多 被 比较 一 次 ， 所 以 我 们 可 以 
很 容易 地 刻画 出 算法 的 总 比较 次 数 : 


X= > 5 
对 上 式 两 边 取 期 望 ， 再 利用 期 望 值 的 线性 特性 和 引 理 5. 1， 可 以 得 到 : 
E(X) = ELS, ox, ]= > DELX,] = > > Priz, 与 zj 进行 比较 } (7.2) 


上 式 中 的 Pr{z 与 进行 比较 } 还 需要 进一步 计算 。 在 我 们 的 分 析 中 ， 假 设 RANDOMIZED- 
PARTITION 随机 且 独 立地 选择 主 元 。 

让 我 们 考虑 两 个 元 素 何 时 不 会 进行 比较 的 情况 。 考 虑 快速 排序 的 一 个 输入 ， 它 是 由 数字 1 到 
10 所 构成 (顺序 可 以 是 任意 的 )， 并 假设 第 一 个 主 元 是 7。 那 么 ， 对 PARTITION 的 第 一 次 调用 就 
将 这 些 输入 数字 划分 成 两 个 集合 : {1，2，3，4，5，6} 和 {8，9，10}。 在 这 一 过 程 中 ， 主 元 7 要 
与 所 有 其 他 元 素 进行 比较 。 但 是 ， 第 一 个 集合 中 任何 一 个 元 素 ( 例 如 2) 没有 (也 不 会 ) 与 第 二 个 集 
合 中 的 任何 元 素 ( 例 如 9) 进行 比较 。 

通常 我 们 假设 每 个 元 素 的 值 是 互 异 的 ， 因 此 ， 一 旦 一 个 满足 = 二 z<z 的 主 元 zx 被 选择 后 ， 
我 们 就 知道 ※x 和 z; 以 后 再 也 不 可 能 被 比较 了 。 另 一 种 情况 ， 如 果 z; 在 2; 中 的 所 有 其 他 元 素 之 前 
被 选 为 主 元 ， 那 么 z 就 将 与 Z; 中 除了 它 自身 以 外 的 所 有 元 素 进行 比较 。 类 似 地 ， 如 果 z EZ 
中 其 他 元 素 之 前 被 选 为 主 元， 那么 二 将 与 Z; 中 除 自身 以 外 的 所 有 元 素 进行 比较 。 在 我 们 的 例子 
中 , 值 7? 和 9 要 进行 比较 ， 因 为 7 是 Zi,, 中 被 选 为 主 元 的 第 一 个 元 素 。 与 之 相反 的 是 , 值 2 和 9 
则 始终 不 会 被 比较 ， 因 为 从 Z., 中 选择 的 第 一 个 主 元 为 7。 因 此 ，z; 与 z; 会 进行 比较 ， 当 且 仅 当 


第 7 章 快速 排序 - 103 


Zi 中 将 被 选 为 主 元 的 第 一 个 元 素 是 =*; MA z;。 
我 们 现在 来 计算 这 一 事件 发 生 的 概率 。 在 25; 中 的 某 个 元 素 被 选 为 主 元 之 前 ， 整 个 集合 Zi; 的 
元 素 都 属于 某 一 划分 的 同一 分 区 。 因 此 ，25 中 的 任何 元 素 都 会 等 可 能 地 被 首先 选 为 主 元 。 因 为 
集合 Zj; 中 有 j 一 i 十 1 个 元 素 ， 并 且 主 元 的 选择 是 随机 且 独 立 的 ， 所 以 任何 元 素 被 首先 选 为 主 元 
的 概率 是 1/(j 一 i 十 1)。 于 是 ,我 们 有 : 
Pr{z; 与 z; 进行 比较 } = Priz Kz 是 集合 Zi 中 选 出 的 第 一 个 主 元 } 
= Priz 是 集合 Zi 中 选 出 的 第 一 个 主 元 } 
+ Priz; 是 集合 Zi 中 选 出 的 第 一 个 主 元 } 
和 
7 一 2 十 1 7 一 2 十 1 j 一 i 十 1 
上 式 中 第 二 行 成 立 的 原因 在 于 其 中 涉及 的 两 个 事件 是 互 斥 的 。 将 公式 (7.2) 和 公式 (7. 3) 综 合 起 
来 ， A: 


(7.3) 


mx- È D iF 
在 求 这 个 累加 和 时 ， 可 以 将 变量 做 个 变换 (三 j 一 i)， 并 利用 公式 (A.7) 中 给 出 的 有 关 调 和 级 数 的 
Ft, 得到: 


E[X] = Ie} ai = DS < SS 2> Nodin = Gan. (7.4) 
于 是 ， 我 们 可 以 得 出 结论 : 使 用 RANDOMIZED-PARTITION， 在 输入 元 素 互 异 的 情况 下 ， 快 速 
排序 算法 的 期 望 运行 时 间 为 O(nlgn)。 


练习 
7.4-1 证 明 : 在 递归 式 
T(n) = max (T) 十 TO 一 9 一 1)) 十 BCD) 
H, TM=). 

7.4-2 证 明 : 在 最 好 情况 下 ， 快 速 排序 的 运行 时 间 为 Q(nlgn)。 

7.4-3 WEH: 在 q=0，1，…，7 一 1 区间 内 ， 当 =0 或 g=2 一 1 时 ， 玫 十 (2 一 g 一 1) 取得 最 
大 值 。 

7. 4-4 证明: RANDOMIZED-QUICKSORT 期 望 运行 时 间 是 Q(nlgn)。 

7.45 ” 当 输 入 数据 已 经 “几乎 有 序 ” 时 ， 插 入 排序 速度 很 快 。 在 实际 应 用 中 ,我们 可 以 利用 这 一 
特点 来 提高 快速 排序 的 速度 。 当 对 一 个 长 度 小 于 & 的 子 数组 调用 快速 排序 时 ， 让 它 不 做 
任何 排序 就 返回 。 当 上 层 的 快速 排序 调用 返回 后 ， 对 整个 数组 运行 插入 排序 来 完成 排序 
过 程 。 试 证 明 : 这 一 排序 算法 的 期 望 时 间 复 杂 度 为 O(nk 十 nlgCn/k))。 分 别 从 理论 和 实践 
的 角度 说 明 我 们 应 该 如 何 选择 k? 

*7.4-6 考虑 对 PARTITION 过 程 做 这 样 的 修改 : 从 数组 A 中 随机 选 出 三 个 元 素 ， 并 用 这 三 个 元 
素 的 中 位 数 ( 即 这 三 个 元 素 按 大 小 排 在 中 间 的 值 ) 对 数组 进行 划分 。 求 以 a 的 函数 形式 表 
示 的 、 最 坏 划分 比例 为 a : (1 一 a) 的 近似 概率 ， 其 中 O<e<1, 


思考 题 
7-1 (Hoare 划分 的 正确 性 ) APE AY PARTITION 算法 并 不 是 其 最 初 的 版 本 。 下 面 给 出 的 是 
最 早 由 C. R. Hoare 所 设计 的 划分 算法 : 


HOARE-PARTITION(A, p, r) 
1 z=A[p] 


183 


104 


第 二 部 分 “排序 和 顺序 统计 量 


2 

3 

4 while TRUE 

5 repeat 

6 jrj-1 
7 until ALj |<r 
8 repeat 

9 i=itl 
10 until Aj] >x 
11 if i<j 

12 exchange A[i] with AL] 
13 else return j 


a. 试 说 明 HOARE-PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 11, 2, 6, 21) E 

的 操作 过 程 ， 并 说 明 在 每 一 次 执行 第 4 一 13 47 while 循环 时 数组 元 素 的 值 和 辅助 变量 的 值 。 
后 续 的 三 个 问题 要 求 读者 仔细 论证 HOARE-PARTITION 的 正确 性 。 在 这 里 假设 子 数 

组 ALz. . 门 至 少 包含 来 2 个 元 素 ， 试 证 明 下 列 问题 ， 

b. 下 标 i 和 j 可 以 使 我 们 不 会 访问 在 子 数组 ALp. . 门 以 外 的 数组 A 的 元 素 。 

c. 当 HOARE-PARTITION 结束 时 ， 它 返回 的 值 j 满足 pj <r. 

d. 当 HOARE-PARTITION 结束 时 ，A[z. . 四 中 的 每 一 个 元 素 都 小 于 或 等 于 AL +1.. 7) 
的 元 素 。 

在 7.1 节 的 PARTITION 过 程 中 ， 主 元 (原来 存储 在 A[ 门 中 ) 是 与 它 所 划分 的 两 个 分 区 

分 离 的。 与 之 对 应 ， 在 HOARE-PARTITION 中 ， 主 元 (原来 存储 在 A[p] 中 ) 是 存在 于 分 区 

A[z. .四 或 AD 十 1.. 门 中 的 。 因 为 有 pj 二 +r， 所 以 这 一 划分 总 是 非 平 凡 的 。 

e. 利用 HOARE-PARTITION， 重 写 QUICKSORT 算法 。 

(针对 相同 元 素 值 的 快速 排序 ) 在 7.4.2 节 对 随机 化 快速 排序 的 分 析 中 ， 我 们 假设 输入 元 

素 的 值 是 互 异 的 ， 在 本 题 中 ， 我 们 将 看 看 如 果 这 一 假设 不 成 立会 出 现 什么 情况 。 

a. 如 果 所 有 输入 元 素 的 值 都 相同 ， 那 么 随机 化 快速 排序 的 运行 时 间 会 是 多 少 ? 

b. PARTITION 过 程 返回 一 个 数组 下 标 9， 使 得 ALP. .gq 一 1] 中 的 每 个 元 素 都 小 于 或 等 于 
ALga], 而 ALg 十 1. .rj 中 的 每 个 元 素 都 大 于 Alq]. r PARTITION 代码 来 构造 一 个 新 
的 PARTITION'(A，p，r)， 它 排列 ACD. .rj 的 元 素 ， 返 回 值 是 两 个 数组 下 标 q 和 t+， 其 
中 pq<t<r， 且 有 
。 Ala. .可 中 的 所 有 元 素 都 相等 。 

。 A[Lz. .9 一 1 中 的 每 个 元 素 都 小 于 ALaj]。 
。 A[t 十 1. .rj 中 的 每 个 元 素 都 大 于 Alq]. 
与 PARTITION 类 似 ， 新 构造 的 PARTITION' 的 时 间 复 杂 度 是 OCr— p) . 

c. 将 RANDOMIZED-QUICKSORT 过 程 改 为 调用 PARTITION’, 并 重新 命名 为 
RANDOMIZED-QUICKSORT'。 修改 QUICKSORT 的 代码 构造 一 个 新 的 QUICKSORT’ 
(4A，p，r) ， 它 调用 RANDOMIZED-PARTITION'， 并 且 只 有 分 区 内 的 元 素 互 不 相同 的 
时 候 才 做 递归 调用 。 

d. 在 QUICKSORT ' 中， 应 该 如 何 改变 7. 4. 2 节 中 的 分 析 方 法 ， 从 而 避免 所 有 元 素 都 是 互 异 
的 这 一 假设 ? 

( 另 一 种 快速 排序 的 分 析 方 法 ) ”对 随机 化 版 本 的 快速 排序 算法 ， 还 有 另 一 种 性 能 分 析 方 法 ， 

这 一 方法 关注 于 每 一 次 单独 递归 调用 的 期 望 运 行 时 间 ， 而 不 是 比较 的 次 数 。 

a. 证 明 : 给 定 一 个 大 小 为 n 的 数组 ， 任 何 特定 元 素 被 选 为 主 元 的 概率 为 1/n。 利 用 这 一 点 
来 定义 指示 器 随机 变量 X; 二 I{ 第 i 小 的 元 素 被 选 为 主 元 ;，ELX;] 是 什么 ? 


7-4 


7-5 
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b. 设 T(n) 是 一 个 表示 快速 排序 在 一 个 大 小 为 n 的 数组 上 的 运行 时 间 的 随机 变量 , 试 证 明 : 


E[T(n)] = E| PXT D+Tian—@ +e) | (7.5) 
ce 证 明 公 式 (7. 5) 可 以 重 写 为 : 
E[T(n)] = 2 ET(@]+ ew (7.6) 
d. 证 明 
Sirige <r Ign— ir (7.7) 


(提示 : 可 以 将 该 累加 式 分 成 两 个 部 分 ， 一 部 分 是 & 一 2，3，…，[ zx21 一 1， 另 一 部 分 是 
k=[n/2], *…, n—1.) 

e 利用 公式 (7.7) 中 给 出 的 界 证 明 : 公式 (7.6) 中 的 递归 式 有 解 E[T(n)]= 二 Bl(nlgn)。( 提 
示 : 使 用 代入 法 ,证 明 对 于 某 个 正常 数 a 和 足够 大 的 xn， 有 ELT(n) ]<an lgn。) 

(快速 排序 的 栈 深度 ) 7.1 节 中 的 QUICKSORT 算法 包含 了 两 个 对 其 自身 的 递归 调用 。 在 

调用 PARTITION 后 ，QUICKSORT 分 别 递归 调用 了 左边 的 子 数 组 和 右边 的 子 数 组 。 

QUICKSORT 中 的 第 二 个 递归 调用 并 不 是 必须 的 。 我 们 可 以 用 一 个 循环 控制 结构 来 代替 它 。 

这 一 技术 称 为 尾 递 归 ， 好 的 编译 器 都 提供 这 一 功能 。 考 虑 下 面 这 个 版 本 的 快速 排序 ， 它 模 

拟 了 尾 递归 情况 ; 

TAIL-RECURSIVE-QUICKSORT(A, p, r) 

1 whlep<r 

2 / Partition and sort left subarray. 

3 q = PARTITION(A, p, r) 

4 TAIL-RECURSIVE-QUICKSORT(A, p, g—1) 

5 p=qtl 

a. 证 明 : TAIL-RECURSIVE-QUICKSORT(A, 1, A. length) 能 正确 地 对 数组 A 进行 排序 。 
编译 器 通常 使 用 栈 来 存储 递归 执行 过 程 中 的 相关 信息 ， 包 括 每 一 次 递归 调用 的 参数 等 。 
最 新 调用 的 信息 存在 栈 的 顶部 ， 而 第 一 次 调用 的 信息 存在 栈 的 底部 。 当 一 个 过 程 被 调用 
时 ， 其 相关 信息 被 压 入 栈 中 ; 当 它 结束 时 ， 其 信息 则 被 弹出 。 因 为 我 们 假设 数组 参数 是 
用 指针 来 指示 的 ， 所 以 每 次 过 程 调用 只 需要 O(1) 的 栈 空间 。 栈 深度 是 在 一 次 计算 中 会 用 
到 的 栈 空间 的 最 大 值 。 

b. 请 描述 一 种 场景 ， 使 得 针对 一 个 包含 n 个 元 素数 组 的 TAIL-RECURSIVE-QUICKSORT 
的 栈 深度 是 O). 

c. 修改 TAIL-RECURSIVE-QUICKSORT 的 代码 ， 使 其 最 坏 情 况 下 栈 深度 是 @(lgn)， 并 且 
能 够 保持 O(n1lgn) 的 期 望 时 间 复 杂 度 。 

(三 数 取 中 划分 ) 一 种 改进 RANDOMIZED-QUICKSORT 的 方法 是 在 划分 时 ， 要 从 子 数组 

中 更 细致 地 选择 作为 主 元 的 元 素 ( 而 不 是 简单 地 随机 选择 )。 常 用 的 做 法 是 三 数 取 中 法 : 从 

子 数 组 中 随机 选 出 三 个 元 素 ， 取 其 中 位 数 作为 主 元 ( 见 练习 7. 4-6)。 对 于 这 个 问题 的 分 析 ， 

我 们 不 妨 假设 数组 A[L1.. nj 的 元 素 是 互 异 的 且 有 nn 宇 3。 我 们 用 A [1. .站 来 表示 已 排 好 序 的 

数组 。 用 三 数 取 中 法 选择 主 元 xz， 并 定义 p,=Pr(x=A'[i]}. 

a 对 于 i 二 2，3，…，n 一 1， 请 给 出 以 nn 和 i 表示 的 p: 的 准确 表达 式 ( 注 意 p.=p,=0). 

b 与 平凡 实现 相 比 ， 在 这 种 实现 中 ， 选 择 e=A'[(nt+1)/2 (BN AC. .nj 的 中 位 数 ) 的 值 作 
为 主 元 的 概率 增加 了 多 少 ? 假设 n>oo， 请 给 出 这 一 概率 的 极限 值 。 

c 如 果 我 们 定义 一 个 “好 ”划分 意味 着 主 元 选择 =A li], Hep n/3 志 i 二 2n/3。 与 平凡 实现 
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相 比 ， 这 种 实现 中 得 到 一 个 好 划分 的 概率 增加 了 多 少 ? (提示 : 用 积分 来 近似 累加 和 。) 

d. 证 明 : 对 快速 排序 而 言 ， 三 数 取 中 法 只 影响 其 时 间 复 杂 度 QCnlgn) 的 常数 项 因子 。 

7-6 (对 区 间 的 模糊 排序 ) 考虑 这 样 的 一 种 排序 问题 : 我 们 无 法 准确 知道 待 排序 的 数字 是 什么 。 

但 对 于 每 一 个 数 ， 我 们 知道 它 属于 实数 轴 上 的 某 个 区 间 。 也 就 是 说 ， 我 们 得 到 了 nÉ AN 

[an b JAMKE, HEP wm“ 入 &。 我 们 的 目标 是 实现 这 些 区 间 的 模糊 排序 ， 即 对 7) 一 1，2，…，m， 

生成 一 个 区 间 的 排列 人 ra， 关 ，…，z)， 且 存在 c Ela sb; J» 满足 a SQ SSG o 

a 为 n 个 区 间 的 模糊 排序 设计 一 个 随机 算法 。 你 的 算法 应 该 具有 算法 的 一 般 结构 ， 它 可 以 
对 左边 端点 ( 即 a; 的 值 ) 进 行 快速 排序 ， 同 时 它 也 能 利用 区 间 的 重合 性 质 来 改善 时 间 性 
能 。( 当 区 间 重 和合 越 来 越 多 的 时 候 ， 区 间 的 模糊 排序 问题 会 变 得 越 来 越 容易 。 你 的 算法 应 
能 充分 利用 这 一 重生 性 质 。) 

b. 证 明 : 在 一 般 情况 下 ， 你 的 算法 的 期 望 运行 时 间 为 6(nlgn)。 但 是 ， 当 所 有 的 区 间 都 有 
重合 的 时 候 ， 算 法 的 期 望 运 行 时 间 为 OG) (也 就 是 说 ， 存 在 一 个 值 <， 对 所 有 的 i， 都 有 
XE[Lai,b:]。) 你 的 算法 不 必 显 式 地 检查 这 种 情况 ， 而 是 随 着 重 释 情况 的 增加 ， 算 法 的 性 
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本 章 注 记 
快速 排序 是 由 Hoare[170] 首 先 提出 的 。 思 考题 7-1 中 给 出 了 Hoare 的 原始 版 本 。7. 1 节 中 给 
出 的 PARTITION 是 由 N. Lomuto 提出 的 。 而 7.4 节 中 的 分 析 是 由 Avrim Blum 给 出 的 。 
Sedgewick[305] 和 BentleyL43] 都 对 实现 的 细节 及 其 影响 给 出 了 很 好 的 描述 。 
Mecllroy[248] 说 明了 如 何 设 计 出 一 个 “杀手 级 对 手 ”(killer adversary) ， 它 能 够 产生 一 个 数组 ， 
在 这 个 数组 上 ， 快 速 排序 的 几乎 所 有 实现 的 运行 时 间 都 是 @(xw)。 如 果实 现 是 随机 化 的 ， 这 一 对 
手 可 以 在 观察 到 快速 排序 算法 的 随机 选择 之 后 ， 再 产生 出 这 一 数组 。 
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线性 时 间 排 序 


到 目前 为 止 ， 我 们 已 经 介绍 了 几 种 能 在 O(nlgn) 时 间 内 排序 个 数 的 算法 。 归 并 排序 和 堆 排 
序 达到 了 最 坏 情况 下 的 上 界 ; 快速 排序 在 平均 情况 下 达到 该 上 界 。 而 且 ， 对 于 这 些 算法 中 的 每 一 
个 ， 我 们 都 能 给 出 个 输入 数值 ， 使 得 该 算法 能 在 Qnlgn) 时 间 内 完成 。 

这 些 算 法 都 有 一 个 有 趣 的 性 质 : 在 排序 的 最 终结 果 中 ， 各 元 素 的 次 序 依 赖 于 它们 之 间 的 比 
较 。 我 们 把 这 类 排序 算法 称 为 比较 排序 。 到 目前 为 止 ， 我 们 介绍 的 所 有 排序 算法 都 是 比较 排序 。 

8. 1 节 将 证 明 对 包含 ”个 元 素 的 输入 序列 来 说 ， 任 何 比较 排序 在 最 坏 情况 下 都 要 经 过 QCnlgn) 
次 比较 。 因 此 ， 归 并 排序 和 堆 排 序 是 渐 近 最 优 的 ， 并 且 任 何 已 知 的 比较 排序 最 多 就 是 在 常数 因子 
上 优 于 它们 。 

8.2 节 、8. 3 节 和 8.4 节 讨论 三 种 线性 时 间 复 杂 度 的 排序 算法 : 计数 排序 、 基 数 排序 和 桶 排 
序 。 当 然 ， 这 些 算法 是 用 运算 而 不 是 比较 来 确定 排序 顺序 的 。 因 此 ， 下 界 QCnlgn) 对 它们 是 不 适 
用 的 。 


8. 1 排序 算法 的 下 界 


在 一 个 比较 排序 算法 中 ， 我 们 只 使 用 元 素 间 的 比较 来 获得 输入 序列 (wa a es a) PRIJE 
素 间 次 序 的 信息 。 也 就 是 说 ， 给 定 两 个 元 素 a; Maj, 可 以 执行 a;<a;, a;Sa;, ai= aja Qi 之 qi 
RF a, >a; 中 的 一 个 比较 操作 来 确定 它们 之 间 的 相对 次 序 。 我 们 不 能 用 其 他 方法 观察 元 素 的 值 
或 者 它们 之 间 的 次 序 信息 。 

不 失 一 般 性 ， 在 本 节 中 ， 我 们 不 妨 假设 所 有 的 输入 元 素 都 是 互 异 的。 给 定 了 这 个 假设 后 ， 
a, =a; 的 比较 就 没有 意义 了 。 因 此 ， 我 们 可 以 假设 不 需要 这 种 比较 。 同 时 ， 注 意 到 aKa aaj 
a>aj Ma: <a; 都 是 等 价 的 ， 因 为 通过 它们 所 得 到 的 关于 a 和 a; 的 相对 次 序 的 信息 是 相同 的 。 
这 样 ， 又 可 以 进一步 假设 所 有 比较 采用 的 都 是 aa 形式 。 

决策 树 模型 

比较 排序 可 以 被 抽象 为 一 棵 决策 树 。 决 策 树 
是 一 棵 完全 二 叉 树 ， 它 可 以 表示 在 给 定 输 入 规模 
情况 下 ， 某 一 特定 排序 算法 对 所 有 元 素 的 比较 操 
作 。 其 中 ， 控制、 数据 移动 等 其 他 操作 都 被 忽略 
了 。 图 8-1 显示 了 2.1 节 中 插入 排序 算法 作用 于 


包含 三 个 元 素 的 输入 序列 的 决策 树 情况 。 图 8-1 作用 于 3 个 元 素 时 的 插入 排序 决策 树 
， 每 个 点 都 以 zi: jee, 图 8 pas - 
在 决策 树 中 ， 每 个 内 部 结 点 都 以 i: j 标记 标记 为 i: j 的 内 部 结 点 表示 a Ala, 之 








其 中 ，i 和 j WEI, jn, n 是 输入 序列 中 的 间 的 比较 。 排 列 为 (x(1)，x(2)，…， 
元 素 个 数 。 每 个 叶 结 点 上 都 标注 一 个 序列 (x(1)， x(m)) 的 叶 结 点 表示 得 到 的 顺序 ao < 
x(2)，…，x《n)) (序列 的 相关 背景 知识 参阅 C. 1 anD 全 … 人 axw。 加 了 阴影 的 路 径 表 示 
节 )。 排 序 算法 的 执行 对 应 于 一 条 从 树 的 根 结 点 ar A petite 
sive Mee. de Kei 排序 由 ; 叶 结 点 上 的 排列 
到 叶 结 点 的 路 径 。 每 一 个 内 部 结 点 表示 一 次 比较 Oe 1 eae ei ee 
Qaj。 左 于 树 表示 一 旦 我 们 确定 a:<a 之 后 的 a 一 6<a 一 8。 对 于 输入 元 素来 说 ， 共 
后 续 比 较 ， 右 子 树 则 表示 在 确定 了 >a 后 的 后 有 3! =6 种 可 能 的 排列 ， 因 此 决策 树 


续 比 较 。 当 到 达 一 个 叶 结 点 时 ， 表 示 排 序 算法 已 至 少 包含 6 个 叶 结 点 
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经 确定 了 一 个 顺序 aro Karo Sage 。 因 为 任何 正确 的 排序 算法 都 能 够 生成 输入 的 每 一 个 排 
列 ， 所 以 对 一 个 正确 的 比较 排序 算法 来 说 ，n 个 元 素 的 n! 种 可 能 的 排列 都 应 该 出 现在 决策 树 的 
叶 结 点 上 。 而 且 ， 每 一 个 叶 结 点 都 必须 是 可 以 从 根 结 点 经 由 某 条 路 径 到 达 的 ， 该 路 径 对 应 于 比较 
排序 的 一 次 实际 执行 过 程 ( 我 们 称 这 种 叶 结 点 为 “可 达 的 ”)。 因 此 ， 在 后 续 内 容 中 ， 我 们 将 只 考虑 
每 一 种 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 。 

最 坏 情 况 的 下 界 

在 决策 树 中 ， 从 根 结 点 到 任意 一 个 可 达 叶 结 点 之 间 最 长 简单 路 径 的 长 度 ， 表 示 的 是 对 应 的 
排序 算法 中 最 坏 情 况 下 的 比较 次 数 。 因 此 ， 一 个 比较 排序 算法 中 的 最 坏 情况 比较 次 数 就 等 于 其 
决策 树 的 高 度 。 同 时 ， 当 决策 树 中 每 种 排列 都 是 以 可 达 的 叶 结 点 的 形式 出 现时 ， 该 决策 树 高 度 的 
下 界 也 就 是 比较 排序 算法 运行 时 间 的 下 界 。 下 面 的 定理 给 出 这 样 的 一 个 下 界 。 

定理 8.1 在 最 坏 情况 下 ， 任 何 比较 排序 算法 都 需要 做 Qlnlgn) 次 比较 。 

证 明 根据 前 面 的 讨论 ， 对 于 一 棵 每 个 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 来 说 ， 树 的 高 
度 完全 可 以 被 确定 。 考 虑 一 棵 高 度 为 h、 具 有 /个 可 达 叶 结 点 的 决策 树 ， 它 对 应 一 个 对 n 个 元 素 
所 做 的 比较 排序 。 因 为 输入 数据 的 n! 种 可 能 的 排列 都 是 叶 结 点 ， 所 以 有 n! 三 :。 由 于 在 一 棵 高 
为 的 二 叉 树 中 ， 叶 结 点 的 数目 不 多 于 2 ， 我 们 得 到 : 


nix<l<2 
对 该 式 两 边 取 对 数 ， 有 
h>lg(n!) (AA lg 函数 是 单调 递增 的 ) 
= Qnlgn) (由 公式 (3. 19)) i] 


推论 8.2 堆 排 序 和 归并 排序 都 是 渐 近 最 优 的 比较 排序 算法 。 
证 明 堆 排 序 和 归并 排序 的 运行 时 间 上 界 为 O(nlgn)， 这 与 定理 8. 1 给 出 的 最 坏 情 况 的 下 界 
Qnlgn) 是 一 致 的 。 a 


8.1-1 在 一 棵 比较 排序 算法 的 决策 树 中 ， 一 个 叶 结 点 可 能 的 最 小 深度 是 多 少 ? 
8.1-2 不 用 斯 特 林 近 似 公 式 ， 给 出 lg(zl1) 的 渐 近 紧 确 界 。 利 用 A. 2 节 中 介绍 的 技术 来 求 累加 和 


> lg& 。 


8.1-3 证 明 : Xin! 种 长 度 为 n 的 输入 中 的 至 少 一 半 ， 不 存在 能 达到 线性 运行 时 间 的 比较 排序 算 
法 。 如 果 只 要 求 对 1/n 的 输入 达到 线性 时 间 呢 ?1/2" WE? 

8.1-4 假设 现 有 一 个 包含 ”个 元 素 的 待 排序 序列 。 该 序列 由 n/& 个 子 序列 组 成 ， 每 个 子 序列 包 
含 & 个 元 素 。 一 个 给 定子 序列 中 的 每 个 元 素 都 小 于 其 后 继 子 序列 中 的 所 有 元 素 ， 且 大 于 
其 前 驱 子 序列 中 的 每 个 元 素 。 因 此 ， 对 于 这 个 长 度 为 n 的 序列 的 排序 转化 为 对 n/k 个子 
序列 中 的 & 个 元 素 的 排序 。 试 证 明 : 这 个 排序 问题 中 所 需 比 较 次 数 的 下 界 是 QCnlgk)。 
(提示 : 简单 地 将 每 个 子 序列 的 下 界 进行 合并 是 不 严谨 的 。) 


8.2 计数 排序 


计数 排序 假设 n 个 输入 元 素 中 的 每 一 个 都 是 在 0 到 上 区间 内 的 一 个 整数 ， 其 中 为 某 个 整 
数 。 当 k= 二 Ol(n) 时 ， 排 序 的 运行 时 间 为 OC). 

计数 排序 的 基本 思想 是 : 对 每 一 个 输入 元 素 z， 确 定 小 于 z 的 元 素 个 数 。 利 用 这 一 信息 ， 就 
可 以 直接 把 xz 放 到 它 在 输出 数组 中 的 位 置 上 上 了。 例如， 如 果 有 17 个 元 素 小 于 xz， 则 x 就 应 该 在 
第 18 个 输出 位 置 上 。 当 有 几 个 元 素 相 同时 ， 这 一 方案 要 略 做 修改 。 因 为 不 能 把 它们 放 在 同一 个 
输出 位 置 上 。 
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在 计数 排序 算法 的 代码 中 ， 假 设 输入 是 一 个 数组 A[1. .四 ，A. length 王 n。 我 们 还 需要 两 个 
数组 : B[1.. 妆 存放 排序 的 输出 ，CL0. .&j 提 供 临 时 存储 空间 。 


COUNTING-SORT(A, B, k) 


oonoaunrF wn 王 


12 


let CLO... k] be a new array 
fori = 0 tok 
Cli] =0 
for j = 1 to A. length 
CLADJJ=CLADJJ+1 
1CLi] now contains the number of elements equal to i. 
fori = 1l tok 
C[i]=C[i]+CLi—1] 
/CL[i] now contains the number of elements less than or equal to i. 
for j = A. length downto 1 
B[CLAD]]]=AD 
CLADJJ=CLADJJ—1 


图 8-2 图 示 了 计数 排序 的 运行 过 程 。 在 第 2 一 3 行 for 循环 的 初始 化 操作 之 后 ， 数 组 C 的 值 全 
被 置 为 0; 第 4 一 5 行 的 for 循环 遍历 每 一 个 输入 元 素 。 如 果 一 个 输入 元 素 的 值 为 ， 就 将 Cli 
加 1。 于 是 ， 在 第 5 行 执行 完 后 ，CLi 中 保存 的 就 是 等 于 i 的 元 素 的 个 数 ， 其 中 i=0, 1, +, ko 
第 7 一 8 行 通过 加 总 计算 确定 对 每 一 个 汪 0，1，…，A&A， 有 多 少 输入 元 素 是 小 于 或 等 于 ;的 。 


12345678 ii D3 4H 5-678 
4(2]s[3]o[2]3[o[3] Ree ee ; EEN AS 
i ,ee 's c[2[2]4]7]7 [8] iol e Bid. 

(a) (b) Cc) 
1930 3k BF 6 78 CERERE 
a o| : E > > 本 
012345 0: 02) 3: Ms 3[o|lol2|2|3|3|315| 


clLl21416l71s cl214151718| 


8-2 


(d) (e) (f) 


COUNTING-SORT 在 输入 数组 ALI. . 8] 上 的 处 理 过 程 ， 其 中 A 中 的 每 一 个 元 素 都 是 不 大 于 k 二 5 的 
非 负 整数 。(a) 第 5 行 执行 后 的 数组 A 和 辅助 数组 C 的 情况 。(b) 第 8 行 执行 后 ， 数 组 C 的 情况 。 
(co) 一 (e) 分 别 显示 了 第 10 一 12 行 的 循环 体 和 迭代 了 一 次 、 两 次 和 三 次 之 后 ， 输 出 数组 B 和 辅助 数组 
C 的 情况 。 其 中 ， 数 组 B 中 只 有 浅 色 阴影 部 分 有 元 素 值 填充 。( 人 ?最终 排 好 序 的 输出 数组 B 


最 后 ， 在 第 10 一 12 行 的 for 循环 部 分 ， 把 每 个 元 素 ALjj] 放 到 它 在 输出 数组 B 中 的 正确 位 


HL. 


如 果 所 有 ?个 元 素 都 是 互 异 的 ， 那 么 当 第 一 次 执行 第 10 行 时 ， 对 每 一 个 A[ 站 值 来 说 ， 


CLAL;]j 就 是 ALjj] 在 输出 数组 中 的 最 终 正确 位 置 。 这 是 因为 共有 CLA[L;] 个 元 素 小 于 或 等 于 


AL]. 


因为 所 有 的 元 素 可 能 并 不 都 是 互 异 的 ， 所 以 ,我 们 每 将 一 个 值 A[j 站 放 入 数组 B 中 以 后 ， 


都 要 将 CLA[j]] 的 值 减 1。 这 样 ， 当 过 到 下 一 个 值 等 于 AL IM MATH GRA, HICH AT 
以 直接 被 放 到 输出 数组 中 A[ 门 的 前 一 个 位 置 上 。 

计数 排序 的 时 间 代 价 是 多 少 呢 ? 第 2 一 3 行 的 for 循环 所 花 时 间 为 O), 第 4~5 行 的 for Hh 
环 所 花 时 间 为 O(n), 第 7~8 行 的 for 循环 所 花 时 间 为 O), $ 10~12 行 的 for 循环 所 花 时 间 为 


Qn)。 


排序 ， 


这 样 ， 总 的 时 间 代 价 就 是 @(k 十 n) 。 在 实际 工作 中 ， 当 二 On) 时， 我 们 一 般 会 采用 计数 
这 时 的 运行 时 间 为 OC). 
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计数 排序 的 下 界 优 于 我 们 在 8. 1 节 中 所 证 明 的 Q(nlgn)， 因 为 它 并 不 是 一 个 比较 排序 算法 。 事 
实 上 ， 它 的 代码 中 完全 没有 输入 元 素 之 间 的 比较 操作 。 相 反 ， 计 数 排序 是 使 用 输入 元 素 的 实际 值 
来 确定 其 在 数组 中 的 位 置 。 当 我 们 脱离 了 比较 排序 模型 的 时 候 ，9QGzlg7z) 这 一 下 界 就 不 再 适用 了 。 

计数 排序 的 一 个 重要 性 质 就 是 它 是 稳定 的 : 具有 相同 值 的 元 素 在 输出 数组 中 的 相对 次 序 与 
它们 在 输入 数组 中 的 相对 次 序 相同 。 也 就 是 说 ， 对 两 个 相同 的 数 来 说 ， 在 输入 数组 中 先 出 现 的 
数 ， 在 输出 数组 中 也 位 于 前 面 。 通 常 ， 这 种 稳定 性 只 有 当 进 行 排序 的 数据 还 附带 卫星 数据 时 才 比 
较 重要 。 计 数 排序 的 稳定 性 很 重要 的 另 一 个 原因 是 : 计数 排序 经 常会 被 用 作 基 数 排序 算法 的 一 
个 子 过 程 。 我 们 将 在 下 一 节 中 看 到 ， 为 了 使 基数 排序 正确 运行 ， 计 数 排序 必须 是 稳定 的 。 


练习 

8.2-1 参照 图 8-2 的 方法 ， 说 明 COUNTING-SORT 在 数组 A=<6, 0, 2, 0, 1, 3, 4, 6, 1, 
3，2? 上 的 操作 过 程 。 

8.2-2 EHH COUNTING-SORT 是 稳定 的 。 

8.2-3 假设 我 们 在 COUNTING-SORT 的 第 10 行 循环 的 开始 部 分 ， 将 代码 改写 为 : 


10 for j = 1toA. length 


试 证 明 该 算法 仍然 是 正确 的 。 它 还 稳定 吗 ? 

8.2-4 设计 一 个 算法 ， 它 能 够 对 于 任何 给 定 的 介 于 0 到 & 之 间 的 = 个 整数 先进 行 预 处 理 ， 然 后 
在 O(1) 时 间 内 回答 输入 的 个 整数 中 有 多 少 个 落 在 区 间 [La. .外 内 。 你 设计 的 算法 的 预 处 
理 时 间 应 为 @(n 十 k)。 


8.3 基数 排序 


基数 排序 (radix sort) 是 一 种 用 在 卡片 排序 机 上 的 算法 ， 现 在 你 只 能 在 博物 馆 找到 这 种 卡片 
排序 机 了 。 一 张 卡片 有 80 列 ， 在 每 一 列 上 机 器 可 以 选择 在 12 个 位 置 中 的 任 一 处 穿孔 。 通 过 机 械 
操作 ， 我 们 可 以 对 排序 机 “编程 ”来 检查 每 个 卡片 中 的 给 定 列 ， 然 后 根据 穿孔 的 位 置 将 它们 分 别 放 
人 12 个 容器 中 。 操 作 员 就 可 以 逐个 容器 地 来 收集 卡片 ， 其 中 第 一 个 位 置 穿孔 的 卡片 在 最 上 面 ， 
其 次 是 第 二 个 位 置 穿孔 的 卡片 ， 依 此 类 推 。 

对 十 进 制 数字 来 说 ， 每 列 只 会 用 到 10 个 位 置 ( 另 两 个 位 置 用 于 编码 非 数 值 字符 )。 一 个 d 位 
数 将 占用 d 列 。 因 为 卡片 排序 机 一 次 只 能 查看 一 列 ， 所 以 要 对 nn 张 卡片 上 的 a 位 数 进行 排序 ， 就 
需要 设计 一 个 排序 算法 。 

从 直观 上 来 看 ， 你 可 能 会 觉得 应 该 按 最 高 有 效 位 进行 排序 ， 然 后 对 得 到 的 每 个 容器 递归 地 
进行 排序 ， 最 后 再 把 所 有 结果 合并 起 来 。 遗 憾 的 是 ， 为 了 排序 一 个 容器 中 的 卡片 ，10 个 容器 中 
的 9 个 都 必须 先 放 在 一 边 。 这 一 过 程 产生 了 许多 要 保存 的 临时 卡片 ( 见 练习 8. 3-5). 

与 人 们 直观 感受 相悖 的 是 ， 基 数 排序 是 先 按 最 低 有 效 位 进行 排序 来 解决 卡片 排序 问题 的 。 
然后 算法 将 所 有 卡片 合并 成 一 琶 ， 其 中 0 号 容器 中 的 卡片 都 在 1 号 容器 中 的 卡片 之 前 ， 而 1 号 容 


器 中 的 卡片 又 在 2 号 容器 中 的 卡片 前 面 ， 依 此 类 329 7 时 2o 
推 。 之 后 ， 用 同样 的 方法 按 次 低 有 效 位 对 所 有 的 卡 J i 5 
片 进行 排序 ， 并 把 排 好 的 卡片 再 次 合并 成 一 到 。 重 839 .ar 4599 mtn S mue 57 
复 这 一 过 程 ， 直 到 对 所 有 的 d 位 数字 都 进行 了 排 m dA au 2 
序 。 此 时 ， 所 有 卡片 已 按 4 位 数 完全 排 好 序 。 所 355 8398739 
VA, XAXA RA AS Bs ETT d 轮 。 图 8-3 图 8-3 一 个 由 7 个 3 位 数组 成 的 列表 的 基数 
说 明了 “一 从”7 张 3 位 数 卡 片 的 基数 排序 过 程 。 aT kaa rk S 
为 了 确保 基数 排序 的 正确 性 ， 一 位 数 排序 算法 续 进 行 排序 后 列表 的 情况 。 阴影 指出 


必须 是 稳定 的 。 卡 片 排序 机 所 执行 的 排序 是 稳定 了 进行 排序 的 位 
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的 ， 但 操作 员 必须 确保 卡片 从 容器 中 被 取出 时 不 改变 顺序 ， 即 使 一 个 容器 中 的 所 有 卡片 在 该 位 
都 是 相同 的 数字 也 要 确保 这 一 点 。 

在 一 台 典 型 的 串 行 随 机 存 取 计算 机 上 ， 我 们 有 时 会 用 基数 排序 来 对 具有 多 关键 字 域 的 记录 
进行 排序 。 例 如 ， 我 们 希望 用 三 个 关键 字 ( 年 、 月 和 日 ) 来 对 日 期 进行 排序 。 对 这 个 问题 ， 我 们 可 
以 使 用 基于 特殊 比较 函数 的 排序 算法 : 给 定 两 个 日 期 ， 先 比较 年 ， 如 果 相 同 ， 再 比较 月 ， 如 果 还 
是 相同 ， 就 比较 日 。 我 们 也 可 以 采用 另 一 种 方法 ， 用 一 种 稳定 排序 算法 对 这 些 信息 进行 三 次 排 
FR: 先 日 ， 再 月 ， 最 后 是 年 。 

基数 排序 的 代码 是 非常 直观 的 。 在 下 面 的 代码 中 ,我们 假设 个 a 位 的 元 素 存 放 在 数组 A 
中 ， 其 中 第 1 位 是 最 低位 ， 第 4 位 是 最 高 位 。 

RADIX-SORT(A, d) 

1 fori =1 tod 


2 use a stable sort to sort array A on digit 7 


引 理 8.3 给 定 n 个 d 位 数 ， 其 中 每 一 个 数位 有 个 可 能 的 取 值 。 如 果 RADIX-SORT 使 用 
的 稳定 排序 方法 耗 时 B(n 十 k)， 那 么 它 就 可 以 在 BQ(d(n 十 k)) 时 间 内 将 这 些 数 排 好 序 。 

证 明 ”基数 排序 的 正确 性 可 以 通过 对 被 排序 的 列 进行 归纳 而 加 以 证 明 ( 见 练习 8. 3-3)。 对 算 
法 时 间 代价 的 分 析 依 赖 于 所 使 用 的 稳定 的 排序 算法 。 当 每 位 数字 都 在 0 到 一 1 区 间 内 (这 样 它 就 
有 上 个 可 能 的 取 值 );， 且 的 值 不 太 大 的 时 候 ， 计 数 排序 是 一 个 好 的 选择 。 对 nA d 位 数 来 说 ， 
每 一 轮 排序 耗 时 O(n +k). HA d 轮 ， 因 此 基数 排序 的 总 时 间 为 8(d(n 十 k))。 a 

4d 为 常数 且 k 二 O(n) 时 ， 基 数 排序 具有 线性 的 时 间 代 价 。 在 更 一 般 的 情况 中 ， 我 们 可 以 灵 
活 地 决定 如 何 将 每 个 关键 字 分 解 成 若干 位 。 

引 理 8.4 给 定 一 个 8 位 数 和 任何 正 整数 r 二 9， 如 果 RADIX-SORT 使 用 的 稳定 排序 算法 对 
数据 取 值 区 间 是 0 到 上 的 输入 进行 排序 耗 时 昌 (n 十 k)， 那 么 它 就 可 以 在 O((b/r)(n4+2’)) Bt i A 
将 这 些 数 排 好 序 。 

证 明 对 于 一 个 值 -<b5， 每 个 关键 字 可 以 看 做 d=[b/r r 位 数 。 每 个 数 都 是 在 0 到 2 一 1 
区 间 内 的 一 个 整数 ， 这 样 就 可 以 采用 计数 排序 ， 其 中 =2" 一 1。( 例 如 ， 我 们 可 以 将 一 个 32 位 的 
字 看 做 是 4 个 8 位 的 数 ， 于 是 有 4 二 32， r=8, k=2—1=255 和 d= 二 6b/r 二 4)。 每 一 轮 排序 花费 时 
间 为 8(n 十 &) 二 Bln 十 2")， 计 数 排序 花费 的 总 时 间 代 价 为 OCd(n+2"))=OC(b/r)(n+2")), m 

对 于 给 定 的 n 和 64， 我 们 希望 所 选择 的 r(r<<5) 值 能 够 最 小 化 表达 式 (5/7) nt). WMR 0 一 
Lgnj， 则 对 于 任何 满足 r<b Hr, 都 有 (n 十 2") 二 8B(n)。 显 然 ， 选 择 r=b 得 到 的 时 间 代 价 为 
(b/b) (十 2 ) 王 9(Cz) ， 这 一 结果 是 渐 近 意义 上 最 优 的 。 如 果 b 宇 lLlgnj， 选 择 r 二 Llgnj 可 以 得 到 偏 
差 不 超 过 常数 系数 范围 内 的 最 优 时 间 代 价 。 下 面 我 们 来 详细 说 明 这 一 点 。 选 择 r= 二 Llgnj， 得 到 的 
运行 时 间 为 OCbn/ lgz) 。 随 着 将 -的 值 逐 步 增 大 到 大 于 LlgzjJ 后 ， 分 子 中 的 2" 项 比分 母 中 的 7 项 增 
加 得 快 。 因 此 ， 将 ~ 增 大 到 大 于 llgzj 后 ， 得 到 的 时 间 代价 为 QCbn/ lgn)。 反 之 ， 如 果 将 7 减 小 到 
Llgnj 之 下 ， 则 b/r 项 会 变 大 ， 而 n+? 项 仍 保持 为 Om). 

基数 排序 是 否 比 基于 比较 的 排序 算法 (如 快速 排序 ) 更 好 呢 ? 通常 情况 ， 如 果 b==O(lgn)， 
而 且 我 们 选择 r~ lgz， 则 基数 排序 的 运行 时 间 为 96(n)。 这 一 结果 看 上 去 要 比 快速 排序 的 期 望 
运行 时 间 代 价 BCzlg 妆 更 好 一 些 。 但 是 ,在 这 两 个 表达 式 中 ， 隐 含 在 日 符号 背后 的 常数 项 因子 
是 不 同 的。 在 处 理 的 = 个 关键 字 时 ， 尽 管 基数 排序 执行 的 循环 轮 数 会 比 快速 排序 要 少 ， 但 每 一 
轮 它 所 耗费 的 时 间 要 长 得 多 。 哪 一 个 排序 算法 更 合适 依赖 于 具体 实现 和 底层 硬件 的 特性 (例如 ， 
快速 排序 通常 可 以 比 基 数 排序 更 有 效 地 使 用 硬件 的 缓存 )， 以 及 输入 数据 的 特征 。 此 外 ， 利 用 
计数 排序 作为 中 间 稳 定 排序 的 基数 排序 不 是 原址 排序 ， 而 很 多 Blnlgn) 时 间 的 比较 排序 是 原址 
排序 。 因 此 ， 当 主 存 的 容量 比较 宝贵 时 ， 我 们 可 能 会 更 倾向 于 像 快速 排序 这 样 的 原址 排序 
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算法 。 
练习 


8.3-1 参照 图 8-3 的 方法 ， 说 明 RADIX-SORT 在 下 列 英文 单词 上 的 操作 过 程 : COW，DOG， 

SEA, RUG, ROW, MOB, BOX, TAB, BAR, EAR, TAR, DIG, BIG, TEA, 
199 NOW, FOX, 

8.3-2 下 面 的 排序 算法 中 哪些 是 稳定 的 : 插入 排序 、 归 并 排序 、 堆 排序 和 快速 排序 ? 给 出 一 个 
能 使 任何 排序 算法 都 稳定 的 方法 。 你 所 给 出 的 方法 带 来 的 额外 时 间 和 空间 开销 是 多 少 ? 

8.3-3 ”利用 归纳 法 来 证 明基 数 排序 是 正确 的 。 在 你 所 给 出 的 证 明 中 ， 在 哪里 需要 假设 所 用 的 底 
层 排序 算法 是 稳定 的 ? 

8.3-4 说 明 如 何在 O(nw?) 时 间 内 ,对 0 到 zw 一 1 区 间 内 的 个 整数 进行 排序 。 

*8.3-5 ”在 本 节 给 出 的 第 一 个 卡片 排序 算法 中 ， 为 排序 4 位 十 进 制 数 ， 在 最 坏 情况 下 需要 多 少 轮 
排序 ? 在 最 坏 情况 下 ， 操 作 员 需要 记录 多 少 堆 卡片 ? 


8.4 桶 排序 


桶 排序 (bucket sort) 假 设 输 入 数据 服从 均匀 分 布 ， 平 均 情 况 下 它 的 时 间 代 价 为 O(z) 。 与 计数 
排序 类 似 ， 因 为 对 输入 数据 作 了 某 种 假设 ， 桶 排序 的 速度 也 很 快 。 具 体 来 说 ， 计 数 排序 假设 输入 
数据 都 属于 一 个 小 区 间 内 的 整数 ， 而 桶 排序 则 假设 输入 是 由 一 个 随机 过 程 产生 ， 该 过 程 将 元 素 
均匀 、 独 立地 分 布 在 L0，1) 区 间 上 ( 见 C. 2 节 中 均匀 分 布 的 定义 ) 。 

桶 排序 将 L0，1) 区 间 划 分 为 ”个 相同 大 小 的 子 区 间 ， 或 称 为 桶 。 然 后 ， 将 对 个 输入 数 分 别 放 
到 各 个 桶 中 。 因 为 输入 数据 是 均匀 、 独 立地 分 布 在 [0，1) 区 间 上 ， 所 以 一 般 不 会 出 现 很 多 数落 在 
同一 个 桶 中 的 情况 。 为 了 得 到 输出 结果 ， 我 们 先 对 每 个 桶 中 的 数 进行 排序 ， 然 后 遍历 每 个 桶 ， 按 
照 次 序 把 各 个 桶 中 的 元 素 列 出 来 即 可 。 

在 桶 排序 的 代码 中 ， 我 们 假设 输入 是 一 个 包含 n 个 元 素 的 数组 A， 且 每 个 元 素 ALi E 0 三 
A[ 疏 二 1。 此 外 ,算法 还 需要 一 个 临时 数组 BLO. . n 一 1] 来 存放 链表 ( 即 桶 )， 并 假设 存在 一 种 用 于 
维护 这 些 链表 的 机 制 (10. 2 节 将 介绍 如 何 实现 链表 4 

的 一 些 基 本 操作 ) 。 1 [28 


BUCKET-SORT(A) 
n = A. length 





1 
2 let BLO. . n—1] be a new array 
3 fori = 0ton—1 
4 make B[i] an empty list 
5 fori = lton 
6 insert A[i] into list B[|_nALi])) 
7 fori = 0ton—1 
8 sort list B[i] with insertion sort 
9 concatenate the lists B[0], B[1], +++, B[n—1] together in order 图 8-4 在 n= 二 10 8}, BUCKET-SORT 的 操作 
图 8-4 显示 了 在 一 个 包含 10 个 元 素 的 输入 数组 Poe ei Ee 10]。(b) 在 
$ 法 8 行 之 后 ，BL0..9j 中 的 已 
i eee Ce 
; 放 的 是 半 开 区 间 [z/10，(i 十 1D)/10] 中 
RALIM AL). 不 失 一 般 性 ， 不 妨 假设 ALi 的 值 。 排 好 序 的 输出 是 由 链表 BLO], 


ALj]。 由 于 LnA[ 引 |<LnALj]J, 元 素 A[ 门 或 者 与 BLI1]j，…，BL9] 依 次 连接 而 成 的 
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A[j] 被 放 和 人 同一 个 桶 中 ， 或 者 被 放 入 一 个 下 标 更 小 的 桶 中 。 如 果 A[ 训 和 AD 在 同一 个 桶 中 ， 则 
第 7 一 8 行 中 的 for 循环 会 将 它们 按 适 当 的 顺序 排列 。 如 果 A[ 如 和 A[j] 落 和 人 了 不 同 的 桶 中 ， 则 第 9 
行 会 将 它们 按 适当 的 顺序 排列 。 因 此 ， 桶 排序 算法 是 正确 的 。 

现在 来 分 析 桶 排序 的 运行 时 间 。 我 们 注意 到 ， 在 最 坏 情 况 下 ， 除 第 8 行 以 外 ， 所 有 其 他 各 行 
时 间 代 价 都 是 OC(n) 。 我 们 还 需要 分 析 第 8 行 中 次 插入 排序 调用 所 花费 的 总 时 间 。 

现在 来 分 析 调 用 插入 排序 的 时 间 代 价 。 假 设 n 是 表示 桶 BLi] 中 元 素 个 数 的 随机 变量 ， 因 为 
插入 排序 的 时 间 代 价 是 平方 阶 的 ( 见 2.2 节 )， 所 以 桶 排序 的 时 间 代价 为 : 


nl 
Tn) = O(n) + ` OC?) 
i=0 


我 们 现在 来 分 析 桶 排序 在 平均 情况 下 的 运行 时 间 。 通 过 对 输入 数据 取 期 望 ， 我 们 可 以 计算 
出 期 望 的 运行 时 间 。 对 上 式 两 边 取 期 望 ， 并 利用 期 望 的 线性 性 质 ， 我 们 有 : 


nl 
E[T(w] = E| om + 3) 008) | 


= 0m +Š ELOD] (利用 期 望 的 线性 性 质 ) 


nl 
= @(n)+ J OE) (利用 公式 (C. 22)) (8. 1) 
我 们 断言 : 
EL] = 2— 1/n (8. 2) 


对 所 有 i 二 0，1，…，n 一 1 成 立 。 这 一 点 不 足 为 奇 : 因为 输入 数组 A 的 每 一 个 元 素 是 等 概率 地 落 
和 人 任意 一 个 桶 中 ， 所 以 每 一 个 桶 i 具有 相同 的 期 望 值 ELx?]。 为 了 证 明 公式 (8. 2)， 我 们 定义 指示 
器 随机 变量 : 对 所 有 i=0, 1, e, nol 和 7 王 1，2，…，7， 
X; = HAU] ¥AM i) 
因此 ， 
n; = Dr 
为 了 计算 ELn? ]， 我 们 展开 平方 项 ， 并 重新 组 合 各 项 : 


EL] = E| ( Xx) |= BLS X XXa]= Bl DX E2 XXa] 


= ÑEN] > EX ] (8. 3) 
其 中 ， 最 后 一 行 是 根据 数学 期 望 的 线性 性 质 得 出 的 。 我 们 分 别 计算 这 两 项 累加 和 ， 指 示 器 随机 变 

量 X; 为 1 的 概率 是 1/n， 其 他 情况 下 是 0。 于 是 有 : 
EX] = e +o n (1 一 二 ) =+ 

4 kÆÉj 时 ， 随 机 变量 X 和 Xa 是 独立 的 ， 因 此 有 : 
ELX,Xs] = E[XyJELX4J=+-+=4 

Elm ae 3)， 我 们 得 到 : 

Ent] = 3) 2 LAD Dsn ttn +5 14221 = 2-4 


l<jxn igace M n n 


到 此 ， 公 式 (8. 2) 得 证 。 
利用 公式 (8. 1) 中 的 期 望 值 ， 我 们 可 以 得 出 结论 : 桶 排序 的 期 望 运行 时 间 为 
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Oln) +n + O(2—1/n) = O(n) 
即使 输入 数据 不 服从 均匀 分 布 ， 桶 排序 也 仍然 可 以 线性 时 间 内 完成 。 只 要 输入 数据 满足 下 


列 性 质 : 所 有 桶 的 大 小 的 平方 和 与 总 的 元 素数 呈 线 性 关系 ， 那 么 通过 公式 (8. 1)， 我 们 就 可 以 知 
道 : 桶 排序 仍然 能 在 线性 时 间 完 成 。 


练习 
8.4-1 参照 图 8-4 的 方法 ， 说 明 BUCKET-SORT 在 数组 A=(0.79, 0.13, 0.16, 0.64, 0.39, 


0.20，0. 89，0. 53，0. 71，0. 42》 上 的 操作 过 程 。 


8.4-2 解释 为 什么 桶 排序 在 最 坏 情况 下 运行 时 间 是 O)? 我 们 应 该 如 何 修改 算法 ， 使 其 在 保 


持平 均 情况 为 线性 时 间 代价 的 同时 ， 最 坏 情况 下 时 间 代 价 为 Olgan)? 


8.4-3 设 X 是 一 个 随机 变量 ， 用 于 表示 在 将 一 枚 硬币 抛掷 两 次 时 ， 正 面 朝 上 的 次 数 。E[LX ] 是 


多 少 呢 ? E LX EBD WE? 


*8. 4-4 ”在 单位 圆 内 给 定 nn 个 点 ，p; 二 (zx;，y;)， 对 所 有 i 二 1，2，…，n， 有 0 十 二 1。 假设 


所 有 的 点 服从 均匀 分 布 ， 即 在 单位 元 的 任 一 区 域内 找到 给 定点 的 概率 与 该 区 域 的 面积 成 
正比 。 请 设计 一 个 在 平均 情况 下 有 8B(n) 时 间 代 价 的 算法 ， 它 能 够 按照 点 到 原点 之 间 的 距 
BS d; 二 VC 十 对 这 nn 个 点 进行 排序 。( 提 示 : 在 BUCKET-SORT 中 ,设计 适当 的 桶 大 
小 ， 用 以 反映 各 个 点 在 单位 圆 中 的 均匀 分 布 情况 .) 


*8.4-5 定义 随机 变量 X 的 概率 分 布 函数 P(z) 为 P(x) 二 Pr{X 三 zx)}。 假 设 有 7 个 随机 变量 X, 


Xas o X, 服从 一 个 连续 概率 分 布 函 数 已 ， 且 它 可 以 在 O(1) 时 间 内 被 计算 得 到 。 设 计 
一 个 算法 ， 使 其 能 够 在 平均 情况 下 在 线性 时 间 内 完成 这 些 数 的 排序 。 


思考 题 


8-1 


(比较 排序 的 概率 下 界 ) 在 这 一 问题 中 ， 我 们 将 证 明 对 于 给 定 的 ?个 互 异 的 输入 元 素 ， 任 
何 确定 或 随机 的 比较 排序 算法 ， 其 概率 运行 时 间 都 有 下 界 QCn1lgn)。 首 先 来 分 析 一 个 确定 
的 比较 排序 算法 A， 其 决策 树 为 T。。 假 设 A 的 输入 的 每 一 种 排列 情况 都 是 等 可 能 的 。 

a. 假设 T 的 每 个 叶 结 点 都 标 有 在 给 定 的 随机 输入 情况 下 到 达 该 结 点 的 概率 。 证 明 : 恰 有 
n! 个 叶 结 点 标 有 1/n!， 其 他 的 叶 结 点 标记 为 0。 

b. 定义 D( 了 TD) 表示 一 棵 决策 树 工 的 外 部 路 径 长 度 ， 即 DCT) 是 工 的 所 有 叶 结 点 深度 的 和 。 
假设 TARA k>1 个 叶 结 点 的 决策 树 ，LT 和 RT 分 别 是 T 的 左 子 树 和 右 子 树 。 证 
H: DD=DLT)+DRT) +k. 

c EL dO ARARA k>1 Am ARR T Hh DT ti. WEH: d(k) = 
Min (dC) +dk—D +k). GAT: 考虑 一 棵 能 够 取得 该 最 小 值 的 、 有 “个 叶 结 点 的 决 
RAT. 设 i 是 LT 中 的 叶 结 点 数 ，k 一 i 是 RT 中 的 叶 结 点 数 。) 

d. 证 明 : d IFAEHRASDA IdSi<k-1), BM ilgi+k—Dlg(k—-D HE i=h/2 处 取 
得 最 小 值 ， 并 有 结论 d(k) 二 QC(klgk)。 

e 证 明 : DCTa) 二 Qnl lgCn!1))， 并 得 出 在 平均 情况 下 ， 排 序 ”个 元 素 的 时 间 代 价 为 AC Ign) ix 
一 结论 。 

现在 来 考虑 一 个 随机 化 的 比较 排序 B。 通 过 引入 两 种 结 点 ， 我 们 可 以 将 决策 树 模型 
扩展 来 处 理 随 机 化 的 情况 。 这 两 种 结 点 是 : 普通 的 比较 结 点 和 “随机 化 ” 结 点 。 随 机 化 结 
点 刻画 了 算法 B 中 所 做 的 形 如 RANDOM(1，7) 的 随机 选择 情况 。 该 类 结 点 有 r 个 子 结 
点 ， 在 算法 执行 过 程 中 ， 每 一 个 子 结 点 等 概率 地 被 选择 。 


8-2 


8-3 


8-4 
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f 证 明 ， 对 任何 随机 化 比较 排序 算法 B， 总 存在 一 个 确定 的 比较 排序 算法 A， 其 期 望 的 比 
较 次 数 不 多 于 B 的 比较 次 数 。 

(线性 时 间 原 址 排序 ) ”假设 有 一 个 包含 ”个 待 排序 数据 记录 的 数组 ， 且 每 条 记录 的 关键 字 

的 值 为 0 或 1。 对 这 样 一 组 记录 进行 排序 的 算法 可 能 具备 如 下 三 种 特性 中 的 一 部 分 : 

算法 的 时 间 代价 是 OCD) 。 

算法 是 稳定 的 。 

算法 是 原址 排序 ， 除 了 输入 数组 之 外 ， 算 法 只 需要 固定 的 额外 存储 空间 。 

给 出 一 个 满足 上 述 条 件 1 和 条 件 2 的 算法 。 

给 出 一 个 满足 上 述 条 件 1 和 条 件 3 的 算法 。 

给 出 一 个 满足 上 述 条 件 2 和 条 件 3 的 算法 。 

d. 你 设计 的 算法 (a)~…(c) 中 的 任 一 个 是 否 可 以 用 于 RADIX-SORT 的 第 2 行 作为 基础 排序 广 
法 ， 从 而 使 RADIX-SORT 在 排序 有 ”位 关键 字 的 条 记录 时 的 时 间 代价 是 O(bz)? 如 果 
可 以 ， 请 解释 应 如 何 处 理 ， 如 果 不 行 ， 请 说 明 原因 。 

e 假设 有 条 记录 ， 其 中 所 有 关键 字 的 值 都 在 1 到 的 区 间 内 。 你 应 该 如 何 修改 计数 排序 ， 
使 得 它 可 以 在 O(n 十 有 时 间 内 完成 对 条 记录 的 原址 排序 。 除 输入 数组 外 ， 你 可 以 OCA) 
用 大 小 的 额外 存储 空间 。 你 给 出 的 算法 是 稳定 的 吗 ? GER: 当 & 一 3 时 ， 你 应 该 如 何 做 ?) 

(〈 变 长 数据 项 的 排序 ) 

a 给 定 一 个 整数 数组 ， 其 中 不 同 的 整数 所 包含 的 数字 的 位 数 可 能 不 同 ， 但 该 数组 中 ， 所 有 整 
数 中 包含 的 总 数字 位 数 为 x。 设计 一 个 算法 使 其 可 以 在 O(n) 时 间 内 对 该 数组 进行 排序 。 
be 给 定 一 个 字符 串 数组 ， 其 中 不 同 的 字符 串 所 包含 的 字符 数 可 能 不 同 ， 但 所 有 字符 串 中 的 
总 字符 个 数 为 mn。 设计 一 个 算法 ， 使 其 可 以 在 O(n) 时 间 内 对 该 数组 进行 排序 。( 注 意 : 

此 处 的 顺序 是 指标 准 的 字典 序 ， 例 如 a<ab<b, 

KÈ) BORAT Kn PEM KA n 个 蓝 色 的 水 壶 。 它 们 的 形状 和 尺寸 都 各 不 相同 。 

所 有 的 红色 水 壶 中 所 盛 的 水 都 不 一 样 多 ， 蓝 色 水 壶 也 是 如 此 。 而 且 ， 对 于 每 一 个 红色 水 壶 

来 说 ， 都 有 一 个 对 应 的 蓝 色 水 壶 ， 两 者 盛 有 一 样 多 的 水 ; 反之 亦 然 。 

你 的 任务 是 找 出 所 有 的 所 盛 水 量 一 样 多 的 红色 水 壹 和 蓝 色 水 壶 ， 并 将 它们 配 成 一 对 。 
为 此 ， 可 以 执行 如 下 操作 ， 挑 出 一 对 水 壶 ， 其 中 一 个 是 红色 的 ， 另 一 个 是 蓝 色 的 ， 将 红色 
水 壶 中 倒 满 水 ， 再 将 水 倒 入 蓝 色 的 水 壹 中。 通过 这 一 操作 ， 可 以 判断 出 这 个 红色 水 壶 是 否 
比 蓝 色 水 壹 盛 的 水 更 多 ， 或 者 两 者 是 一 样 多 的 。 假 设 这 样 的 比较 需要 花费 一 个 单位 时 间 。 
你 的 目标 是 找 出 一 个 算法 ， 它 能 够 用 最 少 的 比较 次 数 来 确定 所 有 水 壶 的 配对 。 注 意 ， 你 不 
能 直接 比较 两 个 红色 或 两 个 蓝 色 的 水 壶 。 

a 设计 一 个 确定 性 算法 ， 它 能 够 用 9Cz) 次 比较 来 完成 所 有 水 过 的 配对 。 

b 证 明 ， 解 决 该 问题 算法 的 比较 次 数 下 界 为 QCnlgm)。 

e 设计 一 个 随机 算法 ， 其 期 望 的 比较 次 数 为 OCnlgn) ， 并 证 明 这 个 界 是 正确 的 。 对 你 的 算 
法 来 说 ， 最 坏 情况 下 的 比较 次 数 是 多 少 ? 

(平均 排序 ) 假设 我 们 不 是 要 完全 排序 一 个 数组 ， 而 只 是 要 求 数组 中 的 元 素 在 平均 情况 下 

是 升序 的 。 更 准确 地 说 ， 如 果 对 所 有 的 i 二 1，2，.…，n 一 k 有 下 式 成 立 ， 我 们 就 称 一 个 包 

A n PICK WBA A 为 k 排序 的 (k-sorted): 

SAU] ALI 
a 一 个 数组 是 1 排序 的 ， 表 示 什么 含义 ? 
b 给 出 对 数字 1，2，…，10 的 一 个 排列 ， 它 是 2 排序 的 ， 但 不 是 完全 有 序 的 。 


_ 
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c 证 明 : 一 个 包含 nn 个 元 素 的 数组 是 & 排序 的 ， 当 上 且 仅 当 对 所 有 的 i 二 1，2，…，n 一 k&， 有 
ALiJ<ALi+e]. 

d. 设计 一 个 算法 ， 它 能 在 Olnlg(n/&)) 时 间 内 对 一 个 包含 个 元 素 的 数组 进行 & 排序 。 
当 上 是 一 个 常数 时 ， 也 可 以 给 出 排序 算法 的 下 界 。 

e 证 明 : 我 们 可 以 在 OC(nlgk) 时 间 内 对 一 个 长 度 为 的 & 排序 数组 进行 全 排序 。( 提 示 : 可 
以 利用 练习 6. 5-9 的 结果 。) 

f. 证 明 ， 当 是 一 个 常数 时 ， 对 包含 个 元 素 的 数组 进行 & 排序 需要 QCnlgn) 的 时 间 。( 提 
示 : 可 以 利用 前 面 解决 比较 排序 的 下 界 的 方法 。) 

(合并 有 序列 表 的 下 界 ) 合并 两 个 有 序列 表 是 我 们 经 常会 遇 到 的 问题 。 作 为 MERGE- 

SORT 的 一 个 子 过 程 ， 我 们 在 2.3.1 节 中 已 经 遇 到 过 这 一 问题 。 对 这 一 问题 ， 我 们 将 证 明 

在 最 坏 情 况 下 ， 合 并 两 个 都 包含 n 个 元素 的 有 序列 表 所 需 的 比较 次 数 的 下 界 是 2n 一 1。 

首先 ， 利 用 决策 树 来 说 明 比 较 次 数 有 一 个 下 界 2n 一 oCn)。 

a 给 定 22 个 数 ， 请 算出 共有 多 少 种 可 能 的 方式 将 它们 划分 成 两 个 有 序 的 列表 ， 其 中 每 个 列 
表 都 包含 ”个 数 。 

b 利用 决策 树 和 (a) 的 答案 ， 证明: 任何 能 够 正确 合并 两 个 有 序列 表 的 算法 都 至 少 要 进行 
2n 一 oln) 次 比较 。 

现在 我 们 来 给 出 一 个 更 紧 确 界 2n 一 1。 

ce 请 说 明 : 如 果 两 个 元 素 在 有 序 序列 中 是 连续 的 ， 且 它们 分 别 来 自 不 同 的 列表 ， 则 它们 必 
须 进 行 比较 。 

d. 利用 你 对 上 一 部 分 的 回答 ， 说 明 合并 两 个 有 序列 表 时 的 比较 次 数 下 界 为 2n 一 1。 

(0-1 排序 引 理 和 列 排序 ) ”针对 两 个 数组 元 素 ALLA AL) <j) AY be Bee RR HE HIB SK 

如 下 : 

COMPARE-EXCHANGE(A, i, j) 

1 if ALi] > AL] 

2 exchange A[i] with AD ] 


经 过 比较 交换 操作 之 后 ， 我 们 得 到 ALL<ALj]. 

遗忘 比较 交换 算法 是 指 算法 只 按照 事先 定义 好 的 操作 执行 ， 即 需要 比较 的 位 置 下 标 必 
须 事先 确定 好 。 虽 然 算 法 可 能 依靠 待 排序 元 素 个 数 ， 但 它 不 能 依赖 待 排 序 元 素 的 值 ， 也 不 
能 依赖 任何 之 前 的 比较 交换 操作 的 结果 。 例 如 ， 下 面 是 一 个 基于 遗忘 比较 交换 算法 的 插入 
排序 : 
INSERTION-SORT (A) 
1 forj = 2 to A. length 
2 for i = j — 1 downto 1 
3 COMPARE-EXCHANGE(A, i, i + 1) 


0-1 排序 引 理 提 供 了 有 力 的 方法 来 证 明 一 个 遗忘 比较 交换 算法 可 以 产生 正确 的 排序 结 
果 。 该 引 理 表 明 ， 如 果 一 个 遗忘 比较 交换 算法 能 够 对 所 有 只 包含 0 和 1 的 输入 序列 排序 ， 
那么 它 也 可 以 对 包含 任意 值 的 输入 序列 排序 。 

你 可 以 用 反例 来 证 明 0-1 排序 引 理 : 如 果 一 个 遗忘 比较 交换 算法 不 能 对 一 个 包含 任意 
值 的 序列 进行 排序 ， 那 么 它 也 不 能 对 某 个 0-1 序列 进行 排序 。 不 妨 假设 一 个 遗忘 比较 交换 
算法 X 未 能 对 数组 AL1. .nj 排序 。 设 ALp] 是 算法 X 未 能 将 其 放 到 正确 位 置 的 最 小 的 元 素 ， 
而 ALqj 是 被 算法 X 放 在 A[Lpj] 原 本 应 该 在 的 位 置 上 的 元 素 。 定 义 一 个 只 包含 0 和 1 的 数组 
BLI. .nj 如 下 : 
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0 #Ali]<Alp] 

1 # Ali]> ALe] 

a 讨论 : 4 Algl>ALelM. A BLp]==0 和 BLg]=1。 

b. 为 了 完成 0-1 排序 引 理 的 证 明 ， 请 先 证 明 算 法 X 不 能 对 数组 B 正确 地 排序 。 

现在 ,需要 用 0-1 排序 引 理 来 证 明 一 个 特别 的 排序 算法 的 正确 性 。 列 排序 算法 是 用 于 包含 n 

个 元 素 的 矩形 数组 的 排序 。 这 一 矩形 数组 有 7 行列 (因此 n=rs)， 满足 下列 三 个 限制 条 件 : 

。 7 必须 是 偶数 
。 必须 是 > 的 因子 
。 res 

当 列 排序 完成 时 ， 和 矩形 数组 是 列 优先 有 序 的 : 按照 列 从 上 到 下 ， 从 左 到 右 ， 都 是 单调 递 

增 的 。 

如 果 不 包 括 n 的 值 的 计算 ， 列 排序 需要 8 步 操 作 。 所 有 奇数 步 都 一 样 : 对 每 一 列 单独 
进行 排序 。 每 一 个 偶数 步 是 一 个 特定 的 排列 。 具 体 如 下 : 

1. 对 每 一 列 进行 排序 。 

2. 转 置 这 个 矩形 数组 ， 并 重新 规整 化 为 > 行列 的 形式 。 也 就 是 说 ， 首 先 将 最 左边 的 一 列 
放 在 前 r/s 行 ， 然 后 将 下 一 列 放 在 第 二 个 r/; 行 ， 依 此 类 推 。 

. 对 每 一 列 进行 排序 。 

. 执行 第 2 步 排列 操作 的 逆 操 作 。 

. 对 每 一 列 进行 排序 。 

. 将 每 一 列 的 上 半 部 分 移 到 同一 列 的 下 半 部 分 位 置 ， 将 每 一 列 的 下 半 部 分 移 到 下 一 列 的 上 
半 部 分 ， 并 将 最 左边 一 列 的 上 半 部 分 置 为 空 。 此 时 ， 最 后 一 列 的 下 半 部 分 成 为 新 的 最 右 
列 的 上 半 部 分 ， 新 的 最 右 列 的 下 半 部 分 为 空 。 

7. 对 每 一 列 进行 排序 。 


Bli] = 


a oo eA w 


8. 执行 第 6 步 排列 操作 的 逆 操作 。 
图 8-5 显示 了 一 个 在 r=6 Al s=3 时 的 列 排序 步骤 (即使 这 个 例子 违背 了 rks? 的 条 件 ， 
列 排序 仍然 有 效 ) 。 
10 14 5 * yy 2 4 8 10 LS 36 1 4 #1 
8° 9 I ae eee” 12 16 18 2S i 3 8 14 
12 二 10. 7 6 MRA ENS 3 4 8 10 6 10 17 
16 9 11 2 9-H 9 14 15 9 4313: AS 2 9" 2 
4 15 2 16 14 13 2 <§. “6 Il 14°17 5 13 16 
18 3 13 1S 15. Y i LL. Io ir 12 16 18 7 TS 18 
(a) (b) Cc) (d) Ce) 
DA tl 5 10 16 4 10 16 | KORA Rae F- 
2) -8 12 6. 13° 17 s iT) 17 2, -S> 14 
3 9 #14 7 .15: 18 6 12 18 3 9 5 
5 10 16 1 4 11 1> "1 4 10 16 
6 13 17 2 8 12 2 8 14 5 11 17 
7 1S 18 3 9 14 3.12 “1S 6 


8-5 列 排序 的 步骤 。(a)6 行 3 列 的 输入 数组 。(b) 第 1 步 排序 操作 之 后 的 情况 。(c) 第 2 步 转 置 和 规整 化 
后 的 情况 。(d) 第 3 步 排序 操作 之 后 的 情况 。(e) 执 行 完 第 4 步 的 情况 ， 即 反 转 第 2 步 排 列 操作 。 
(D5 步 排序 操作 之 后 的 情况 。(g) 第 6 步 移动 后 的 情况 。(h) 第 7 步 排序 操作 之 后 的 情况 。(i) 执 行 
完 第 8 步 的 情况 ， 即 反 转 第 6 步 排列 操作 。 现 在 数组 已 经 是 列 优先 有 序 了 


c 讨论 : 即使 不 知道 奇数 步 采 用 了 什么 排序 算法 ， 我 们 也 可 以 把 列 排序 看 做 一 种 遗忘 比较 
交换 算法 。 
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虽然 似乎 很 难 让 人 相信 列 排 序 也 能 实现 排序 ， 但 是 你 可 以 利用 0-1 排序 引 理 来 证 明 这 
一 点 。 因 为 列 排序 可 以 看 做 是 一 种 遗忘 比较 交换 算法 ， 所 以 我 们 可 以 使 用 0-1 排序 引 理 。 
下 面 一 些 定义 有 助 于 你 使 用 这 一 引 理 。 如 果 数 组 中 的 某 个 区 域 只 包含 全 0 或 者 全 1， 我们 定 
义 这 个 区 域 是 干净 的 。 和 否则， 如 果 这 个 区 域 包含 的 是 0 和 1 的 混合 ， 则 称 这 个 区 域 是 脏 的 。 
这 里 ， 假 设 输入 数据 只 包含 0 和 1， 且 输入 数据 能 够 被 转换 为 > 行列 。 

d. 证 明 : 经 过 第 1 一 3 步 ， 数 组 由 三 部 分 组 成 : 顶部 一 些 由 全 0 组 成 的 干净 行 ， 底 部 一 些 由 
全 1 组 成 的 干净 行 ， 以 及 中 间 最 多 s TIERT. 

e 证 明 : 经 过 第 4 步 之 后 ， 如 果 按 照 列 优先 原则 读 取 数组 ， 先 读 到 的 是 全 0 的 干净 区 域 ， 
最 后 是 全 1 的 干净 区 域 ， 中 间 是 由 最 多 s 个 元 素 组 成 的 脏 的 区 域 。 

f. 证 明 : 第 5 一 8 步 产生 一 个 全 排序 的 0-1 输出 ， 并 得 到 结论 : 列 排序 可 以 正确 地 对 任意 输 
入 值 排序 。 

g 现在 假设 ;不 能 被 7 整除 。 证明: 经 过 第 1 一 3 步 ， 数组 的 顶部 有 一 些 全 0 的 干净 行 ， 底 
部 有 一 些 全 1 的 干净 行 ， 中 间 是 最 多 2s 一 1 行 脏 行 。 那 么 与 ; 相 比 ， 在 ;不 能 被 7 整除 
If, r 至 少 要 有 多 大 才能 保证 列 排序 的 正确 性 ? 

h. 对 第 1 步 做 一 个 简单 修改 ,使 得 我 们 可 以 在 s 不 能 被 + 整除 时 ， 也 保证 全 2* ， 并 且 证 明 
在 这 一 修改 后 ， 列 排序 仍然 正确 。 


本 章 注 记 

用 于 研究 比较 排序 的 决策 树 模型 首先 是 由 Ford 和 Johnson[110] 提 出 的 。Knuth[211] 有 关 排 
序 的 综述 中 涉及 了 排序 问题 的 很 多 变形 ， 包 括 本 章 所 给 出 的 排序 问题 复杂 度 的 信息 论 下 界 。Ben- 
OrL39] 利 用 泛 化 的 决策 树 模型 对 排序 的 下 界 进行 了 全 面 分 析 。 

根据 Knuth 所 述 ， 计 数 排序 是 由 H. H. Seward 于 1954 年 提出 的 ， 而 且 他 还 提出 了 将 计数 排 
序 与 基数 排序 结合 起 来 的 思想 。 基 数 排序 是 从 最 低 有 效 位 开始 的 ， 这 是 一 种 机 械 式 卡 片 排序 机 
的 操作 员 们 所 广泛 采用 的 通用 算法 。 根 据 Knuth HR, L. J. Comrie 于 1929 年 首次 在 一 篇 描述 卡 
片 穿孔 机 文档 中 介绍 了 这 一 方法 。 自 从 1956 年 ， 桶 排序 就 已 经 开始 被 使 用 了 。 当 时 这 一 基本 思 
想 是 由 E. J. Isaac 和 R. C. Singleton[ 188] 提 出 的 。 

Munro 和 Raman[ 263] 给 出 一 个 稳定 的 排序 算法 ， 它 在 最 坏 情况 下 需要 执行 OC UB, 
其 中 0 二 e 达 1 是 任意 的 固定 常数 。 尽 管 任 一 O(nlgn) 时 间 算 法 所 需 比 较 次 数 更 少 ， 但 Munro 和 
Raman 的 算法 仅 需 要 将 数据 移动 O(n) 次 ， 而 且 它 是 原址 排序 。 

许多 研究 人 员 都 对 如 何在 O(nlgn) 时 间 内 对 个 5 位 整数 进行 排序 做 过 研究 ， 并 已 经 获得 了 一 
些 有 益 的 成 果 ， 其 中 每 一 项 成 果 都 对 计算 模型 做 了 略 有 不 同 的 假设 ， 对 算法 的 限制 也 稍 有 差异 。 
所 有 这 些 成 果 都 假设 计算 机 内 存 被 划分 成 可 寻 址 的 2 位 字 。Fredman 和 WillardL115] 引 入 融合 树 
(fusion tree) 这 一 数据 结构 ， 它 可 以 在 OCzlgxylglgz) 时 间 内 对 个 整数 进行 排序 。Andersson[16] 
将 这 一 界 改 善 为 O(nVign)。 这 些 算 法 要 用 到 乘法 和 几 个 预先 计算 好 的 常量 。Andersson、 
Hagerup, Nilsson 和 Raman{17 给 出 了 一 种 不 用 乘法 可 以 在 O(nlglg n) 时 间 内 对 个 整数 进行 排 
序 的 算法 。 但 是 ， 该 算法 所 需要 的 存储 空间 以 n 来 表示 的 话 ， 可 能 是 无 界 的 。 利 用 乘法 散 列 技 
术 ， 我 们 可 以 将 所 需 的 存储 空间 降 至 O(n)， 最 坏 情 况 运 行 时 间 的 界 OCnlglg nn) 成 为 期 望 运行 时 间 
的 界 。 通 过 一 般 化 Andersson[L16] 提 出 的 指数 搜索 树 ，Thorup[335] 给 出 一 个 O(n(lglg n)?) 时 间 
的 排序 算法 ， 该 算法 不 使 用 乘法 和 随机 化 ， 并 且 只 需要 线性 存储 空间 。Han[158] 把 这 些 技术 与 
一 些 新 的 想法 结合 起 来 ， 将 排序 算法 的 界 改善 至 O(nlglg nlglglg nn) 时 间 。 尽 管 上 述 算法 有 着 重要 
的 理论 突破 ， 但 都 太 复杂 。 就 目前 的 情况 来 看 ， 它 们 不 太 可 能 在 实践 中 与 现 有 的 排序 算法 竞争 。 

思考 题 8-7 中 的 列 排序 算法 是 由 LeightonL227] 提 出 的 。 
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在 一 个 由 个 元 素 组 成 的 集合 中 ， 第 i 个 顺序 统计 量 (order statistic) 是 该 集合 中 第 i 小 的 元 
素 。 例 如 ， 在 一 个 元 素 集合 中 ， 最 小 值 是 第 1 个 顺序 统计 量 (i 二 1)， 最 大 值 是 第 ”个 顺序 统计 量 
(i 二 n)。 用 非 形式 化 的 描述 来 说 ， 一 个 中 位 数 (median) 是 它 所 属 集合 的 “中 点 元 素 ”。 当 n 为 奇数 
时 ， 中 位 数 是 唯一 的 ， 位 于 i= (n 十 1)/2 处 。 当 为 偶数 时 ， 存 在 两 个 中 位 数 ， 分 别 位 于 i=n/2 
和 i==n/2 十 1 处。 因此， 如果 不 考虑 n 的 奇偶 性 ， 中 位 数 总 是 出 现在 i 二 [(n 十 1)/2| 处 (下 中 位 数 ) 
和 i==[(n 十 2)/21] 处 (上 中 位 数 )。 为 了 简便 起 见 ， 本 书 中 所 用 的 “中 位 数 ” 都 是 指 下 中 位 数 。 

本 章 将 讨论 从 一 个 由 个 互 异 的 元 素 构 成 的 集合 中 选择 第 i 个 顺序 统计 量 的 问题 。 为 了 方便 
起 见 ， 假 设 集合 中 的 元 素 都 是 互 异 的 ， 但 实际 上 我 们 所 做 的 都 可 以 推广 到 集合 中 包含 重复 元 素 
的 情形 。 我 们 将 这 一 问题 形式 化 定义 为 如 下 的 选择 问题 : 

输入 : 一 个 包含 n 个 ( 互 异 的 ) 数 的 集合 A 和 一 个 整数 i，1<<i<n。 

输出 : 元 素 xEA， 且 A 中 恰好 有 i 一 1 个 其 他 元 素 小 于 它 。 

我 们 可 以 在 O(nlgn) 时 间 内 解决 这 个 选择 问题 ， 因 为 我 们 可 以 用 堆 排 序 或 归并 排序 对 输入 数 
据 进行 排序 ， 然 后 在 输出 数组 中 根据 下 标 找 出 第 i 个 元 素 即 可 。 本 章 将 介绍 一 些 更 快 的 算法 。 

在 9.1 节 中 ,我 们 将 讨论 从 一 个 集合 中 选择 最 小 元 素 和 最 大 元 素 的 问题 。 对 于 一 般 化 选择 问 
题 的 更 有 意思 的 讨论 将 在 接 下 来 的 两 节 中 进行 。9. 2 节 将 分 析 一 个 实用 的 随机 算法 ， 它 在 元 素 互 
异 的 假设 条 件 下 可 以 达到 O(n) 的 期 望 运行 时 间 。9. 3 节 将 给 出 一 个 更 具有 理论 意义 的 算法 ， 它 
在 最 坏 情 况 下 的 运行 时 间 为 O(n)。 


9. 1 最 小 值 和 最 大 值 

在 一 个 有 ?个 元 素 的 集合 中 ， 需 要 做 多 少 次 比较 才能 确定 其 最 小 元 素 呢 ? 我 们 可 以 很 容易 地 
给 出 "一 1 次 比较 这 个 上 界 : 依次 遍历 集合 中 的 每 个 元 素 ， 并 记录 下 当前 最 小 元 素 。 在 下 面 的 程 
序 中 ， 我 们 假设 该 集合 元 素 存 放 在 数组 A H, H A. length=n: 

MINIMUM(A) 

1 min = A[1] 

2 fori = 2 toA. length 

3 if min > ALi] 

4 min = A[i] 

5 return min 
当然 ， 最 大 值 也 可 以 通过 n—1 次 比较 找 出 来 。 

这 是 我 们 能 得 到 的 最 好 结果 吗 ? 是 的 ， 对 于 确定 最 小 值 问题 ， 我 们 可 以 得 到 其 下 界 就 是 "一 1 
次 比较 。 对 于 任意 一 个 确定 最 小 值 的 算法 ， 可 以 把 它 看 成 是 在 各 元 素 之 间 进 行 的 一 场 锦标 赛 。 每 
次 比较 都 是 锦标 赛 中 的 一 场 比 赛 ， 两 个 元 素 中 较 小 的 获胜 。 需 要 注意 的 是 ， 除 了 最 终 获胜 者 以 
外 ， 每 个 元 素 都 至 少 要 输 掉 一 场 比赛 。 因 此 ， 我 们 得 到 结论 : 为 了 确定 最 小 值 ， 必 须要 做 n 一 1 
次 比较 。 因 此 ， 从 所 执行 的 比较 次 数 来 看 ， 算 法 MINIMUM 是 最 优 的 。 

同时 找到 最 小 值 和 最 大 值 

在 某 些 应 用 中 ， 我 们 必须 要 找 出 一 个 包含 ”个 元 素 的 集合 中 的 最 小 值 和 最 大 值 。 例 如 ， 一 个 
图 形 程序 可 能 需要 转换 一 组 (z，2?) 数 据 ， 使 之 能 适合 一 个 矩形 显示 器 或 其 他 图 形 输出 装置 。 为 
了 做 到 这 一 点 ， 程 序 必须 首先 确定 每 个 坐标 中 的 最 小 值 和 最 大 值 。 
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就 这 一 点 来 说 ， 用 渐 近 最 优 的 6(z) 次 比较 ， 在 对 个 元 素 中 同时 找到 最 小 值 和 最 大 值 的 方法 
是 显然 的 : 只 要 分 别 独立 地 找 出 最 小 值 和 最 大 值 ， 这 各 需要 n 一 1 次 比较 ， 共 需 2n 一 2 次 比较 。 

事实 上 ， 我 们 只 需要 最 多 3 Ln/2j 次 比较 就 可 以 同时 找到 最 小 值 和 最 大 值 。 具 体 的 方法 是 记 
录 已 知 的 最 小 值 和 最 大 值 。 但 我 们 并 不 是 将 每 一 个 输入 元 素 与 当前 的 最 小 值 和 最 大 值 进行 比 
较 一 一 这 样 做 的 代价 是 每 个 元 素 需 要 2 次 比较 ， 而 是 对 输入 元 素 成 对 地 进行 处 理 。 首 先 ， 我 们 将 
一 对 输入 元 素 相 互 进 行 比 较 ， 然 后 把 较 小 的 与 当前 最 小 值 比 较 ， 把 较 大 的 与 当前 最 大 值 进 行 比 
较 。 这 样 ， 对 每 两 个 元 素 共 需 3 次 比较 。 

如 何 设 定 已 知 的 最 小 值 和 最 大 值 的 初始 值 依 赖 于 n 是 奇数 还 是 偶数 。 如 果 是 奇数 ， 我 们 就 
将 最 小 值 和 最 大 值 的 初 值 都 设 为 第 一 个 元 素 的 值 ， 然 后 成 对 地 处 理 余下 的 元 素 。 如 果 nn 是 偶数 ， 
就 对 前 两 个 元 素 做 一 次 比较 ， 以 决定 最 小 值 和 最 大 值 的 初 值 ， 然 后 与 是 奇数 的 情形 一 样 ， 成 对 
地 处 理 余下 的 元 素 。 

下 面 来 分 析 一 下 总 的 比较 次 数 。 如 果 n 是 奇数 ， 那 么 总 共 进 行 3 Ln/2j 次 比较 。 如 果 n 是 侦 
数 ， 则 是 先进 行 一 次 初始 比较 ， 然 后 进行 3(n 一 2)/2 KER, FE 3n/2 一 2 次 比较 。 因 此 ,不管 是 
哪 一 种 情况 ， 总 的 比较 次 数 至 多 是 3 Ln/2]。 


练习 

9.1-1 证 明 : 在 最 坏 情况 下 ， 找 到 个 元 素 中 第 二 小 的 元 素 需 要 nn 十 [lgn1 一 2 次 比较 。( 提 示 : 
可 以 同时 找 最 小 元 素 。) 

*9. 1-2 WEH: 在 最 坏 情 况 下 ， 同 时 找到 个 元 素 中 最 大 值 和 最 小 值 的 比较 次 数 的 下 界 是 [3n/21 一 
2。( 提 示 : 考虑 有 多 少 个 数 有 成 为 最 大 值 或 最 小 值 的 潜在 可 能 ， 然 后 分 析 一 下 每 一 次 比 
较 会 如 何 影 响 这 些 计 数 。) 


9.2 期 望 为 线性 时 间 的 选择 算法 


一 般 选 择 问题 看 起 来 要 比 找 最 小 值 这 样 的 简单 问题 更 难 。 但 令 人 惊奇 的 是 ， 这 两 个 问题 的 
渐 近 运行 时 间 却 是 相同 的 : @(z) 。 本 节 将 介绍 一 种 解决 选择 问题 的 分 治 算法 。RANDOMIZED- 
SELECT 算法 是 以 第 7 章 的 快速 排序 算法 为 模型 的 。 与 快速 排序 一 样 ， 我 们 仍然 将 输入 数组 进行 
递归 划分 。 但 与 快速 排序 不 同 的 是 ， 快 速 排序 会 递归 处 理 划分 的 两 边 ， 而 RANDOMIZED- 
SELECT 只 处 理 划 分 的 一 边 。 这 一 差异 会 在 性 能 分 析 中 体现 出 来 : 快速 排序 的 期 望 运行 时 间 是 
@(nlgn), iii RANDOMIZED-SELECT 的 期 望 运行 时 间 为 8(n)。 这 里 ,假设 输入 数据 都 是 互 异 的 。 

RANDOMIZED-SELECT 利用 了 7.3 节 介 绍 的 RANDOMIZED-PARTITION 过 程 。 与 
RANDOMIZED-QUICKSORT 一 样 ， 因 为 它 的 部 分 行为 是 由 随机 数 生 成 器 的 输出 决定 的 ， 所 以 
RANDOMIZED-SELECT 也 是 一 个 随机 算法 。 以 下 是 RANDOMIZED-SELECT 的 伪 代 码 ， 它 返 
回 数组 ALp. . rj] 中 第 i 小 的 元 素 。 

RANDOMIZED-SELECT (A, p, r, i) 

1 ifp==r 

2 return A[ p] 

3 q = RANDOMIZED-PARTITION(A, p, r) 

4 k=q-ptl 

5 ifi==k / the pivot value is the answer 

6 return A[g] 

7 eseifi<ik 
8 return RANDOMIZED-SELECT(A, p, q—1, i) 
9 else return RANDOMIZED-SELECT(A, g+1, r, i—k) 
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RANDOMIZED-SELECT 的 运行 过 程 如 下 : 第 1 行 检查 递归 的 基本 情况 ， 即 ALp. . rj 中 只 包 
括 一 个 元 素 。 在 这 种 情况 下 ，i 必然 等 于 1， 在 第 2 行 ， 我 们 只 需 将 A[Lp] 返 回 作为 第 i 小 的 元 素 
即 可 。 其 他 情况 ， 就 会 调用 第 3 行 的 RANDOMIZED-PARTITION， 将 数组 ALp. . 7] 划分 为 两 个 
(可 能 为 空 的 ) 子 数 组 A[p. .gq 一 1] 和 A[Lg 十 1. .7]， 使 得 A[p.. gq 一 1 中 的 每 个 元 素 都 小 于 或 等 于 
Alq], 而 4A[g] 小 于 A[e+1.. 门 中 的 每 个 元 素 。 与 快速 排序 中 一 样 ， 我 们 称 ALqj] 为 主 元 (pivot)。 
RANDOMIZED-SELECT 的 第 4 行 计算 子 数组 ALz. . g] 内 的 元 素 个 数 &， 即 处 于 划分 的 低 区 的 元 
素 的 个 数 加 1， 这 个 1 指 主 元 。 然 后 ， 第 5 行 检查 ALqj 是 否 是 第 i 小 的 元 素 。 如 果 是 ， 第 6 TM 
返回 A[g]。 否 则 ， 算 法 要 确定 第 i 小 的 元 素 落 在 两 个 子 数组 ALp. .gq 一 1] 和 ALg 十 1. .rj 的 哪 一 个 
之 中 。 如 果 i 二 k， 则 要 找 的 元 素 落 在 划分 的 低 区 。 第 8 行 就 在 低 区 的 子 数 组 中 进一步 递归 查找 。 
如 果 这 &， 则 要 找 的 元 素 落 在 划分 的 高 区 中 。 因 为 我 们 已 经 知道 了 有 个 值 小 于 ALe. .rj 中 第 i 小 的 
元 素 ， 即 A[p. . g] 内 的 元 素 ， 所 以 ， 我 们 所 要 找 的 元 素 必然 是 ALe 十 1. . 门 中 的 第 i 一 k& 小 的 元 素 。 
它 在 第 9 行 中 被 递归 地 查找 。 上 述 程序 看 起 来 允许 递归 调用 含有 0 个 元 素 的 子 数组 ， 但 练习 9. 2-1 
要 求证 明 这 种 情况 不 可 能 发 生 。 

RANDOMIZED-SELECT 的 最 坏 情 况 运行 时 间 为 9( 衬 ) ， 即 使 是 找 最 小 元 素 也 是 如 此 ， 因 为 
在 每 次 划分 时 可 能 极 不 走运 地 总 是 按 余下 的 元 素 中 最 大 的 来 进行 划分 ， 而 划分 操作 需要 @(z) 时 
间 。 我 们 也 将 看 到 该 算法 有 线性 的 期 望 运行 时 间 ， 又 因为 它 是 随机 化 的 ， 所 以 不 存在 一 个 特定 的 
会 导致 其 最 坏 情 况 发 生 的 输入 数据 。 

为 了 分 析 RANDOMIZED-SELECT 的 期 望 运行 时 间 ， 我 们 设 该 算法 在 一 个 含有 ?个 元 素 的 
输入 数组 A[Lz. .rj 上 的 运行 时 间 是 一 个 随机 变量 ， 记 为 T(n)。 下 面 我 们 可 以 得 到 ELT(z)] 的 一 
个 上 界 : 程序 RANDOMIZED-PARTITION 能 等 概率 地 返回 任何 元 素 作为 主 元 。 因 此 ， 对 每 一 
A RASR<n), FRA ALD. .qj 有 上 个 元 素 ( 全 部 小 于 或 等 于 主 元 ) 的 概率 是 1/n。 对 所 有 ==1， 
2，…，n， 定 义 指示 器 随机 变量 X 为 : 

X= 二 1{ 子 数组 A[p. .qj 正好 包含 上 个 元 素 》 
然后 ， 假 设 元 素 是 互 异 的 ， 我 们 有 : 
ELX,] = 1/n (9.1) 

当 调 用 RANDOMIZED-SELECT 并 选择 AL9] 作 为 主 元 时 ， 事 先 并 不 知道 是 否 会 立即 得 到 正 
确 答案 而 结束 ， 或 者 在 子 数组 ALz. . g 一 1] 上 递归 ， 或 者 在 子 数组 AL 十 1. . 门 上 递归 。 这 个 决定 
依赖 于 第 i 小 的 元 素 相对 于 ALgj 落 在 哪个 位 置 。 假 设 T(n) 是 单调 递增 的 ， 通过 评估 最 大 可 能 的 
输入 数据 递归 调用 所 需 时 间 ， 我 们 可 以 给 出 递归 调用 所 需 时 间 的 上 界 。 也 就 是 说 ， 为 了 得 到 上 
界 ， 我 们 假定 第 i 个 元 素 总 是 在 划分 中 包含 较 大 元 素 的 一 边 。 对 一 个 给 定 的 RANDOMIZED- 
SELECT， 指 示 器 随机 变量 X, 恰好 在 给 定 的 & 值 上 取 值 1， 对 其 他 值 都 为 0。 当 X==1 时 ， 我们 
可 能 要 递归 处 理 的 两 个 子 数组 的 大 小 分 别 为 & 一 1 和 nn 一 &。 因 此 可 以 得 到 递归 式 : 


T(n) < >)X (TAmax(k—1,n—k))+On)) 
k=] 


= J) X; + T(max(k—1,n—k)) + O(n) 
k=l 
两 边 取 期 望 值 ， 得 到 
ELT] < E| >) X, TCmax(k—1,n—k)) +O) | 
k=l 


= DIELX, .TCmax(k 一 1,n 一 如 )] 十 OCn) (期 望 的 线性 性 质 ) 


= SJELX,] - E[T¢max(k—1,n—k))] +O) (利用 公式 (C. 24)) 
k=) 
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= >> = + E[T(max(k—1,2—k))]+O@M (利用 公式 (9. 1)) 
t= 


ARC. 24) 的 应 用 依赖 于 X AT Cmax(R—-1, n—k)) FEAT BALE. BRAY 9. 2-2 要 求证 明 这 
个 命题 。 
下 面 来 考虑 一 下 表达 式 max(k 一 1]，n 一 &)。 我 们 有 
k 一 1 #k>[n/2] 

max(k—1,n—k) = n—k #k<[n/21 
如 果 双 是 偶数 ， 则 从 T(xn/21D) 到 TCn 一 1) 的 每 一 项 在 总 和 中 恰好 出 现 两 次 。 如 果 n 是 奇数 ， 除 了 
TQ(Ln/2) 出 现 一 次 以 外 ， 其 他 这 些 项 也 都 会 出 现 两 次 。 因 此 ， 我 们 有 

E[Tin)]< 2S ETO] + O(n) 

我 们 将 用 替代 法 来 得 到 E[T(n)]= 二 O(n)。 假 设 对 满足 这 个 递归 式 初 始 条 件 的 某 个 常数 <， 有 
E[T(n)] 志 en。 假设 对 小 于 某 个 常数 的 xn， 有 Tn) 二 OC(1)( 稍 后 将 用 到 这 个 常数 )。 同 时 ， 还 要 选 
择 一 个 常数 a， 使 得 对 所 有 的 n 二 0， 上 式 中 O(n) 项 所 描述 的 函数 (用 来 表示 算法 运行 时 间 中 的 非 
递归 部 分 ) 有 上 界 an。 利 用 这 个 归纳 假设 ， 可 以 得 到 : 


nl 
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为 了 完成 证 明 ， 还 需要 证 明 : 对 足够 大 的 n， 最 后 一 个 表达 式 至 多 是 cn， 等 价 地 ，cn/4 一 c/2 一 
an 宇 0。 如 果 在 上 式 两 边 加 上 c/2， 并 且 提 取 因 子 n， 就 可 以 得 到 nCc/4 一 a) 宇 c[/2。 只 要 我 们 选择 
的 常数 c 能 够 满足 c/4 一 a 二 0， 即 c 汪 4a， 就 可 以 将 两 边 同 除 以 c/4 一 a， 得 到 

c/2 2c 


i ame ET c— 4a 
因此 ， 如 果 假 设 对 所 有 n<2c/(c—4a), 都 有 Tln)= 二 0(1)， BARA E[T(n)]= 二 OC(n)。 我 们 可 
以 得 出 这 样 的 结论 : 假设 所 有 元 素 是 互 异 的 ， 在 期 望 线性 时 间 内 ， 我 们 可 以 找到 任 一 顺序 统计 
量 ， 特 别 是 中 位 数 。 


练习 
9.2-1 证 明 : 在 RANDOMIZED-SELECT 中 ， 对 长 度 为 0 的 数组 ， 不 会 进行 递归 调用 。 
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9.2-2 ”请 讨论 : 指示 器 随机 变量 X 和 (max(k 一 1，n 一 k)) 是 独立 的 。 

9.2-3 给 出 RANDOMIZED-SELECT 的 一 个 基于 循环 的 版 本 。 

9.2-4 ”假设 用 RANDOMIZED-SELECT 去 选择 数组 A=(3, 2, 9, 0, 7, 5, 4, 8, 6, LMR 
小 元 素 ， 给 出 能 够 导致 RANDOMIZED-SELECT 最 坏 情 况 发 生 的 一 个 划分 序列 。 


9.3 最 坏 情 况 为 线性 时 间 的 选择 算法 

我 们 现在 来 看 一 个 最 坏 情况 运行 时 间 为 O(n) 的 选择 算法 。 像 RANDOMIZED-SELECT 一 
FE, SELECT 算法 通过 对 输入 数组 的 递归 划分 来 找 出 所 需 元 素 ， 但 是 ， 在 该 算法 中 能 够 保证 得 
到 对 数组 的 一 个 好 的 划分 。SELECT 使 用 的 也 是 来 自 快 速 排序 的 确定 性 划分 算法 PARTITION 
( 见 7.1 节 )， 但 做 了 修改 ， 把 划分 的 主 元 也 作为 输入 参数 。 

通过 执行 下 列 步 又， 算法 SELECT 可 以 确定 一 个 有 nl 个 不 同 元 素 的 输入 数组 中 第 i 小 的 
TH. NÆ n=1, WM) SELECT 只 返回 它 的 唯一 输入 数值 作为 第 i 小 的 元 素 .) 

1. 将 输入 数组 的 nn 个 元 素 划 分 为 [Ln/5] 组 ， 每 组 5 个 元 素 ， 且 至 多 只 有 一 组 由 剩 下 的 nmod5 
个 元 素 组 成 。 

2. 寻找 这 [5 组 中 每 一 组 的 中 位 数 : 首先 对 每 组 元 素 进 行 插入 排序 ， 然 后 确定 每 组 有 序 元 
素 的 中 位 数 。 

3. 对 第 2 步 中 找 出 的 [n/51 个 中 位 数 ， 递 归 调 用 SELECT 以 找 出 其 中 位 数 z( 如 果 有 偶数 个 中 
位 数 ， 为 了 方便 ， 约 定 r 是 较 小 的 中 位 数 )。 

4. 利用 修改 过 的 PARTITION 版 本 ， 按 中 位 数 的 中 位 数 zx 对 输入 数组 进行 划分 。 让 & 比划 
分 的 低 区 中 的 元 素数 目 多 1， 因 此 z 是 第 & 小 的 元 素 ， 并 且 有 ”一 & 个 元 素 在 划分 的 高 区 。 

5. WR i 二 =k， 则 返回 zx。 如 果 ;<A， 则 在 低 区 递归 调用 SELECT 来 找 出 第 ;小 的 元 素 。 如 果 
i 盖 &A， 则 在 高 区 递归 查找 第 ;一 A 小 的 元 素 。 

为 分 析 SELECT 的 运行 时 间 ， 我 们 先 要 确定 大 
于 划分 主 元 x 的 元 素 个 数 的 下 界 。 图 9-1 给 出 了 一 
些 形 象 的 说 明 。 在 第 2 步 找 出 的 中 位 数 中 ， 至 少 有 
一 半 大 于 或 等 于 中 位 数 的 中 位 数 ze 。 因 此 ,在 这 
[n/5 春 组 中 ， 除 了 当 不 能 被 5 整除 时 产生 的 所 含 
元 素 少 于 5 的 那个 组 和 包含 z 的 那个 组 之 外 ， 至 少 





有 一 半 的 组 中 有 3 个 元 素 大 于 xz。 不 算 这 两 个 组 ， 
大 于 的 元 素 个 数 至 少 为 
lfa 3n 图 9-1 对 算法 SELECT 的 分 析 。 所 有 nn 个 元 
3((4[4 ]-2) > 如 一 6 素 都 由 小 图 来 表示 ， 并 且 每 一 组 的 5 个 
类 似 地 ， 至 少 有 3n/10 一 6 个 元 素 小 于 z。 因 此 ,在 TREN ZLE. Jeh. fA te 
最 坏 情况 下 ， 在 第 5 步 中 ，SELECT 的 递归 调用 最 被 标识 出 来 ( 当 查 找 偶数 个 元 素 的 中 位 
多 作用 于 7n/10 十 6 个 元 素 。 数 时 ， 使 用 较 小 的 中 位 数 )。 箭 头 从 较 
现在 , 我 们 可 以 设计 一 个 递归 式 来 推导 大 的 元 素 指向 较 小 的 元 素 ， 从 图 中 可 以 
R 看 出 ,在 z 的 右边 ,每 一 个 包含 5 个 元 
SELECT p 
y ABEE EA A TT Aa 素 的 组 中 有 3 个 元 素 大 于 x. TE x 的 左 
sAm 7) 时 间 。( 步 又 2 是 对 大 小 为 OC) 边 ， 每 一 个 包含 5 个 元 素 的 组 中 有 3 个 
的 集合 调用 O(z) 次 插入 排序 .) 步 骤 3 所 需 时 间 为 元 素 小 于 zx。 大 于 工 的 元 素 的 背景 以 阴 
T([n/5), ， 步 又 5 所 需 时 间 至 多 为 T(7n/10 十 6)。 影 来 显示 


日 ”因为 我 们 假设 这 些 数 是 互 异 的 ， 所 以 除了 zz 以 外 的 所 有 元 素 都 大 于 或 小 于 工 。 
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这 里 ， 我 们 假设 工 是 单调 递增 的 ， 此 外 ， 我 们 还 要 作 如 下 假设 (这 一 假设 初 看 起 来 似乎 没有 什么 
动机 ) ， 即 任何 少 于 140 个 元 素 的 输入 需要 OC(1) 时 间 。 后 面 ， 我 们 很 快 就 会 说 明 这 个 魔 数 140 的 
起 源 。 根 据 上 述 假设 ， 可 以 得 到 如 下 递归 式 : 
Od) # n< 140 
T([n/5)) + T(7n/10 +6) +O(n) #n>S 140 
我 们 用 替换 法 来 证 明 这 个 运行 时 间 是 线性 的 。 更 明确 地 说 ， 我 们 将 证 明 对 某 个 适当 大 的 常数 c 和 
RAM n>0, A To 委 cz。 首 先 ， 假 设 对 某 个 适当 大 的 常数 c MPA n<140, A T(n)<cn; 
如 果 足够 大 ， 这 个 假设 显然 成 立 。 同 时 ， 还 要 挑选 一 个 常数 a， 使 得 对 所 有 的 xz 之 0， 上 述 公式 
中 的 OCz) 项 所 对 应 的 函数 (用 来 描述 算法 运行 时 间 中 的 非 递 归 部 分 ) 有 上 界 az。 将 这 个 归纳 假设 
代入 上 述 递归 式 的 右边 ， 得 到 |: 
T(n) < c [n/5]+ c(7n/10+ 6) 十 am 

<cn/5+c+7cn/10+6c+an 

= 9cn/10+7c+an 

= cn 十 (一 cn/10 十 7c 十 an) 


Tin < 


如 果 下 式 成 立 ， 上 式 最 多 是 cn: 
—cn/10+7c+an <0 (9. 2) 

4 n>70 时 ， 不 等 式 (9. 2) 等 价 于 不 等 式 cS10a(n/(n—70)). AAR n>140, RUA n/(n— 
70) 委 2。 因 此 ， 选 择 c 宇 204 就 能 够 满足 不 等 式 (9. 2) 。( 注 意 ， 这 里 常数 140 并 没有 什么 特别 之 
处 ， 我 们 可 以 用 任何 严格 大 于 70 的 整数 来 替换 它 ， 然 后 再 相应 地 选择 c 即 可 。) 因 此 ， 最 坏 情况 
下 SELECT 的 运行 时 间 是 线性 的 。 

与 比较 排序 一 样 ( 见 8. 1 节 )，SELECT 和 RANDOMIZED-SELECT 也 是 通过 元 素 间 的 比较 
来 确定 它们 之 间 的 相对 次 序 的 。 在 第 8 章 中 ,我 们 知道 在 比较 模型 中 ， 即 使 是 在 平均 情况 下 ， 排 
序 仍然 需要 Qlnlgn) 时 间 ( 见 思考 题 8-1)。 第 8 章 的 线性 时 间 排 序 算法 在 输入 上 作 了 一 些 假设 。 
相反 ， 本 章 中 的 线性 时 间 选 择 算法 不 需要 任何 关于 输入 的 假设 。 它 们 不 受 限于 Qlnlgn) 的 下 界 约 
东 ， 因 为 它们 没有 使 用 排序 就 解决 了 选择 问题 。 因 此 ， 在 本 章 引言 部 分 介绍 的 排序 和 索引 方法 不 
是 解决 选择 问题 的 渐 近 高 效率 方法 。 


练习 


9.3-1 在 算法 SELECT 中 ， 输 入 元 素 被 分 为 每 组 5 个 元 素 。 如 果 它 们 被 分 为 每 组 7 个 元 素 ， 该 算法 
仍然 会 是 线性 时 间 吗 ? 证 明 : 如 果 分 成 每 组 3 个 元 素 ，SELECT 的 运行 时 间 不 是 线性 的 。 

9.3-2 分 析 SELECT， 并 证 明 : 如 果 n 宇 140， 则 至 少 [n/41 个 元 素 大 于 中 位 数 的 中 位 数 zx， 至 少 
[mn/41 个 元 素 小 于 x? 

9.3-3 假设 所 有 元 素 都 是 互 异 的 ,说 明 在 最 坏 情况 下 ， 如 何 才 能 使 快速 排序 的 运行 时 间 
为 O(nlgn)。 

*9.3-4 ”对 一 个 包含 个 元 素 的 集合 ， 假 设 一 个 算法 只 使 用 比较 来 确定 第 i 小 的 元 素 ， 证 明 : 无 需 

额外 的 比较 操作 ， 它 也 能 找到 第 i 一 1 小 的 元 素 和 第 n 一 i 大 的 元 素 。 

9.3-5 假设 你 已 经 有 了 一 个 最 坏 情 况 下 是 线性 时 间 的 用 于 求解 中 位 数 的 “黑箱 ” 子 程序 。 设 计 一 
个 能 在 线性 时 间 内 解决 任意 顺序 统计 量 的 选择 问题 算法 。 

9.36 ”对 一 个 包含 ”个 元 素 的 集合 来 说 ,& 分 位 数 是 指 能 把 有 序 集合 分 成 & 个 等 大 小 集合 的 第 
一 1 个 顺序 统计 量 。 给 出 一 个 能 找 出 某 一 集合 的 上 分 位 数 的 Olnlgk) 时 间 的 算法 。 

9.3-7 设计 一 个 O(n) 时 间 的 算法 ， 对 于 一 个 给 定 的 包含 个 互 异 元 素 的 集合 S 和 一 个 正 整数 
kn， 该 算法 能 够 确定 S 中 最 接近 中 位 数 的 & 个 元 素 。 


9. 3-8 


9.3-9 
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设 XL1. .四 和 Y[1. .四 为 两 个 数组 ， 每 个 都 包含 个 有 序 的 元 素 。 请 设计 一 个 Ogn) it 
间 的 算法 来 找 出 数组 X 和 工 中 所 有 2n 个 元 素 的 中 位 数 。 

Olay 教授 是 一 家 石油 公司 的 顾问 。 这 家 公司 正在 计划 建造 一 条 从 东 向 西 的 大 型 输油管 道 ， 这 
一 管道 将 穿越 一 个 及 口 油 井 的 油田 。 公 司 希 望 有 一 条 管道 支线 沿 着 最 短路 径 从 每 口 油井 连 
接 到 主管 道 (方向 或 南 或 北 )， 如 图 9-2 所 示 。 给 定 每 口 油 井 的 zx 和 y 坐标， 教授 应 该 如 何 选择 
主管 道 的 最 优 位 置 ， 使 得 各 直线 的 总 长 度 最 小 ? 证 明 : 该 最 优 位 置 可 以 在 线性 时 间 内 确定 。 


AE 2 
I a A i 


图 9-2 Olay 教授 需要 确定 东西 向 石油 管道 的 位 置 ， 使 得 南北 向 的 支线 管道 的 总 长 度 最 小 


思考 题 


9-1 


9-2 


(有 序 序列 中 的 i 个 最 大 数 ) ”给 定 一 个 包含 个 元 素 的 集合 ,我们 希望 利用 基于 比较 的 算 

法 找 出 按 顺 序 排列 的 前 i 个 最 大 元 素 。 请 设计 能 实现 下 列 每 一 项 要 求 ， 并 且 具 有 最 佳 渐 近 

最 坏 情 况 运 行 时 间 的 算法 ， 以 n 和 i 来 表示 算法 的 运行 时 间 : 

a. 对 输入 数据 排序 ， 并 找 出 前 i 个 最 大 数 。 

b. 对 输入 数据 建立 一 个 最 大 优先 队列 ， 并 调用 EXTRACT-MAX 过 程 i 次 。 

e 利用 一 个 顺序 统计 量 算法 来 找到 第 i 大 的 元 素 ， 然 后 用 它 作 为 主 元 划分 输入 数组 ， 再 对 
前 i 大 的 数 排序 。 


( 带 权 中 位 数 ) 对 分 别 具 有 正 权重 w, w, =, w, HRE Dw = 1 的 个 互 异 元 素 
Diy Lay ty Sy 来 说 ， 带 权 中 位 数 x,( 较 小 中 位 数 ) 是 满足 如 下 条 件 的 元 素 : 
2 wi < $ 


< 


和 


Dw<+4 


A 


例如 ， 如 果 元 素 是 0.1，0. 35，0. 05，0.1，0. 15，0. 05，0.2， 并 且 每 个 元 素 的 权重 等 于 本 

身 ( 即 对 所 有 i=1, 2, =, 7, PA w=z,), BA RAAE 0. 1， 而 带 权 中 位 数 是 0. 2. 

a. HEAR : 如 果 对 所 有 i=l, 2, 5 n KBA w;=1/n, 那么 x, 29 “**s Tn 的 中 位 数 就 是 x; 
的 带 权 中 位 数 。 

b. 利用 排序 ， 设 计 一 个 最 坏 情况 下 Olnlgn) 时 间 的 算法 ， 可 以 得 到 nn 个 元 素 的 带 权 中 位 数 。 

c 说 明 如 何 利用 像 9. 3 节 的 SELECT 这 样 的 线性 时 间 中 位 数 算法 ， 在 8(n) 最 坏 情况 时 间 内 
求 出 带 权 中 位 数 。 
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邮局 位 置 问题 的 定义 如 下 : HEREDIA w, w, ors w, Mm DA pis Pes o Pa 
我 们 希望 找到 一 个 点 p( 不 一 定 是 输入 点 中 的 一 个 )， 使 得 2 wd(p,p) Euh, XE dla, b) 


表示 点 a 与 6 之 间 的 距离 。 
d. 证 明 : 对 一 维 邮局 位 置 问题 ， 带 权 中 位 数 是 最 好 的 解决 方法 ， 其 中 ， 每 个 点 都 是 一 个 实 
数 ， 点 4a 与 b 之 间 的 距离 是 dla, 5b) 二 1a 一 b|。 
e 请 给 出 二 维 邮局 位 置 问题 的 最 好 解决 方法 : 其 中 的 点 是 (x，y) 的 二 维 坐标 形式 ， 点 a 二 
(zi， 为) 与 b= (zx;， 风 ) 之 间 的 距离 是 Manhattan 距离 ， 即 d(a, b)= | XZ | + | Mi de | o 
(小 顺序 统计 量 ) ”要 在 nn 个 数 中 选 出 第 i 个 顺序 统计 量 ，SELECT 在 最 坏 情 况 下 需要 的 比 
BERR Tn) HE Tn) =O). (AEE, RATE © 记号 中 的 常数 项 是 非常 大 的 。 当 i 相对 
来 说 很 小 时 ， 我 们 可 以 实现 一 个 不 同 的 算法 ， 它 以 SELECT 作为 子 程序 ， 但 在 最 坏 情况 下 
所 做 的 比较 次 数 更 少 。 
a. 设计 一 个 能 用 U;(n) 次 比较 在 n 个 元 素 中 找 出 第 i 小 元 素 的 算法 ， 其 中 ， 
_ {TG # i> n/2 
U = [wy2J+UiCfn/2DD 十 TC2i) 其 他 
(提示 : 从 [zwV2| 个 不 相交 对 的 两 两 比较 开始 ， 然 后 对 由 每 对 中 的 较 小 元 素 构 成 的 集合 进 
行 递归 。) 
b. 证 明 : 如 果 i<n/2, WAU, (nr) =n+O0(T(2i) lg(n/i)). 
c 证 明 : WR i 是 小 于 zV2 的 常数 ， 则 有 U,G)=n+OU gn). 
d. WEH: 如 果 对 所 有 k>2 A i=n/k, WU) =nt+OTn/k)lgk). 
(随机 选择 的 另 一 种 分 析 方 法 ) 在 这 个 问题 中 ， 我们 用 指示 器 随机 变量 来 分 析 
RANDOMIZED-SELECT, 这 一 方法 类 似 于 7.4.2 节 中 所 用 的 对 RANDOMIZED- 
QUICKSORT 的 分 析 方 法 。 

与 快速 排序 中 的 分 析 一 样 ， 我 们 假设 所 有 的 元 素 都 是 互 异 的 ， 输入 数组 A 的 元 素 被 重 
MAX zs Zs s m, HP z 是 第 i 小 的 元 素 。 因 此 ， 调 用 RANDOMIZED-SELECT(A, 
l, n, AIRF z. 

对 所 有 IKi<jSn, K 

Xi = I{ 在 执行 算法 查找 n 期 间 ,z 5 xz; 进行 过 比较 } 
a 给 出 LX ] 的 准确 表达 式 。( 提 示 : 你 的 表达 式 可 能 有 不 同 的 值 ， 依 赖 于 i, jo kht) 
b. 设 X 表示 在 找到 z 时 A eae 比较 次 数 ， 证 明 : 


j—k k—i-1 
BX] <2( 2 i + EEE see 
Cc. HEAR : ELX, }<4n, 
d. 假设 A 中 的 元 素 都 是 互 异 的 , 证明: RANDOMIZED-SELECT 的 期 望 运行 时 间 是 O(n) 。 





本 章 注 记 


的 。 


最 坏 情 况 下 线性 时 间 查 找 中 位 数 的 算法 是 由 Blum, Floyd, Pratt, Rivest 和 Tarjan[50] 设 计 
快速 的 随机 化 版 本 则 是 由 Hoare[169] 提 出 的 。Floyd 与 Rivest[108] 设 计 了 一 个 改进 的 随机 


化 版 本 ， 它 递归 地 从 一 个 小 的 样本 集中 选取 元 素 作为 划分 的 主 元 。 


目前 ， 确 定 中 位 数 所 需 的 精确 比较 次 数 仍然 是 未 知 的 。Bent 与 John[41] 给 出 了 一 个 寻找 中 位 数 的 


比较 次 数 的 下 界 ， 即 2n, Schénhage, Paterson 和 Pippenger[302] 给 出 了 一 个 3n 的 上 界 。Dor 和 Zwick 
证 明了 上 述 这 两 个 界 ， 并 给 出 了 一 个 略 小 的 上 界 2. 95n[93]， 他 们 给 出 的 下 界 是 (2 十 e)n[94]， 以 一 个 
很 小 的 正 数 e， 略 微 改 进 了 Dor 等 人 [92] 的 结果 。Paterson[272] 描 述 了 这 些 结果 以 及 其 他 相关 的 工作 。 
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集合 作为 计算 机 科学 的 基础 ， 就 如 同 它们 在 数学 中 所 起 的 作用 。 数 学 
中 的 集合 是 不 变 的 ， 而 由 算法 操作 的 集合 却 在 整个 过 程 中 能 增 大 、 缩 小 或 
发 生 其 他 变化 。 我 们 称 这 样 的 集合 是 动态 的 。 下 面 的 五 章 将 介绍 在 计算 机 
上 表示 和 操作 有 限 动态 集合 的 一 些 基 本 技术 。 

不 同 的 算法 可 能 需要 对 集合 执行 不 同 的 操作 。 例 如 ， 许 多 算法 只 需要 
能 在 一 个 集合 中 插入 和 删除 元 素 ， 以 及 测试 元 素 是 否 属于 集合 。 支 持 这 些 
操作 的 动态 集合 称 为 字典 (dictionary)。 其 他 一 些 算法 需要 更 复杂 的 操作 。 
例如 ， 第 6 章 堆 数 据 结 构 这 部 分 中 介绍 的 最 小 优先 队列 ， 它 支持 向 集合 插 
人 一 个 元 素 和 从 中 取出 一 个 最 小 元 素 的 操作 。 实 现 动 态 集 合 的 关键 取决 于 
必须 支持 的 一 些 集合 操作 。 

动态 集合 的 元 素 

在 动态 集合 的 典型 实现 中 ， 每 个 元 素 都 由 一 个 对 象 来 表示 ， 如 果 有 一 
个 指向 对 象 的 指针 ， 就 能 对 其 各 个 属性 进行 检查 和 操作 。(10. 3 节 讨论 了 
在 编程 环境 中 对 象 和 指针 的 实现 ， 而 这 些 对 象 和 指针 并 没有 作为 基本 的 数 
据 类 型 。) 一 些 类 型 的 动态 集合 假定 对 象 中 的 一 个 属性 为 标识 关键 字 (key)。 
如 果 关键 字 全 不 相同 ， 可 以 将 动态 集合 视 为 一 个 关键 字 值 的 集合 。 对 象 可 
能 包含 卫星 数据 ， 它 们 与 其 他 对 象 属性 一 起 移动 ， 除 此 之 外 ， 集 合 实现 不 
使 用 它们 。 对 象 也 可 以 有 由 集合 操作 使 用 的 属性 ; 这 些 属性 可 能 包含 有 关 
集合 中 其 他 对 象 的 数据 或 指针 。 

一 些 动态 集合 以 其 关键 字 来 自 于 某 个 全 序 集 为 前 提 条 件 ， 比 如 实数 集 
合 或 按 通 常 字 典 序 排序 的 所 有 单词 。 例 如 ， 全 序 关系 允许 定义 一 个 集合 的 
最 小 元 素 ， 也 可 以 确定 比 集合 中 一 个 给 定 元 素 大 的 下 一 个 元 素 。 

动态 集合 上 的 操作 

动态 集合 上 的 操作 可 以 分 为 两 类 : 简单 返回 有 关 集 合 信息 的 查询 操作 
和 改变 集合 的 修改 操作 。 下 面 列 出 一 些 标准 操作 。 任 何 具体 应 用 通常 只 需 
要 这 些 操作 中 的 若干 个 就 可 以 实现 。 
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SEARCH(S, k): 一 个 查询 操作 ， 给 定 一 个 集合 S 和 关键 字 &， 返 回 指向 S 中 某 个 元 素 的 指 
Sa, E4 x. key=k; WR S 中 没有 这 样 的 元 素 ， 则 返回 NIL. 

INSERT(S，z) : 一 个 修改 操作 ， 将 由 z 指向 的 元 素 加 入 到 集合 S 中 。 通 常 假定 元 素 x PR 
合 S 所 需要 的 每 个 属性 都 已 经 被 初始 化 好 了 。 

DELETE(S, x): 一 个 修改 操作 ， 给 定 指针 z 指向 集合 S 中 的 一 个 元 素 ， 从 S 中 删除 z。 
(注意 ， 这 个 操作 取 一 个 指向 元 素 天 的 指针 作为 输入 ， 而 不 是 一 个 关键 字 的 值 。) 

MINIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 小 关键 字 元 素 的 
指针 。 

MAXIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 大 关键 字 元 素 的 
指针 。 

SUCCESSOR(S, x): 一 个 查询 操作 ， 给 定 关键 字 属于 全 序 集 S 的 一 个 元 素 z， 返 回 S 中 比 
a 大 的 下 一 个 元 素 的 指针 ; 如 果 z 为 最 大 元 素 ， 则 返回 NIL, 

PREDECESSOR(S, x): 一 个 查询 操作 ， 给 定 关键 字 属 于 全 序 集 S 的 一 个 元 素 z， 返 回 S 中 

230) ” 比 z 小 的 前 一 个 元 素 的 指针 ; 如 果 z 为 最 小 元 素 ， 则 返回 NIL. 

在 某 些 情况 下 ， 能 够 将 SUCCESSOR 和 PREDECESSOR 查询 操作 推广 应 用 到 一 些 具有 相同 
关键 字 的 集合 上 。 对 于 一 个 有 ”个 关键 字 的 集合 ， 通 常 的 假设 是 调用 一 次 MAXIMUM 后 再 调用 
n—1 次 SUCCESSOR， 就 可 以 按 序 枚 举 出 该 集合 中 的 所 有 元 素 。 

度量 一 个 集合 操作 的 执行 时 间 通 常 要 对 照 这 个 集合 的 大 小 。 例 如 ， 第 13 章 描述 了 一 种 数据 
结构 ， 对 于 规模 为 n 的 集合 ， 它 能 在 时 间 O(lgn) 内 完成 上 面 列 出 的 每 个 操作 。 

第 三 部 分 概览 

第 10 一 14 章 描述 能 够 用 于 实现 动态 集合 的 几 种 数据 结构 ; 本 书后 面 将 使 用 其 中 多 种 构造 解 
决 各 种 不 同 问题 的 有 效 算 法 。 另 一 种 重要 的 堆 数据 结构 在 第 6 章 中 已 经 介绍 过 了 。 

第 10 章 给 出 一 些 简单 数据 结构 的 使 用 基础 ， 如 栈 、 队 列 、 链 表 和 有 根 树 。 本 章 还 要 说 明 在 
不 支持 对 象 和 指针 作为 基本 类 型 的 编程 环境 中 如 何 实现 它们 。 如 果 读 者 学 习 过 编程 课程 或 相关 
入 门 课程 ， 那 么 对 其 中 的 大 部 分 内 容 应 该 是 熟悉 的 。 

第 11 章 介绍 散 列 表 ， 它 支持 字典 操作 INSERT, DELETE 和 SEARCH。 最 坏 情况 下 ， 散 列 
表 上 完成 一 次 SEARCH 操作 需要 9(z) 时 间 ， 但 散 列 表 上 操作 的 期 望 时 间 为 O(1)。 散 列 分 析 依 
赖 于 概率 论 ， 不 过 本 章 的 大 部 分 内 容 并 不 需要 这 方面 的 背景 知识 。 

第 12 章 介 绍 二 又 搜 索 树 ， 它 支持 上 面 所 列 出 的 所 有 动态 集合 操作 。 最 坏 情况 下 ,在 有 个 
元 素 的 一 棵 树 上 ， 一 次 操作 需要 O(n) ATA); 然而 在 随机 构建 的 一 棵 二 又 搜 索 树 上 ， 其 一 次 操作 
的 期 望 时 间 为 O(lgz)。 二 又 搜索 树 作为 其 他 许多 数据 结构 的 基础 。 

第 13 章 介绍 红 黑 树 ， 这 是 二 又 搜索 树 的 一 个 变种 。 与 普通 的 二 又 搜索 树 不 同 ， 红 黑 树 保证 了 
较 好 的 性 能 : 最 坏 情 况 下 各 种 操作 只 需要 O(lgn) 时 间 。 一 棵 红 黑 树 是 一 种 平衡 搜索 树 ; 第 五 部 分 
中 的 第 18 章 给 出 了 另 一 种 类 型 的 平衡 搜索 树 ， 称 为 B 树 。 虽 然 红 黑 树 的 工作 机 制 有 点 复杂 ， 但 是 
不 用 仔细 研究 这 些 机 制 也 能 了 解 大 部 分 性 质 。 然 而 ， 读 者 通 览 一 下 本 章 的 代码 还 是 非常 有 益处 的 。 

第 14 章 给 出 如 何 将 红 黑 树 进 行 扩张 ， 使 其 支持 上 面 所 列 基本 操作 之 外 的 一 些 操作 。 首 先 ， 
对 红 黑 树 进 行 扩张 ， 使 得 对 关键 字 集 合 能 够 动态 地 维护 顺序 统计 量 。 接 着 ,给 出 红 黑 树 的 另 一 种 

不 同 扩 张 方式 ， 用 于 实数 区 间 的 维护 。 
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在 本 章 中 ， 我 们 要 讨论 如 何 通 过 使 用 指针 的 简单 数据 结构 来 表示 动态 集合 。 虽 然 运用 指针 
可 以 构造 多 种 复杂 的 数据 结构 ， 但 这 里 只 介绍 几 种 基本 的 结构 : 栈 、 队 列 、 链 表 和 有 根 树 。 此 
外 ， 我 们 还 要 介绍 由 数组 构造 对 象 和 指针 的 方法 。 


10.1 栈 和 队列 


栈 和 队列 都 是 动态 集合 ， 且 在 其 上 进行 DELETE 操作 所 移 除 的 元 素 是 预先 设 定 的 。 在 栈 
(stack), BEAM RITA WICH: 栈 实现 的 是 一 种 后 进 先 出 (last-in，first-out，LIFO) 策 
略 。 类 似 地 ， 在 队列 (queue) 中 ， 被 删 去 的 总 是 在 集合 中 存在 时 间 最 长 的 那个 元 素 : 队列 实现 的 
是 一 种 先进 先 出 (first-in，first-out，FIFO) 策 略 。 在 计算 机 上 实现 栈 和 队列 有 几 种 有 效 方 式 。 本 
节 将 介绍 如 何 利用 一 个 简单 的 数组 实现 这 两 种 结构 。 

栈 

栈 上 的 INSERT 操作 称 为 压 人 (PUSH) ， 而 无 元 素 参数 的 DELETE 操作 称 为 弹出 (POP) 。 
这 两 个 名 称 使 人 联想 到 现实 中 的 栈 ， 比 如 餐馆 里 装 有 弹簧 的 操 盘 子 的 栈 。 盘 子 从 栈 中 弹出 的 次 
序 刚好 同 它们 压 人 的 次 序 相 反 ， 这 是 因为 只 有 最 上 面 的 盘子 才能 被 取 下 来 。 

如 图 10-1 所 示 ， 可 以 用 一 个 数组 SCL. .nj 来 实现 一 个 最 多 可 容纳 nn 个 元 素 的 栈 。 该 数组 有 一 
个 属性 S. top， 指 向 最 新 插 和 人 的 元 素 。 栈 中 包含 的 元 素 为 SL1.. S. top]， 其 中 SL1] 是 栈 底 元 素 ， 
而 SCS. top] 是 栈 顶 元 素 。 

Ne A Le j De Oo oS BOF 1 








t t 


S.top=4 S.top=6 S.top=5 
Ca) (b) (co) 


10-1 栈 S 的 数组 实现 。 只 有 出 现在 浅 灰 色 格 子 里 的 才 是 栈 内 元 素 。(a) 栈 S 有 4 个 元 素 。 栈 项 元 素 为 9。 
(b) #4 FH PUSH(S, 17)#l PUSH(S，3) 后 的 栈 S。(c) 调 用 POP(S) 并 返回 最 后 压 和 的 元 素 3 HR 
S。 虽 然 元 素 3 仍 在 数组 里 ， 但 它 已 不 在 栈 内 了 ， 此 时 在 栈 项 的 是 元 素 17 


当 S. top=0 时 ， 栈 中 不 包含 任何 元 素 ， 即 栈 是 空 (empty) 的 。 要 测试 一 个 栈 是 否 为 空 可 以 用 
查询 操作 STACK-EMPTY。 如 果 试 图 对 一 个 空 栈 执行 弹出 操作 ， 则 称 栈 下 溢 (underflow)， 这 通 
常 是 一 个 错误 。 如 果 S. top 超过 了 ?2， 则 称 栈 上 滋 (overflow) 。( 在 下面 的 伪 代 码 实 现 中 ， 我 们 不 
考虑 栈 的 上 溢 问 题 。) 

栈 的 几 种 操作 只 需 分 别 用 几 行 代码 来 实现 : 

STACK-EMPTY(S) 

1 ifS.top ==0 

2 return TRUE 

3 else return FALSE 


PUSH(S, x) 
1 S.top = S.top +1 
2 S[S.top] = x 
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POP(S) 

1 if STACK-EMPTY(S) 

2 error “underflow” 

3 else S.top = S.top—1 
4 return S[S. top + 1] 


图 10-1 所 示 为 修改 后 的 PUSH 和 POP 操作 的 执行 结果 。 三 种 栈 操作 的 执行 时 间 都 为 O(1)。 

队列 

队列 上 的 INSERT 操作 称 为 入 队 (ENQUEUE)，DELETE 操作 称 为 出 队 (DEQUEUE); iE 
如 栈 的 POP 操作 一 样 ，DEQUEUE 操作 也 没有 元 素 参数 。 队 列 的 先进 先 出 特性 类 似 于 收银 台 前 








排队 等 待 结 账 的 一 排 顾 客 。 队 列 有 队 头 1 20:30:45) 9 10.11 12 
(head AIBA (tail), ， 当 有 一 个 元 素 人 队 时 ， (a) Q 
它 被 放 在 队 尾 的 位 置 ， 就 像 一 个 新 到 来 的 + 
顾客 排 在 队伍 末端 一 样 。 而 出 队 的 元 素 则 Qhead Quail 
总 是 在 队 头 的 那个 ， 就 像 排 在 队伍 前 面 等 让 
待 最 久 的 那个 顾客 一 样 。 w oB 15] 6 9] 8] 417] 

图 10-2 表明 利用 数组 QL1. .nj 来 实现 + 7 
一 个 最 多 容纳 n 一 1 个 元 素 的 队列 的 一 种 方 Q.tail=3  Q.head=7 
式 。 该 队列 有 一 个 属性 Q. head 指向 队 头 元 1 
素 。 而 属性 Q. tail 则 指向 下 一 个 新 元 素 将 
要 插入 的 位 置 。 队 列 中 的 元 素 存放 在 位 置 
Q. head, Q. head 十 1，…，Q tail—1, FE Q.tail=3 O.head=8 
最 后 的 位 置 环绕 ， 感 觉 好 像 位 置 1 紧邻 在 图 10-。 利用 数组 Q[1..12] 实 现 一 个 队列 。 只 有 出 现在 
位 置 后面 形成 一 个 环 序 。 当 Q head = 浅 灰 色 格子 里 的 才 是 队列 的 元 素 。(a) 队 列 包含 
Q. tail 时 ， 队 列 为 空 。 初 始 时 有 Q. head = 5 个 元 素 , 位 于 Q[7..11]。(b) 依 次 调用 
Q. tail 二 1。 如 果 试 图 从 空 队 列 中 删除 一 个 ENQUEUE (Q, 17). ENQUEUE (Q, 3) 和 
Q tait 十 1 时， 队列 是 满 的 ， 此 时 若 试图 插 队列 的 构成 。 此 时 新 的 队 头 元 素 的 关键 字 为 6 


入 一 个 元 素 ， 则 队列 发 生 上 洲 。 
在 下 面 ENQUEUE 和 DEQUEUE 程序 中 ,我 们 省 略 了 对 下 溢 和 上 溢 的 检查 。( 练 习 10. 1-4 
要 求 读者 给 出 检查 两 种 错误 情况 的 代码 。) 在 下 列 伪 代码 中 ,假设 n==Q. length. 


ENQUEUE(Q, x) 

1 QQtailj=-2x 

2 if Q. tail== Q. length 

3 Q. tail = 1 

4 elseQ. tail = Q. tail + 1 


DEQUEUE(Q) 
1 x = QQ head] 
if Q. head = Q. length 
Q. head = 1 
else Q. head =Q. head + 1 


return z 


图 10-2 所 示 为 ENQUEUE 和 DEQUEUE 操作 的 执行 结果 。 两 种 操作 的 执行 时 间 都 为 O(1)。 


n A U N 
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练习 

10.1-1 仿照 图 10-1， 画 图 表示 依次 执行 操作 PUSH(S, 4), PUSH(S, 1), PUSH(S, 3), POP(S), 
PUSH(S, 8) POP(S) 每 一 步 的 结果 ， 栈 S 初 始 为 空 ， 存 储 于 数组 SL.. 6] 中 。 

10. 1-2 ”说 明 如 何在 一 个 数组 AL. . nj] 中 实现 两 个 栈 ， 使 得 当 两 个 栈 的 元 素 个 数 之 和 不 为 n 时， 
两 者 都 不 会 发 生 上 滋 。 要 求 PUSH 和 POP 操作 的 运行 时 间 为 0(1)。 

10.1-3 仿照 图 10-2， 画 图 表示 依次 执行 操作 ENQUEUE (Q, 4), ENQUEUE(Q, 1), 
ENQUEUE(Q，3)、DEQUEUE(Q)、ENQUEUE(Q，8) 和 DEQUEUE(Q) 每 一 步 的 结 
果 ， 队 列 初始 为 空 ， 存 储 于 数组 QL1.. 6] 中 。 

10.1-4 重 写 ENQUEUE 和 DEQUEUE 的 代码 ， 使 之 能 处 理 队 列 的 下 溢 和 上 滋 。 

10. 1-5“” 栈 插入 和 删除 元 素 只 能 在 同一 端 进行 ， 队 列 的 插入 操作 和 删除 操作 分 别 在 两 端 进行 ， 与 
它们 不 同 的 ， 有 一 种 双 端 队列 (deque) ， 其 插入 和 删除 操作 都 可 以 在 两 端 进行 。 写 出 4 
个 时 间 均 为 O(1) 的 过 程 ， 分 别 实现 在 双 端 队列 的 两 端 插 和 人 和 删除 元 素 的 操作 ， 该 队列 
是 用 一 个 数组 实现 的 。 

10. 1-6 说明 如 何 用 两 个 栈 实现 一 个 队列 ， 并 分 析 相 关 队 列 操作 的 运行 时 间 。 

10.1-7 说 明 如 何 用 两 个 队列 实现 一 个 栈 ， 并 分 析 相 关 栈 操作 的 运行 时 间 。 


10.2 链表 


链表 (linked list) 是 一 种 这 样 的 数据 结构 ， 其 中 的 各 对 象 按 线性 顺序 排列 。 数 组 的 线性 顺序 
是 由 数组 下 标 决定 的 ， 然 而 与 数组 不 同 的 是 ， 链 表 的 顺序 是 由 各 个 对 象 里 的 指针 决定 的 。 链 表 为 
动态 集合 提供 了 一 种 简单 而 灵活 的 表示 方法 ， 并 且 能 支持 10. 1 节 中 列 出 的 所 有 操作 (但 未 必 非 常 
HXO. 

如 图 10-3 所 示 ， 双 向 链表 (doubly linked list)L 的 每 个 元 素 都 是 一 个 对 象 ， 每 个 对 象 有 一 个 
关键 字 key 和 两 个 指针 : next 和 preo。 对 象 中 还 可 以 包含 其 他 的 辅助 数据 (或 称 卫星 数据 )。 设 z 
为 链表 的 一 个 元 素 ，z. next 指向 它 在 链表 中 的 后 继 元 素 ，z. prev 则 指向 它 的 前 驱 元 素 。 如 果 
x. prev 王 NIL， 则 元 素 r 没有 前 驱 ， 因 此 是 链表 的 第 一 个 元 素 ， 即 链表 的 头 (head)。 如 果 x. next= 
NIL, WIZ z 没有 后 继 ， 因 此 是 链表 的 最 后 一 个 元 素 ， 即 链表 的 尾 (tail)。 属 性 L. head 指向 链 
表 的 第 一 个 元 素 。 如 果 工 . head 王 NIL， 则 链表 为 空 。 


prev key next 


N | / 
(a) L-head Zo eb fe) “fa TE 7} 
(b) L.head Zis FE [o| FE h| F 4 


(c) Lhead Makk RPF- Reek peA 


10-3 (a) 表 示 动 态 集 合 {1，4，9，16) 的 双向 链表 L。 链 表 中 的 每 个 元 素 都 是 一 个 对 象 ， 拥 有 
关键 字 和 指向 前 后 对 象 的 指针 (用 箭头 表示 )。 表 尾 的 next 属性 和 表 头 的 prev 属性 都 是 
NIL， 用 一 个 斜 杠 表示 。 属 性 L. head 指向 表 头 元 素 。(b) 在 执行 LIST-INSERT(L, X) 
之 后 (这 里 x. key 一 25) ， 链 表 以 关键 字 为 25 的 新 对 象 作为 新 的 表 头 。 该 新 对 象 指向 原来 
KRFA 9 的 表 头 元 素 。(c) 随 后 调用 LIST-DELETE(L，X) 的 结果 ， 其 中 工 指向 关键 字 
为 4 的 对 象 


链表 可 以 有 多 种 形式 。 它 可 以 是 单 链接 的 或 双 链 接 的 ， 可 以 是 已 排序 的 或 未 排序 的 ， 可 以 是 
循环 的 或 非 循环 的 。 如 果 一 个 链表 是 单 链接 的 (singly linked) ， 则 省 略 每 个 元 素 中 的 prev 指针 。 


132 - 第 三 部 分 数据 结构 


如 果 链 表 是 已 排序 (sorted) 的 ， 则 链表 的 线性 顺序 与 链表 元 素 中 关键 字 的 线性 顺序 一 致 ， 据 此 ， 
最 小 的 元 素 就 是 表 头 元 素 ， 而 最 大 的 元 素 则 是 表 尾 元 素 。 如 果 链 表 是 未 排序 (unsorted) 的 ， 则 各 
元 素 可 以 以 任何 顺序 出 现 。 在 循环 链表 (circular list) 中 ， 表 头 元 素 的 prev 指针 指向 表 尾 元 素 ， 而 
表 尾 元 素 的 nert 指针 则 指向 表 头 元 素 。 我 们 可 以 将 循环 链表 想象 成 一 个 各 元 素 组 成 的 圆 环 。 在 
本 节余 下 的 部 分 中 ， 我 们 假设 所 处 理 的 链表 都 是 未 排序 的 且 是 双 链 接 的 。 

链表 的 搜索 

过 程 LIST-SEARCH(L，A) 采 用 简单 的 线性 搜索 方法 ， 用 于 查找 链表 工 中 第 一 个 关键 字 为 & 
的 元 素 ， 并 返回 指向 该 元 素 的 指针 。 如 果 链 表 中 没有 关键 字 为 & 的 对 象 ， 则 该 过 程 返回 NIL, X 
于 图 10-3(a) 中 的 链表 ， 调 用 LIST-SEARCH(L，4) 返 回 指向 第 三 个 元 素 的 指针 ， 而 调用 LIST- 
SEARCH(L，7) 则 返回 NIL. 

LIST-SEARCH(L, &) 

l z= L.head 

2 while z ~ NIL and zx. key Fk 
3 x = zx. next 
4 


return x 


要 搜索 一 个 有 个 对 象 的 链表 ， 过 程 LIST-SEARCH 在 最 坏 情 况 下 的 运行 时 间 为 8(n)， 因 
为 可 能 需要 搜索 整个 链表 。 

链表 的 插入 

给 定 一 个 已 设置 好 关键 字 key 的 元 素 zx， 过 程 LIST-INSERT 将 xz“ 连接 入 ”到 链表 的 前 端 ， 如 
图 10-3(b) 所 示 。 

LIST-INSERT(L, x) 

1 zxz.next = L. head 

2 if L. head Æ NIL 

3 L. head. prev = x 

4 工 .head = x 

5 zx. prev = NIL 


(我 们 知道 属性 符号 是 可 以 其 套 的 ， 因 此 L. head. prev 表示 的 是 工 . head 所 指向 的 对 象 的 
prev 属性 。) 在 一 个 含 ”个 元 素 的 链表 上 执行 LIST-INSERT 的 运行 时 间 是 OC) 。 

链表 的 删除 

过 程 LIST-DELETE 将 一 个 元 素 x MERL 中 移 除 。 该 过 程 要 求 给 定 一 个 指向 zx 的 指针 ， 然 
后 通过 修改 一 些 指针 ， 将 x“ 删 除 出 ”该 链表 。 如 果 要 删除 具有 给 定 关 键 字 值 的 元 素 ， 则 必须 先 调 
用 LIST-SEARCH 找到 该 元 素 。 

LIST-DELETE(L, x) 

1 if x. prev Æ NIL 

x. prev. next = x. next 
else L. head = x. next 
if x. next # NIL 


x. next. prev = xz. prev 


10-3(c) 展 示 了 从 链表 中 删除 一 个 元 素 的 操作 。LIST-DELETE 的 运行 时 间 为 0(1)。 但 如 
果 要 删除 具有 给 定 关键 字 的 元 素 ， 则 最 坏 情 况 下 需要 的 时 间 为 9(z) ， 因 为 需要 先 调用 LIST- 
SEARCH 找到 该 元 素 。 

哨兵 

如 果 可 以 忽视 表 头 和 表 尾 处 的 边界 条 件 ， 则 LIST-DELETE 的 代码 可 以 更 简单 些 : 
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LIST-DELETE (L, x) 
l z. prev. next = x. next 


2 x. next. prev = x. prev 


哨兵 (sentinel) 是 一 个 哑 对 象 ， 其 作用 是 简化 边界 条 件 的 处 理 。 例 如 ， 假 设 在 链表 工 中 设置 
一 个 对 象 L. nil， 该 对 象 代 表 NIL, 但 也 具有 和 其 他 对 象 相同 的 各 个 属性 。 对 于 链表 代码 中 出 现 
的 每 一 处 对 NIL 的 引用 ， 都 代 之 以 对 哨兵 L. nil 的 引用 。 如 图 10-4 所 示 ， 这 样 的 调整 将 一 个 常 
规 的 双向 链表 转变 为 一 个 有 哨兵 的 双向 循环 链表 (circular，doubly linked list with a sentinel), ， 哨 
R L. nil 位 于 表 头 和 表 尾 之 间 。 属 性 L. nil. next 指向 表 头 ，L. nil. prev 指向 表 尾 。 类 似 地 ， 表 尾 
的 next 属性 和 表 头 的 prev 属性 同时 指向 L. nil. AW L. nil. next 指向 表 头 ， 我 们 就 可 以 去 掉 属 
性 工 .head， 并 把 对 它 的 引用 代替 为 对 工 .mil. next 的 引用 。 图 10-4(a) 显 示 ， 一 个 空 的 链表 只 由 一 
个 哨兵 构成 ，L. nil. next 和 工 . nil. prev 同时 指向 L. nil, 


(a) Lnil PRS 


E E E E 
HEIE BIFE hh E ee 






(b) L.nil 








(c) 


(d) 





图 10-4 带 哨兵 的 双向 循环 链表 。 哨 兵 L. nil 位 于 表 头 和 表 尾 之 间 。 由 于 可 通过 L. nil. next 访问 
RL, RHEL. head 就 不 需要 了 。(a) 空 链表 。(b) 图 10-3(a) 中 的 链表 ， 表 头 关 键 字 为 9， 
表 尾 关键 字 为 1。(c) 执 行 LIST-INSERT'(L，x) 后 的 链表 ， 其 中 z. key 二 25。 新 插入 的 
对 象 成 为 表 头 。(d) 删 除 关 键 字 为 1 的 对 象 后 的 链表 。 新 的 表 尾 是 关键 字 为 4 的 对 象 


LIST-SEARCH 的 代码 和 之 前 基本 保持 不 变 ， 只 是 将 对 NIL Al L. head 的 引用 如 前 所 述 加 以 
调整 

LIST-SEARCH (L, k) 

1 z= L. nil. next 

2 while z ÆL. nil and z . key Æ k 
3 z= 2x. next 
4 


return z 


我 们 使 用 前 述 的 仅 含 两 行 代码 的 过 程 LIST-DELETE' 可 以 实现 元 素 的 删除 。 下 面 的 过 程 则 
实现 元 素 的 插入 : 


LIST-INSERT'(L, x) 

l z. next = L. nil. next 

2 L.nil. next . prev = x 

3 L. nil. next = x 

4 x. prev = L.nil 

图 10-4 展示 了 LIST-INSERT’ il LIST-DELETE' 在 该 链表 实例 上 的 执行 结果 。 

哨兵 基本 不 能 降低 数据 结构 相关 操作 的 渐 近 时 间 界 ,但 可 以 降低 常数 因子 。 在 循环 语句 中 
使 用 哨兵 的 好 处 往往 在 于 可 以 使 代码 简洁 ， 而 非 提 高 速度 。 举 例 来 说 ， 使 用 哨兵 使 链表 的 代码 变 
得 简洁 了 ,但 在 LIST-INSERT 和 LIST-DELETE' 过 程 上 仅 节约 了 O(1) 的 时 间 。 然 而 ， 在 另 一 
些 情 况 下 ， 哨 兵 的 使 用 使 循环 语句 的 代码 更 紧凑 ， 从 而 降低 了 运行 时 间 中 nn 或 n? 等 项 的 系数 。 
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我 们 应 当 慎 用 哨兵 。 假 如 有 许多 个 很 短 的 链表 ， 它 们 的 哨兵 所 占用 的 额外 的 存储 空间 会 造 
成 严重 的 存储 浪费 。 本 书 中 ， 仅 当 可 以 真正 简化 代码 时 才 使 用 哨兵 。 


练习 

10.2-1 单 链表 上 的 动态 集合 操作 INSERT 能 否 在 O(1) 时 间 内 实现 ? DELETE 操作 呢 ? 

10. 2-2 用 一 个 单 链表 工 实现 一 个 栈 。 要 求 操 作 PUSH 和 POP 的 运行 时 间 仍 为 OA). 

10. 2-3 ”用 一 个 单 链 表 工 实现 一 个 队列 。 要 求 操 作 ENQUEUE 和 DEQUEUE 的 运行 时 间 仍 为 OC). 

10. 2-4 ”如 前 所 述 ，LIST-SEARCH 过程 中 的 每 一 次 循环 迭代 都 需要 两 个 测试 : 一 是 检查 zx 了 
L. nil， 另 一 个 是 检查 x. eey 天 &。 试 说 明 如 何在 每 次 迭代 中 省 略 对 AL. nil 的 检查 。 

10. 2-5 ”使 用 单 向 循环 链表 实现 字典 操作 INSERT, DELETE 和 SEARCH， 并 给 出 所 写 过 程 的 
运行 时 间 。 

10.2-6 动态 集合 操作 UNION 以 两 个 不 相交 的 集合 S, AS, 作为 输入 ， 并 返回 集合 S= Si US, 
包含 S 和 S 的 所 有 元 素 。 该 操作 通常 会 破坏 集合 S 和 S 。 试 说 明 如 何 选用 一 种 合适 
的 表 类 数据 结构 ， 来 支持 O(1) 时 间 的 UNION 操作 。 

10.2-7 给 出 一 个 8(n) 时 间 的 非 递 归 过 程 ， 实 现 对 一 个 含 n 个 元 素 的 单 链表 的 逆转 。 要 求 除 存 
储 链表 本 身 所 需 的 空间 外 ， 该 过 程 只 能 使 用 固定 大 小 的 存储 空间 。 

*10.2-8 ”说 明 如 何在 每 个 元 素 仅 使 用 一 个 指针 x. np( 而 不 是 通常 的 两 个 指针 next 和 prev) 的 情况 

下 实现 双向 链表 。 假 设 所 有 指针 的 值 都 可 视 为 位 的 整 型 数 ， 且 定义 x. np= z. next 
XOR z. prev, Bil x. next 和 zx. prev 的 k 位 异 或 。(NIL 的 值 用 0 表示.) 注意 要 说 明 获 取 
表 头 所 需 的 信息 ， 并 说 明 如 何在 该 表 上 实现 SEARCH, INSERT 和 DELETE 操作 ， 以 
及 如 何在 O(1) 时 间 内 实现 该 表 的 逆转 。 

10.3 ”指针 和 对 象 的 实现 


当 有 些 语言 不 支持 指针 和 对 象 数据 类 型 时 ， 应 当 如 何 实现 它们 呢 ? 本 节 将 会 介绍 在 没有 显 
式 的 指针 数据 类 型 的 情况 下 实现 链 式 数据 结构 的 两 种 方法 。 我 们 将 利用 数组 和 数组 下 标 来 构造 
对 象 和 指针 。 ie aan ee See A 


对 象 的 多 数组 表示 “一 
对 每 个 属性 使 用 一 个 数组 表示 ， 可 以 来 表示 
一 组 有 相同 属性 的 对 象 。 图 10-5 举例 说 明了 如 何 
用 三 个 数组 实现 图 10-3(a) 所 示 的 链表 。 数 组 key 





存放 该 动态 集合 中 现 有 的 关键 字 ， 指 针 则 分 别 存 

ACRE net Nl free ESR Fe TT oe 

epee W 。 每 一 列 数组 项 表示 一 个 单一 

K arn ee Rep ene are ny i 的 对 象 。 数组 内 存放 的 指针 对 应 于 上 广 

BNA key, next 和 prev 的 一 个 共同 下 标 。 示 。 浅 阴影 的 位 置 存 放 的 是 表 内 元 素 。 
在 图 10-3(a) 所 示 的 链表 中 ， 关 键 字 为 4 的 对 变量 二 存放 表 头 元 素 的 下 标 


象 紧邻 关键 字 为 16 的 对 象 之 后 。 在 图 10-5 中 ， 关 键 字 4 出 现在 key[2]， 关 键 字 16 出 现在 key[5j， 
因此 next(5)=2, prevl2]=5, JSPR NIL 出 现在 表 尾 的 next 属性 和 表 头 的 prev 属性 中 ， 但 
我 们 通常 用 一 个 不 能 代表 数组 中 任何 实际 位 置 的 整数 (如 0 或 一 1) 来 表示 。 此 外 变量 工 存放 表 头 
元 素 的 下 标 。 

对 象 的 单数 组 表示 

计算 机 内 存 的 字 往 往 从 整数 0 到 M 一 1 进行 编 址 ， 其 中 M 是 一 个 足够 大 的 整数 。 在 许多 程 
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序 设计 语言 中 ， 一 个 对 象 在 计算 机 内 存 中 占据 一 组 连续 的 存储 单元 。 指 针 仅 仅 是 该 对 象 所 在 的 
第 一 个 存储 单元 的 地 址 ， 要 访问 对 象 内 其 他 存储 单元 可 以 在 指针 上 加 上 一 个 偏 移 量 。 

在 不 支持 显 式 的 指针 数据 类 型 的 编程 环境 下 ， 我 们 可 以 采用 同样 的 策略 来 实现 对 象 。 图 10-6 
举例 说 明了 如 何 用 单个 数组 A 存储 图 10-3(a) 和 图 10-5 所 示 的 链表 。 一 个 对 象 占用 一 段 连续 的 子 
数组 AL. .]， 对 象 中 的 每 个 属性 对 应 于 从 0 到 & 一 7 之 间 的 一 个 偏 移 量 ， 指 向 该 对 象 的 指针 就 
是 下 标 7。 在 图 10-6 中 ， 对 应 于 属性 key, next 和 prev 的 偏 移 量 分 别 为 0、1 和 2。 给 定 一 个 指针 
i, BEM i. prev 的 值 ， 只 需 在 指针 的 值 i 上 加 上 偏 移 量 2， 所 以 要 读 取 的 是 ALi 十 2]。 
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图 10-6 用 单个 数组 A 表示 图 10-3(a) 和 图 10-5 所 示 的 链表 。 每 个 链表 元 素 的 对 象 都 
在 数组 中 占用 一 段 连续 的 长 度 为 3 的 子 数 组 。 三 个 属性 key, next Ail prev 所 
对 应 的 偏 移 量 分 别 是 0、1 和 2。 指 向 某 个 对 象 的 指针 就 是 该 对 象 内 第 一 个 
元 素 的 下 标 。 存 放 链表 元 素 的 对 象 标示 成 浅 阴影 ， 箭 头 指示 链表 的 顺序 


这 种 单数 组 的 表示 法 比较 灵活 ， 因 为 它 允 许 不 同 长 度 的 对 象 存储 于 同一 数组 中 。 管 理 一 组 
异 构 的 对 象 比 管理 一 组 同 构 的 对 象 ( 即 所 有 对 象 有 相同 的 属性 ) 更 困难 。 由 于 我 们 考虑 的 数据 结 
构 大 多 都 是 由 同 构 的 元 素 构 成 ， 因 此 采用 对 象 的 多 数组 表示 法 足够 满足 我 们 的 需求 。 

对 象 的 分 配 与 释放 

向 一 个 双向 链表 表示 的 动态 集合 中 插入 一 个 关键 字 ， 就 必须 分 配 一 个 指向 该 链表 表示 中 尚 
未 利用 的 对 象 的 指针 。 因 此 ， 有 必要 对 链表 表示 中 尚未 利用 的 对 象 空间 进行 管理 ， 使 其 能 够 被 分 
配 。 在 某 些 系统 中 ， 由 垃圾 收集 器 (garbage collector) 负责 确定 哪些 对 象 是 未 使 用 的 。 然 而 许多 
应 用 非常 简单 ， 可 由 自己 负责 将 未 使 用 的 对 象 返回 给 存储 管理 器 。 我 们 将 以 多 数组 表示 的 双向 
链表 为 例 ， 探 讨 同 构 对 象 的 分 配 与 释放 (或 称 去 分 配 ) 问 题 。 

假设 多 数组 表示 法 中 的 各 数组 长 度 为 m， 且 在 某 一 时 刻 该 动态 集合 含有 nn 三 m SICH. W n 
个 对 象 代 表现 存 于 该 动态 集合 中 的 元 素 ， 而 余下 的 mn 个 对 象 是 自由 的 (free); 这 些 自由 对 象 
可 用 来 表示 将 要 插入 该 动态 集合 的 元 素 。 

我 们 把 自由 对 象 保 存在 一 个 单 链表 中 ， 称 为 自由 表 (free list)。 自 由 表 只 使 用 next 数组 ， 该 
数组 只 存储 链表 中 的 nert 指针 。 自 由 表 的 头 保存 在 全 局 变量 free 中 。 当 由 链表 L 表示 的 动态 集 
合 非 空 时 ， 自 由 表 可 能 会 和 链表 工 相互 交错 ， 如 图 10-7 所 示 。 注 意 ， 该 表示 中 的 每 个 对 象 不 是 
在 链表 工 中 ， 就 在 自由 表 中 ， 但 不 会 同时 属于 两 个 表 。 

自由 表 类 似 于 一 个 栈 : 下 一 个 被 分 配 的 对 象 就 是 最 后 被 释放 的 那个 。 我 们 可 以 分 别 利用 栈 
操作 PUSH 和 POP 的 链表 实现 形式 来 实现 分 配 和 释放 对 象 的 过 程 。 假 设 下 述 过 程 中 的 全 局 变量 
free 指向 自由 表 的 第 一 个 元 素 。 

ALLOCATE-OBJECT() 

l iffree == NIL 

2 error “out of space” 

3 else xz = free 

4 free = x. next 


5 return x 


242 
243 
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FREE-OBJECT(z) 
1 z. next = free 


2 Jree 一 工 
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图 10-7 ”过程 ALLOCATE-OBJECT 和 FREE-OBJECT 的 执行 结果 。(a) 图 10-5 中 的 链表 ( 浅 
阴影 部 分 ) 和 自由 表 ( 深 阴影 部 分 ) 。 箭 头 标 示 自 由 表 的 结构 。(b) 调 用 ALLOCATE- 
OBJECTO (返回 下 标 4) 、 将 &ey[4] 设 为 25 、 再 调用 LIST-INSERT(L，4) 处 理 的 结 
果 。 新 自由 表 的 头 为 原 自由 表 中 zeztL4] 所 指 的 对 象 8。(c) 执 行 LIST-DELETE(L, 
5)， 然 后 调用 FREE-OBJECT(5)。 对 象 5 成 为 新 自由 表 的 表 头 ， 对 象 8 紧 随 其 后 


初始 时 自由 表 含 有 全 部 n 个 未 分 配 的 对 象 。 一 旦 自由 表 用 完 ， 再 运行 ALLOCATE-OBJECT 
过 程 将 提示 出 错 。 我 们 甚至 可 以 让 多 个 链表 共用 一 个 自由 表 。 图 10-8 显示 了 两 个 链表 和 一 个 自 
由 表 通 过 数组 key, next 和 prev 彼此 交错 在 一 起 。 free W 12345678 910 

上 述 两 个 过 程 运行 时 间 都 为 0O(1)， 因 而 是 非常 
实用 的 。 我 们 可 以 将 其 改造 ， 让 对 象 中 的 任意 一 个 
属性 都 可 以 像 自由 表 的 next 属性 一 样 使 用 ， 从 而 使 
其 可 以 对 任何 同 构 的 对 象 组 都 适用 。 图 10-8 ”两 个 链表 Li ( 浅 阴影 ) 和 L GRH 
练习 影 ) 与 一 个 自由 表 ( 黑 色 ) 彼 此 交错 


10.3-1 画图 表示 序列 (13，4，8，19，5，11)， 其 存储 形式 为 多 数组 表示 的 双向 链表 。 同 样 画 
出 单数 组 表示 的 形式 。 

10.3-2 对 一 组 同 构 对 象 用 单数 组 表示 法 实现 ， 写 出 过 程 ALLOCATE-OBJECT 和 FREE- 
OBJECT, 

10.3-3 在 ALLOCATE-OBJECT #1 FREE-OBJECT 过 程 的 实现 中 ， 为 什么 不 需要 设置 或 重 置 对 
象 的 prev 属性 呢 ? 

10.34 我 们 往往 希望 双向 链表 的 所 有 元 素 在 存储 器 中 保持 紧凑 ， 例 如 ， 在 多 数组 表示 中 占用 前 
m 个 下 标 位 置 。( 在 页 式 虚 拟 存 储 的 计算 环境 下 ， 即 为 这 种 情况 。) 假 设 除 指向 链表 本 身 
的 指针 外 没有 其 他 指针 指向 该 链表 的 元 素 ， 试 说 明 如 何 实现 过 程 ALLOCATE-OBJECT 
A FREE-OBJECT, 使 得 该 表示 保持 紧凑 。( 提 示 : 使 用 栈 的 数组 实现 。) 

10.3-5 设 工 是 一 个 长 度 为 n 的 双向 链表 ， 存 储 于 长 度 为 m HRA Rey. prev 和 next 中 。 假 设 这 
些 数组 由 维护 双 链 自由 表 下 的 两 个 过 程 ALLOCATE-OBJECT 和 FREE-OBJECT 进行 管 
理 。 又 假设 m 个 元 素 中 ， 恰 有 7 个 元 素 在 链表 L 上 ，m 一 nn 个 在 自由 表 上 。 给 定 链表 工 
和 自由 表 下 ， 试 写 出 一 个 过 程 COMPACTIFY-LIST(L, F), ARGS L 中 的 元 素 使 其 
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占用 数组 中 1，2，…，n 的 位 置 ， 调 整 自 由 表 下 以 保持 其 正确 性 ， 并 且 占 用 数组 中 ntl, 
n 十 2，…，m 的 位 置 。 要 求 所 写 的 过 程 运行 时 间 应 为 @(n)， 且 只 使 用 固定 量 的 额外 存储 
空间 。 请 证 明 所 写 的 过 程 是 正确 的 。 


10.4 有 根 树 的 表示 

上 一 节 介绍 的 表示 链表 的 方法 可 以 推广 到 任意 同 构 的 数据 结构 上 。 本 节 中 ， 我 们 专门 讨论 
用 链 式 数据 结构 表示 有 根 树 的 问题 。 我 们 将 首先 讨论 二 叉 树 ， 然 后 给 出 针对 结 点 的 孩子 数 任意 
的 有 根 树 的 表示 方法 。 

树 的 结 点 用 对 象 表示 。 与 链表 类 似 ， 假 设 每 个 结 点 都 含有 一 个 关键 字 key。 其 余 我 们 感 兴趣 
的 属性 包括 指向 其 他 结 点 的 指针 ， 它 们 随 树 的 种 类 不 同 会 有 所 变化 。 

二 叉 树 

10-9 展示 了 在 二 叉 树 T PAARE p, left A right 存放 指向 父 结 点 、 左 孩子 和 右 孩 
子 的 指针 。 如 果 z. 加 =NIL， 则 z 是 根 结 点 。 如 果 结 点 xz 没有 左 孩 子 ， 则 zx. left=NIL, HEF 
的 情况 与 此 类 似 。 属 性 T. root 指向 整 棵 树 T 的 根 结 点 。 如 果 T. root 王 NIL， 则 该 树 为 空 。 





图 10-9 ZNA 工 的 表示 。 每 个 结 点 z 都 含有 属性 zx. pE), x. left 
POM x. right( 右 下 )。 关 键 字 key 在 图 中 未 显示 


分 支 无 限制 的 有 根 树 

二 叉 树 的 表示 方法 可 以 推广 到 每 个 结 点 的 孩子 数 至 多 为 常数 的 任意 类 型 的 树 : 只 需要 将 
left 和 right RYE child, child, +, child, 代替 。 当 孩子 的 结 点 数 无 限制 时 ， 这 种 方法 就 失 
效 了 ， 因 为 我 们 不 知道 应 当 预 先 分 配 多 少 个 属性 (在 多 数组 表示 法 中 就 是 多 少 个 数组 ) 。 此 外 ， 
即使 孩子 数 & 限 制 在 一 个 大 的 常数 以 内 ， 但 若 多 数 结 点 只 有 少量 的 孩子 ， 则 会 浪费 大 量 存储 
空间 。 

所 幸 的 是 ， 有 一 个 巧妙 的 方法 可 以 用 来 表示 孩子 数 任意 的 树 。 该 方法 的 优势 在 于 ， 对 任意 
个 结 点 的 有 根 树 ， 只 需要 O(n) 的 存储 空间 。 这 种 左 孩 子 右 兄弟 表示 法 (left-child，right-sibling 
representation) 如 图 10-10 所 示 。 和 前 述 方法 类 似 ， 每 个 结 点 都 包含 一 个 父 结 点 指针 p, H.T. root 
指向 树 工 的 根 结 点 。 然 而 ， 每 个 结 点 中 不 是 包含 指向 每 个 孩子 的 指针 ， 而 是 只 有 两 个 指针 : 

1. x. leftchild 指向 结 点 z 最 左边 的 孩子 结 点 。 

2. x. right-sibling 指向 二 右 侧 相 邻 的 兄弟 结 点 。 

如 果 结 点 z 没有 孩子 结 点 ， 则 x. leftchild=NIL; 如 果 结 点 工 是 其 父 结 点 的 最 右 孩 子 ， 则 
x. rightsibling 一 NIL。 
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图 10-10 树 工 的 左 孩 子 右 兄弟 表示 法 。 每 个 结 点 xz 都 含有 属性 xz. pE), x. leftchild 
(左下 ) 和 x. rightsibling AF). KEF key 在 图 中 未 显示 


树 的 其 他 表示 方法 
我 们 有 时 也 用 其 他 方法 表示 有 根 树 。 例 如 在 第 6 章 中 ， 我 们 对 一 棵 完全 二 又 树 使 用 堆 来 表 
示 ， 堆 用 一 个 单数 组 加 上 堆 的 最 末 结 点 的 下 标 表示 。 第 21 章 中 的 树 只 需 向 根 结 点 方向 遍历 ， 


此 只 需 提供 父 结 点 的 指针 ， 而 没有 指向 孩子 结 点 的 指针 。 还 有 许多 其 他 的 表示 方法 。 哪 种 方法 最 
优 取决 于 具体 应 用 。 


练习 
10.4-1 画 出 下 列 属性 表 所 示 的 二 叉 树 ， 其 根 结 点 下 标 为 6。 


Fir key left right 
1 12 7 3 
2 15 8 NIL 
3 4 10 NIL 
4 10 5 9 
5 2 NIL NIL 
6 18 1 4 
7 7 NIL NIL 
8 
9 


21 NIL NIL 
NIL NIL 


© 
cn 


10. 4-2 ”给 定 一 个 nn 结 点 的 二 叉 树 ， 写 出 一 个 O(n) 时 间 的 递归 过 程 ， 将 该 树 每 个 结 点 的 关键 字 
输出 。 

10. 4-3 ”给 定 一 个 n 结 点 的 二 叉 树 ， 写 出 一 个 O(n) 时 间 的 非 递 归 过 程 ， 将 该 树 每 个 结 点 的 关键 
字 输 出 。 可 以 使 用 一 个 栈 作 为 辅助 数据 结构 。 

10.4-4 ”对 于 一 个 含 ”个 结 点 的 任意 有 根 树 ， 写 出 一 个 O(n) 时 间 的 过 程 ， 输 出 其 所 有 关键 字 。 
该 树 以 左 孩子 右 兄弟 表示 法 存储 。 

*10. 4-5 ”给 定 一 个 n 结 点 的 二 叉 树 ， 写 出 一 个 O(n) 时 间 的 非 递归 过 程 ， 将 该 树 每 个 结 点 的 关键 
字 输 出 。 要 求 除 该 树 本 身 的 存储 空间 外 只 能 使 用 固定 量 的 额外 存储 空间 ， 且 在 过 程 中 不 
得 修改 该 树 ， 即 使 是 暂时 的 修改 也 不 允许 。 
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*10.4-6 ”任意 有 根 树 的 左 孩 子 右 兄弟 表示 法 中 每 个 结 点 用 到 三 个 指针 : leftchild, rightsibling 和 


parent。 对 于 任何 结 点 ， 都 可 以 在 常数 时 间 到 达 其 父 结 点 ， 并 在 与 其 孩子 数 呈 线 性 关系 的 
时 间 内 到 达 所 有 和 孩子 结 点 。 说 明 如 何在 每 个 结 点 中 只 使 用 两 个 指针 和 一 个 布尔 值 的 情况 
下 ， 使 结 点 的 父 结 点 或 者 其 所 有 和 孩子 结 点 可 以 在 与 其 孩子 数 呈 线性 关系 的 时 间 内 到 达 。 


思考 题 
(链表 间 的 比较 ) 对 于 下 表 中 的 4 种 链表 ， 所 列 的 每 种 动态 集合 操作 在 最 坏 情况 下 的 渐 近 
运行 时 间 是 多 少 ? 


未 排序 的 单 链 表 | 已 排序 的 单 链表 未 排序 的 双向 链表 | 已 排序 的 双向 链表 


10-1 


10-2 


10-3 





SUCCESSOR(L, x) 


MINIMUM(L) 
(利用 链表 实现 可 合并 堆 ) 可 合并 堆 (mergeable heap) 支 持 以 下 操作 : MAKE-HEAP( 创 建 
一 个 空 的 可 合并 堆 )、INSERT、MINIMUM、EXTRACT-MIN 和 UNION.S 说 明 在 下 列 前 
提 下 如 何 用 链表 实现 可 合并 堆 。 试 着 使 各 操作 尽 可 能 高 效 。 分 析 每 个 操作 按 动 态 集合 规模 
的 运行 时 间 。 

a. 链表 是 已 排序 的 。 

b. 链表 是 未 排序 的 。 

c. 链表 是 未 排序 的 ， 且 待 合并 的 动态 集合 是 不 相交 的 。 

(搜索 已 排序 的 紧凑 链表 ) ”练习 10. 3-4 讨论 了 如 何 将 含 ” 个 元 素 的 链表 紧凑 地 维持 在 数组 
的 前 ?个 位 置 。 假 设 所 有 的 关键 字 均 不 相同 ， 且 紧凑 链表 是 已 排序 的 ， 即 对 所 有 的 i=l, 
2,，…，n 且 next[i] 关 NIL， 有 key[ 引 过 keyLnezxt[i]]。 又 假设 有 一 个 变量 上 存放 链表 的 首 
元 素 的 下 标 。 在 这 些 假设 下 ， 试 说 明 可 以 利用 下 列 随机 算法 在 O(Vn) 的 期 望 时 间 内 搜索 
链表 。 

COMPACT-LIST-SEARCH(L, n, &) 

1 i=L 

2 while i + NIL and key[i] < k 

3 j = RANDOM(1, n) 














4 if key[i] < key[ j] and key[j] < k 
5 i=j 
6 if key[i] == k 
7 return i 
8 i = nezt[i] 
9 ifi == NIL orkey[i] > k 
10 return NIL 
11 else return i 


© ”由 于 我 们 已 经 定义 了 一 个 支持 MINIMUM 和 EXTRACT-MIN 操作 的 可 合并 堆 ， 我 们 也 可 以 将 它 视 为 一 个 可 合 


并 最 小 堆 。 再 者 ， 如 果 这 个 堆 支持 MAXIMUM 和 EXTRACT-MAX 操作 ， 就 是 一 个 可 合并 最 大 堆 。 
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如 果 忽 略 过 程 中 第 3 一 7 行 ， 就 得 到 一 个 普通 的 搜索 已 排序 链表 的 算法 ， 其 中 下 标 i 
依次 指向 链表 的 各 个 位 置 。 当 下 标 i 越 出 表 的 末端 或 key[ 门 宇 k 时， 搜索 终止 。 在 后 一 种 
情况 中 ， 如 果 key[ 疏 =k&， 显 然 ， 我 们 已 找到 值 为 的 关键 字 。 但 如 果 keyli]>k, WRN 
永远 也 找 不 到 值 为 的 关键 字 ， 因 而 终止 查找 是 正确 的 。 

第 3 一 7 行 意图 向 前 跳 至 某 个 随机 选择 的 位 置 j]。 当 key[ 站 大 于 key[ 让 而 不 大 于 时 ， 
这 种 跳 路 是 有 益 的 。 因 为 这 种 情况 下 ，j 在 链表 中 标识 了 一 个 正常 搜索 中 i 将 要 到 达 的 位 
置 。 由 于 该 链表 是 紧凑 的 ， 所 以 在 1 Bn 中 任意 选择 一 个 7 都 会 指向 链表 中 的 某 个 对 象 ， 
而 不 会 是 自由 表 中 的 某 个 位 置 。 

我 们 不 直接 分 析 COMPACT-LIST-SEARCH 的 性 能 ， 而 是 要 分 析 一 个 相关 的 算法 
COMPACT-LIST-SEARCH'， 该 算法 执行 两 个 独立 的 循环 。 该 算法 增加 了 一 个 参数 :， 用 
来 决定 第 一 个 循环 迭代 次 数 的 上 限 。 


COMPACT-LIST-SEARCH’ (L, n, k, 2) 
1i=L 
2 forg =1 tot 
3 j = RANDOM(1,， n) 
4 if key[i] < key[j] and key[j] < k 
5 i=j 
6 if key[i] == k 
7 return i 
8 while i NIL and key[i] < k 
9 i = next[i] 
10 if i == NIL or key[i] > k 
11 return NIL 
12 else return i 


为 了 比较 算法 COMPACT-LIST-SEARCH (L, n, k) 和 COMPACT-LIST-SEARCH' 

C(L, n, 上， 的 执行 过 程 ， 假 定 调 用 RANDOM(1，n) 所 返回 的 整数 序列 在 两 个 算法 中 是 

一 样 的 。 

a. 假设 COMPACT-LIST-SEARCH(L, n, &) H 2 一 8 行 的 while 循环 经 过 了 t KER. 
论证 COMPACT-LIST-SEARCH' (L, n, k, t) 会 返回 同样 的 结果 ， 且 COMPACT- 
LIST-SEARCH' 中 的 for 循环 和 while 循环 的 迭代 次 数 之 和 至 少 为 to 

在 COMPACT-LIST-SEARCH'(L，n,，k，) 的 调用 中 ， 设 随机 变量 X, 描述 了 第 
2 一 7 行 的 for 循环 经 :次 迭代 后 链表 中 从 位 置 ; 到 目标 关键 字 k 之 间 的 距离 ( 即 通过 next 
指针 链 ) 。 

b. 论证 COMPACT-LIST-SEARCH“(L，z，&， 为 的 期 望 运行 时 间 为 OCGt 十 ELX,]) 。 


c WH: ELX,] < 3 。( 提 示 : 利用 等 式 (C. 25)。) 


d E: Se <ra. 

e 证 明 : ELX,J<n/(t+1). 

f. 证 明 : COMPACT-LIST-SEARCH'(L，n,，k，1) 的 期 望 运行 时 间 为 OC(t 十 n/t)。 

g. 证 明 : COMPACT-LIST-SEARCH 的 期 望 运行 时 间 为 OG/n) 。 

h. 为 什么 要 假设 COMPACT-LIST-SEARCH 中 的 所 有 关键 字 均 不 相同 ? 论证 当 链 表 中 包 
含 重 复 的 关键 字 时 ， 随 机 跳跃 不 一 定 能 降低 渐 近 时 间 。 
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本 章 注 记 

Aho、Hopcroft、Ullman[6] 和 Knuth[209] 都 是 基本 数据 结构 方面 的 优秀 参考 资料 。 很 多 其 
他 的 教材 都 介绍 了 基本 的 数据 结构 及 其 在 某 种 特定 编程 语言 下 的 实现 。 这 类 教材 包括 Goodrich 
和 TamassiaL147]、Main[241]、ShafferL311]， 以 及 Weiss[352，353，354]。GonnetL145] 则 提 
供 了 许多 数据 结构 操作 性 能 方面 的 实验 数据 。 

栈 和 队列 作为 计算 机 科学 中 的 数据 结构 ， 它 们 的 起 源 已 不 得 而 知 ， 因 为 早 在 数字 计算 机 发 
明 以 前 ， 相 应 的 概念 就 已 经 在 数学 和 论文 出 版 形式 的 商业 应 用 中 出 现 了 。Knuth[209] 提 到 了 
A. M. Turing 在 1947 年 为 子 程序 的 链接 问题 发 展 了 栈 技术 。 

基于 指针 的 数据 结构 也 似乎 是 来 自 于 一 项 民间 发 明 。 根 据 Knuth 的 说 法 ， 显 然 ， 指 针 在 早 
期 的 磁 鼓 式 存 储 器 计算 机 中 就 被 使 用 了 。G. M. Hopper 于 1951 年 发 明 的 A-1 语言 将 代数 式 表示 
成 二 叉 树 的 形式 。Knuth 认为 ， 由 A. Newell, J. C. Shaw 和 H. A. Simon 于 1956 年 提出 的 IPL-II 
语言 ， 真 正 意识 到 了 指针 的 重要 性 并 促进 了 指针 的 使 用 。 他 们 于 1957 年 提出 的 IPL-III 语言 包含 
了 具体 的 栈 操作 。 


第 11 章 | 


Introduction to Algorithms, Third Edition 


we 列 表 


许多 应 用 都 需要 一 种 动态 集合 结构 ， 它 至 少 要 支持 INSERT, SEARCH 和 DELETE 字典 操作 。 
例如 ， 用 于 程序 语言 编译 的 编译 器 维护 了 一 个 符号 表 ， 其 中 元 素 的 关键 字 为 任意 字符 串 ， 它 与 程 
序 中 的 标识 符 相 对 应 。 散 列表 (hash table) 是 实现 字典 操作 的 一 种 有 效 数据 结构 。 尽 管 最 坏 情 况 下 ， 
散 列表 中 查找 一 个 元 素 的 时 间 与 链表 中 查找 的 时 间 相 同 ， 达 到 了 8(n)。 然 而 在 实际 应 用 中 ， 散 列 
查找 的 性 能 是 极 好 的 。 在 一 些 合 理 的 假设 下 ， 在 散 列 表 中 查找 一 个 元 素 的 平均 时 间 是 OC). 

散 列表 是 普通 数组 概念 的 推广 。 由 于 对 普通 数组 可 以 直接 寻 址 ， 使 得 能 在 O(1) 时 间 内 访问 
数组 中 的 任意 位 置 。11. 1 节 将 更 详细 地 讨论 直接 寻 址 。 如 果 存 储 空间 允许 ,我们 可 以 提供 一 个 
数组 ， 为 每 个 可 能 的 关键 字 保留 一 个 位 置 ， 以 利用 直接 寻 址 技术 的 优势 。 

当 实 际 存储 的 关键 字数 目 比 全 部 的 可 能 关键 字 总 数 要 小 时 ， 采 用 散 列表 就 成 为 直接 数组 寻 
址 的 一 种 有 效 替代 ， 因 为 散 列 表 使 用 一 个 长 度 与 实际 存储 的 关键 字数 目 成 比例 的 数组 来 存储 。 
在 散 列表 中 ， 不 是 直接 把 关键 字 作 为 数组 的 下 标 ， 而 是 根据 关键 字 计 算出 相应 的 下 标 。11.2 节 
介绍 这 种 技术 的 主要 思想 ， 着 重 介绍 通过 “链接 ”(chaining) 方 法 解决 “冲突 ”(collision)。 所 谓 冲 
突 ， 就 是 指 多 个 关键 字 映 射 到 数组 的 同一 个 下 标 。11. 3 节 介绍 如 何 利用 散 列 函 数 根 据 关 键 字 计 
算出 数组 的 下 标 。 另 外 ， 还 将 介绍 和 分 析 散 列 技术 的 几 种 变形 。11. 4 节 介 绍 “ 开 放 寻 址 法 ”(open 
addressing)， 它 是 处 理 冲突 的 另 一 种 方法 。 散 列 是 一 种 极其 有 效 和 实用 的 技术 : 基本 的 字典 操作 
平均 只 需要 O(1) 的 时 间 。11. 5 节 介 绍 当 关键 字 集 合 是 静态 存储 ( 即 关 键 字 集 合 一 旦 存 人 后 就 不 
再 改变 ) 时 ,“ 完 全 散 列 ”(perfect hashing) 如 何 能 够 在 O(1) 的 最 坏 情 况 时 间 内 完成 关键 字 查 找 。 


11. 1 直接 寻 址 表 


当 关键 字 的 全 域 U 比较 小 时 ， 直 接 寻 址 是 一 种 简单 而 有 效 的 技术 。 假 设 某 应 用 要 用 到 一 个 
动态 集合 ， 其 中 每 个 元 素 都 是 取 自 于 全 域 U={0，1，…，m 一 1} 中 的 一 个 关键 字 ， 这 里 m 不 是 
一 个 很 大 的 数 。 另 外 ， 假 设 没 有 两 个 元 素 具有 相同 的 关键 字 。 

为 表示 动态 集合 ， 我 们 用 一 个 数组 ， 或 称 为 直接 寻 址 表 (direct-address table)， 记 为 TLO..m—1]. 
其 中 每 个 位 置 ， 或 称 为 槽 (slot) ， 对 应 全 域 U 中 的 一 个 关键 字 。 图 11-1 描绘 了 该 方法 。 槽 & 指 向 
集合 中 一 个 关键 字 为 & 的 元 素 。 如 果 该 集合 中 没有 关键 字 为 & 的 元 素 ， 则 TLAJ=NIL. 








图 11-1 如 何 用 一 个 直接 寻 址 表 工 来 实现 动态 集合 。 全 域 U 一 (0，1，…，9} 中 的 每 个 关键 
字 都 对 应 于 表 中 的 一 个 下 标 值 。 由 实际 关键 字 构成 的 集合 K=(2, 3, 5, IRER 
中 的 一 些 槽 ， 这 些 槽 包含 指向 元 素 的 指针 。 而 另 一 些 槽 包含 NIL， 用 深 阴影 表示 
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几 个 字典 操作 实现 起 来 比较 简单 ; 


DIRECT-ADDRESS-SEARCH(T,&) 
1 return TLA] 


DIRECT-ADDRESS-INSERT(T,z) 
1 Tix. key]=zx 


DIRECT-ADDRESS-DELETE(T, x) 
1 Ta. keyJ=NIL 


上 述 的 每 一 个 操作 都 只 需 O(1) 时 间 。 

对 于 某 些 应 用 ， 直 接 寻 址 表 本 身 就 可 以 存放 动态 集合 中 的 元 素 。 也 就 是 说 ， 并 不 把 每 个 元 素 
的 关键 字 及 其 卫星 数据 都 放 在 直接 寻 址 表 外 部 的 一 个 对 象 中 ， 再 由 表 中 某 个 槽 的 指针 指向 该 对 
象 ， 而 是 直接 把 该 对 象 存放 在 表 的 槽 中 ， 从 而 节省 了 空间 。 我 们 使 用 对 象 内 的 一 个 特殊 关键 字 来 
表明 该 槽 为 空 槽 。 而 且 ， 通 常 不 必 存 储 该 对 象 的 关键 字 属 性 ， 因 为 如 果 知 道 一 个 对 象 在 表 中 的 下 
标 ， 就 可 以 得 到 它 的 关键 字 。 然 而 ， 如 果 不 存储 关 键 字 ， 我 们 就 必须 有 某 种 方法 来 确定 某 个 模 是 
否 为 空 。 


练习 

11.1-1 假设 一 动态 集合 S 用 一 个 长 度 为 m 的 直接 寻 址 表 工 来 表示 。 请 给 出 一 个 查找 S 中 最 大 
元 素 的 过 程 。 你 所 给 的 过 程 在 最 坏 情况 下 的 运行 时 间 是 多 少 ? 

11.1-2 位 向 量 (bit vector) 是 一 个 仅 包含 0 和 1 的 数组 。 长 度 为 m 的 位 向 量 所 占 空间 要 比 包含 m 
个 指针 的 数组 少 得 多 。 请 说 明 如 何 用 一 个 位 向 量 来 表示 一 个 包含 不 同 元 素 ( 无 卫星 数据 ) 
的 动态 集合 。 字 典 操 作 的 运行 时 间 应 为 OA). 

11.1-3 ” 试 说 明 如 何 实现 一 个 直接 寻 址 表 ， 表 中 各 元 素 的 关键 字 不 必 都 不 相同 ， 且 各 元 素 可 以 有 
卫星 数据 。 所 有 三 种 字典 操作 (INSERT、DELETE 和 SEARCH) 的 运行 时 间 应 为 OC). 
(不 要 忘记 DELETE 要 处 理 的 是 被 删除 对 象 的 指针 变量 ， 而 不 是 关键 字 。) 

*11. 1-4 我 们 希望 在 一 个 非常 大 的 数组 上 ， 通 过 利用 直接 寻 址 的 方式 来 实现 一 个 字典 。 开 始 时 ， 
该 数组 中 可 能 包含 一 些 无 用 信息 ， 但 要 对 整个 数组 进行 初始 化 是 不 太 实际 的 ， 因 为 该 数 
组 的 规模 太 大 。 请 给 出 在 大 数组 上 实现 直接 寻 址 字典 的 方案 。 每 个 存储 对 象 占 用 OC) 
空间 ; SEARCH, INSERT 和 DELETE 操作 的 时 间 均 为 OA); 并且 对 数据 结构 初始 化 
的 时 间 为 0(1)。( 提 示 : 可 以 利用 一 个 附加 数组 ， 处 理 方 式 类 似 于 栈 ， 其 大 小 等 于 实际 
存储 在 字典 中 的 关键 字数 目 ， 以 帮助 确定 大 数组 中 某 个 给 定 的 项 是 否 有 效 。) 


11.2 IR 


直接 寻 址 技术 的 缺点 是 非常 明显 的 : 如 果 全 域 呆 很 大 ， 则 在 一 台 标 准 的 计算 机 可 用 内 存 容 
量 中 ， 要 存储 大 小 为 |U| 的 一 张 表 工 也 许 不 太 实 际 ， 甚 至 是 不 可 能 的 。 还 有 ， 实 际 存储 的 关键 
FRA K 相对 U 来 说 可 能 很 小 ， 使 得 分 配给 工 的 大 部 分 空间 都 将 浪费 掉 。 

当 存 储 在 字典 中 的 关键 字 集合 K 比 所 有 可 能 的 关键 字 的 全 域 U 要 小 许多 时 ， 散 列表 需要 的 
存储 空间 要 比 直接 寻 址 表 少 得 多 。 特 别 地 ， 我 们 能 将 散 列表 的 存储 需求 降 至 8(| 开 | )， 同 时 散 列 
表 中 查找 一 个 元 素 的 优势 仍 得 到 保持 ， 只 需要 O(1) 的 时 间 。 问 题 是 这 个 界 是 针对 平均 情况 时 间 
的 ， 而 对 直接 寻 址 来 说 ， 它 是 适用 于 最 坏 情况 时 间 的 。 

在 直接 寻 址 方式 下 ， 具 有 关键 字 & 的 元 素 被 存放 在 槽 上 中。 在 散 列 方式 下 ， 该 元 素 存 放 在 覃 
h(k) 中 ; 即 利用 散 列 函 数 (hash function)h， 由 关键 字 计 算出 槽 的 位 置 。 这 里 ， 函 数 有 将 关键 字 
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的 全 域 U 映射 到 散 列表 (hash table) TL0..m 一 1] 的 槽 位 上 : 

h:U — {0,1,°**,m—1} 
这 里 散 列表 的 大 小 m — WE U| De. RATA TAB RES k HITER BAY 
h(k) 上 ， 也 可 以 说 h(k) 是 关键 字 & 的 散 列 值 。 图 11-2 描述 了 这 个 基本 方法 。 散 列 函 数 缩小 了 数 
组 下 标的 范围 ， 即 减 小 了 数组 的 大 小 ， 使 其 由 |U| 减 小 为 m。 


A 





图 11-2 用 一 个 散 列 函数 将 关键 字 映 射 到 散 列表 的 模 中 ， 关 键 字 
ke Fl ks 映射 到 同一 个 槽 中 ， 因 而 产生 了 冲突 


这 里 存在 一 个 问题 : 两 个 关键 字 可 能 映射 到 同一 个 槽 中 。 我 们 称 这 种 情形 为 冲突 (collision) 。 
幸运 的 是 ， 我 们 能 找到 有 效 的 方法 来 解决 冲突 。 

当然 ， 理 想 的 解决 方法 是 避免 所 有 的 冲突 。 我 们 可 以 试图 选择 一 个 合适 的 散 列 函数 来 做 到 
这 一 点 。 一 个 想法 就 是 使 h 尽 可 能 的 “随机 ”， 从 而 避免 冲突 或 者 使 冲突 的 次 数 最 小 化 。 实 际 上 ， 
术语 “ 散 列 ” 原 意 就 是 随机 混杂 和 拼凑 ， 即 体现 了 这 种 思想 。( 当 然 ， 一 个 散 列 函数 必须 是 确定 
的 ， 因 为 某 一 个 给 定 的 输入 & 应 始终 产生 相同 的 结果 h(k)。) 但 是 ， 由 于 1U| 二 m， 故 至 少 有 两 个 
关键 字 其 散 列 值 相 同 ， 所 以 要 想 完全 避免 冲突 是 不 可 能 的 。 因 此 ， 我 们 一 方面 可 以 通过 精心 设计 
的 散 列 函数 来 尽量 减少 冲突 的 次 数 ， 男 一 方面 仍 需 要 有 解决 可 能 出 现 冲 突 的 办 法 。 

本 节余 下 的 部 分 要 介绍 一 种 最 简单 的 冲突 解决 方法 ， 称 为 链接 法 (chaining)。11. 4 节 还 要 介 
绍 另 一 种 冲突 解决 方法 ， 称 为 开放 寻 址 法 (open addressing) 。 

通过 链接 法 解决 冲突 

在 链接 法 中 ， 把 散 列 到 同一 槽 中 的 所 有 元 素 都 放 在 一 个 链表 中 ， 如 图 11-3 所 示 。 槽 /中 有 
一 个 指针 ， 它 指向 存储 所 有 散 列 到 7 的 元 素 的 链表 的 表 头 ;如果 不 存在 这 样 的 元 素 ， 则 槽 7 中 
为 NIL。 

在 采用 链接 法 解决 冲突 后 ， 散 列表 工 上 的 字典 操作 就 很 容易 实现 。 


CHAINED-HASH-INSERT(T,z) 
1 insert x at the head of list TLA(x. key) } 


CHAINED-HASH-SEARCH(T,&) 
1 search for an element with key & in list T[A(&) ] 


CHAINED-HASH-DELETE(T, zx) 
1 delete x from the list TLA(z. key) ] 


插入 操作 的 最 坏 情况 运行 时 间 为 O(1)。 插 和 人 过 程 在 某 种 程度 上 要 快 一 些 ， 因 为 假设 待 插入 


的 元 素 z+ 没有 出 现在 表 中 ; 如 果 需 要 ， 可 以 在 插入 前 执行 一 个 搜索 来 检查 这 个 假设 ( 需 付出 额外 
代价 )。 查 找 操作 的 最 坏 情况 运行 时 间 与 表 的 长 度 成 正比 。 下 面 还 将 对 此 操作 进行 更 详细 的 分 析 。 
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如 图 11-3 所 示 ， 如 果 散 列表 中 的 链表 是 双向 链接 的 ， 则 删除 一 个 元 素 zx 的 操作 可 以 在 O(1) 时 间 
内 完成 。( 注 意 到 ，CHAINED-HASH-DELETE 以 元 素 z 而 不 是 它 的 关键 字 k 作为 输入 ， 所 以 无 
需 先 搜索 z。 如 果 散 列表 支持 删除 操作 ， 则 为 了 能 够 更 快 地 删除 某 一 元 素 ， 应 该 将 其 链表 设计 为 
双向 链接 的 。 如 果 表 是 单 链接 的 ， 则 为 了 删除 元 素 z， 我 们 首先 必须 在 表 TLh(zx. key)] 中 找到 元 
素 zx， 然后 通过 更 改 x 前驱 元 素 的 nezt 属性 ， 把 工 从 链表 中 删除 。 在 单 链表 情况 下 ， 删 除 和 查找 
操作 的 渐 近 运行 时 间 相 同 。) 





图 11-3 通过 链接 法 解决 冲突 。 每 个 散 列表 槽 T[ 门 都 包含 一 个 链表 ， 其 中 所 有 关键 字 的 散 列 值 
EIH je PWN, h(i )=hlky), 还 有 h(ks)= 二 h(k1) 二 h(ks)。 这 个 链表 可 能 是 单 链表 ， 
也 可 能 是 双向 链表 ; 图 中 链表 画 为 双 链 ， 因 为 删除 操作 比较 快 


链接 法 散 列 的 分 析 

采用 链接 法 后 散 列 的 性 能 怎么 样 呢 ? 特别 地 ， 要 查找 一 个 具有 给 定 关 键 字 的 元 素 需 要 多 长 
时 间 呢 ? 

给 定 一 个 能 存放 n 个 元 素 的 、 具 有 m 个 槽 位 的 散 列表 工 ， 定 义工 的 装载 因子 (load factor)a 
为 n/m， 即 一 个 链 的 平均 存储 元 素数 。 我 们 的 分 析 将 借助 a 来 说 明 ，a 可 以 小 于 、 等 于 或 大 于 1。 

用 链接 法 散 列 的 最 坏 情况 性 能 很 差 . 所 有 的 ”个 关键 字 都 散 列 到 同一 个 槽 中 ， 从 而 产生 出 一 
个 长 度 为 n 的 链表 。 这 时 ， 最 坏 情况 下 查找 的 时 间 为 BC(z) ， 再 加 上 计算 散 列 函数 的 时 间 ， 如 此 
就 和 用 一 个 链表 来 链接 所 有 的 元 素 差不多 了 。 显 然 ， 并 不 是 因为 散 列表 的 最 坏 情 况 性 能 差 ， 就 不 
使 用 它 。(11. 5 节 中 介绍 的 完全 散 列 能 够 在 关键 字 集 合 为 静态 时 ， 提 供 比较 好 的 最 坏 情 况 性 能 。) 

散 列 方法 的 平均 性 能 依赖 于 所 选取 的 散 列 函数 h， 将 所 有 的 关键 字 集 合 分 布 在 mm 个 槽 位 上 的 
均匀 程度 。11. 3 节 将 讨论 这 些 问 题 ， 现 在 我 们 先 假定 任何 一 个 给 定 元 素 等 可 能 地 散 列 到 m AY 
中 的 任何 一 个 ， 且 与 其 他 元 素 被 散 列 到 什么 位 置 上 无 关 。 我 们 称 这 个 假设 为 简单 均匀 散 列 
(simple uniform hashing) 。 

对 于 j= 二 0，1，…，m 一 1， 列 表 开门 的 长 度 用 n; 表示 ， 于 是 有 

n=m +m + n (11.1) 

FE n WHEA ELn; ]=a=n/m, 

假定 可 以 在 O(1) 时 间 内 计算 出 散 列 值 h(k)， 从 而 查找 关键 字 为 的 元 素 的 时 间 线 性 地 依赖 
FR TAC ] 的 长 度 wo 。 先 不 考虑 计算 散 列 函数 和 访问 槽 ACA) 的 O(1) 时 间 ， 我 们 来 看 看 查找 
算法 查找 元 素 的 期 望 数 ， 即 为 比较 元 素 的 关键 字 是 否 为 而 检查 的 表 T[h(k)] 中 的 元 素数 。 分 两 
种 情况 来 考虑 。 在 第 一 种 情况 中 ， 查 找 不 成 功 : 表 中 没有 一 个 元 素 的 关键 字 为 k。 在 第 二 种 情况 
中 ， 成 功 地 查找 到 关键 字 为 的 元 素 。 

定理 11.1 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 不 成 功 查 找 
的 平均 时 间 为 OC1 +a). 

证 明 ”在 简单 均匀 散 列 的 假设 下 ， 任 何 尚 未 被 存储 在 表 中 的 关键 字 & 都 等 可 能 地 被 散 列 到 m 
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个 槽 中 的 任何 一 个 。 因 而 ， 当 查找 一 个 关键 字 & 时 ， 在 不 成 功 的 情况 下 ， 查 找 的 期 望 时 间 就 是 查 
找 至 链表 T[h(8)] 末 尾 的 期 望 时 间 ， 这 一 时 间 的 期 望 长 度 为 Elmo ] 二 a。 于 是 ， 一 次 不 成 功 的 查 
找平 均 要 检查 a 个 元 素 ， 并 且 所 需要 的 总 时 间 ( 包 括 计算 h(k) 的 时 间 ) 为 8(1 十 a)。 a 

对 于 成 功 的 查找 来 说 ， 情 况 略 有 不 同 ， 这 是 因为 每 个 链表 并 不 是 等 可 能 地 被 查找 到 的 。 替 
代 的 是 ， 某 个 链表 被 查找 到 的 概率 与 它 所 包含 的 元 素数 成 正比 。 然 而 ， 期 望 的 查找 时 间 仍 然 是 
@(1+a)。 

定理 11.2 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 成 功 查找 所 
需 的 平均 时 间 为 OC. +a). 

证 明 ”假定 要 查找 的 元 素 是 表 中 存放 的 ”个 元 素 中 任何 一 个 ， 且 是 等 可 能 的 。 在 对 元 素 工 的 
一 次 成 功 查找 中 ， 所 检查 的 元 素数 就 是 z 所 在 的 链表 中 >z 前 面 的 元 素数 多 1。 在 该 链表 中 ， 因 为 
新 的 元 素 都 是 在 表 头 插 人 的 ， 所 以 出 现在 zx 之 前 的 元 素 都 是 在 zx 之 后 插入 的 。 为 了 确定 所 检查 
元 素 的 期 望 数 目 ， 对 工 所 在 的 链表 ， 在 zx 之 后 插 和 人 到 表 中 的 期 望 元 素数 加 1， 再 对 表 中 的 个 元 
素 z 取 平 均 。 设 xz; 表示 插入 到 表 中 的 第 ; PICK, i=1, 2, +, n, HR z. key。 对 关键 字 
ki 和 k;， 定 义 指示 器 随机 变量 X; = 二 I{h(k;) =hk)). CER AIS BONAR FE, A Pr{h(k)) = 
h(i;)} 三 1/m， 从 而 根据 引 理 5.1， 有 ELX; ]= 二 1/m。 于 是 ， 在 一 次 成 功 的 查找 中 ， 所 检查 元 素 
的 期 望 数 目 为 
[RAOL] V(t VEX]) 《由 期 望 的 线性 性 ) 


i= i= 


= Eh ee Sites 
=- tat ae end D 


n 
i=l 


=1+44(Èn- Di) = 14 A(t 2 FP) HRAD) 





2m 2 2n 
因此 ,一 次 成 功 的 查找 所 需要 的 全 部 时 间 ( 包 括 计 算 散 列 函 数 的 时 间 ) 为 6(2 十 a/2 一 a/2n) = 
(1 二 a)。 a 


上 面 的 分 析 意 味 着 什么 呢 ? 如 果 散 列表 中 槽 数 至 少 与 表 中 的 元 素数 成 正比 ， 则 有 n=OCm), 
从 而 a 三 n/m 二 OC(m)/m 二 O(1)。 所 以 ， 查 找 操作 平均 需要 常数 时 间 。 当 链表 采用 双向 链接 时 ， 
插入 操作 在 最 坏 情况 下 需要 O(1) 时 间 ， 删 除 操作 最 坏 情况 下 也 需要 O(1) 时 间 ， 因 而 ， 全 部 的 字 
典 操作 平均 情况 下 都 可 以 在 O(1) 时 间 内 完成 。 


练习 


11.2-1 假设 用 一 个 散 列 函数 将 n 个 不 同 的 关键 字 散 列 到 一 个 长 度 为 m 的 数组 工 中 。 假 设 采用 
的 是 简单 均匀 散 列 ， 那 么 期 望 的 冲突 数 是 多 少 ? 更 准确 地 ， 集 合 {{&，!}) : RAL, AACR) 一 
ACL) } SE WII BYE SE: & 22 

11. 2-2 对 于 一 个 用 链接 法 解决 冲突 的 散 列表 ， 说 明 将 关键 字 5,28,19,15,20,33,12,17,10 插入 
到 该 表 中 的 过 程 。 设 该 表 中 有 9 个 槽 位 ， 并 设 其 散 列 函 数 为 h(k) =k mod9。 

11.2-3 Marley 教授 做 了 这 样 一 个 假设 ， 即 如 果 将 链 模式 改动 一 下 ， 使 得 每 个 链表 都 能 保持 已 排 
好 序 的 顺序 ， 散 列 的 性 能 就 可 以 有 较 大 的 提高 。Marley 教授 的 改动 对 成 功 查找 、 不 成 功 
查找 、 插 人 和 删除 操作 的 运行 时 间 有 何 影 响 ? 

11.2-4 说 明 在 散 列 表 内 部 ， 如 何 通过 将 所 有 未 占用 的 槽 位 链接 成 一 个 自由 链表 ， 来 分 配 和 释放 
元 素 所 占 的 存储 空间 。 假 定 一 个 槽 位 可 以 存储 一 个 标志 、 一 个 元 素 加 上 一 个 或 两 个 指 
针 。 所 有 的 字典 和 自由 链表 操作 均 应 具有 O(1) 的 期 望 运行 时 间 。 该 自由 链表 需要 是 双 
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向 链表 吗 ? 或 者 ， 是 不 是 单 链表 就 足够 了 呢 ? 

11.2-5 ”假设 将 一 个 具有 个 关键 字 的 集合 存储 到 一 个 大 小 为 m 的 散 列表 中 。 试 说 明 如 果 这 些 关 
键 字 均 源 于 全 域 U， 且 1U| 二 nm， 则 U 中 还 有 一 个 大 小 为 ”的 子 集 ， 其 由 散 列 到 同一 模 
位 中 的 所 有 关键 字 构成 ， 使 得 链接 法 散 列 的 查找 时 间 最 坏 情况 下 为 OG) 。 

11.2-6 假设 将 ”个 关键 字 存储 到 一 个 大 小 为 六 且 通 过 链接 法 解决 冲突 的 散 列表 中 ， 同 时 已 知 每 
条 链 的 长 度 ， 包 括 其 中 最 长 链 的 长 度 工 ， 请 描述 从 散 列 表 的 所 有 关键 字 中 均匀 随机 地 选 
择 某 一 元 素 并 在 O(L。 (1 十 1/c) ) 的 期 望 时 间 内 返回 该 关键 字 的 过 程 。 


11.3 散 列 函数 

本 节 将 讨论 一 些 关 于 如 何 设 计 好 的 散 列 函数 的 问题 ， 并 介绍 三 种 具体 方法 。 其 中 的 两 种 方 
法 (用 除法 进行 散 列 和 用 乘法 进行 散 列 ) 本 质 上 属于 启发 式 方法 ， 而 第 三 种 方法 (全 域 散 列 ) 则 利用 
了 随机 技术 来 提供 可 证 明 的 良好 性 能 。 

好 的 散 列 函数 的 特点 

一 个 好 的 散 列 函数 应 (近似 地 ) 满 足 简 单 均匀 散 列 假设 : 每 个 关键 字 都 被 等 可 能 地 散 列 到 m 
个 槽 位 中 的 任何 一 个 ， 并 与 其 他 关键 字 已 散 列 到 哪个 槽 位 无 关 。 遗 憾 的 是 ， 一 般 无 法 检查 这 一 条 
件 是 否 成 立 ， 因 为 很 少 能 知道 关键 字 散 列 所 满足 的 概率 分 布 ， 而 且 各 关键 字 可 能 并 不 是 完全 独 
立 的 。 

有 时 ， 我 们 知道 关键 字 的 概率 分 布 。 例 如 ， 如 果 各 关键 字 都 是 随机 的 实数 &， 它 们 独立 均匀 
地 分 布 于 0k 二 1 范围 中 ， 那 么 散 列 函数 

h(k) = Lkm] 
就 能 满足 简单 均匀 散 列 的 假设 条 件 。 

在 实际 应 用 中 ， 常 常 可 以 运用 启发 式 方法 来 构造 性 能 好 的 散 列 函数 。 设 计 过 程 中 ， 可 以 利用 
关键 字 分 布 的 有 用 信息 。 例 如 ， 在 一 个 编译 器 的 符号 表 中 ， 关 键 字 都 是 字符 串 ， 表 示 程 序 中 的 标 
识 符 。 一 些 很 相近 的 符号 经 常会 出 现在 同一 个 程序 中 ， 如 pt 和 pts。 好 的 散 列 函数 应 能 将 这 些 
相近 符号 散 列 到 相同 槽 中 的 可 能 性 最 小 化 。 

一 种 好 的 方法 导出 的 散 列 值 ， 在 某 种 程度 上 应 独立 于 数据 可 能 存在 的 任何 模式 。 例 如 ,“ 除 
ARA” AL. 3. 1 节 中 要 介绍 ) 用 一 个 特定 的 素数 来 除 所 给 的 关键 字 ， 所 得 的 余数 即 为 该 关键 字 的 
散 列 值 。 假 定 所 选择 的 素数 与 关键 字 分 布 中 的 任何 模式 都 是 无 关 的 ， 这 种 方法 常常 可 以 给 出 好 
的 结果 。 

最 后 ， 注 意 到 散 列 函数 的 某 些 应 用 可 能 会 要 求 比 简单 均匀 散 列 更 强 的 性 质 。 例 如 ， 可 能 希望 
某 些 很 近似 的 关键 字 具 有 截然 不 同 的 散 列 值 (使 用 11. 4 节 中 定义 的 线性 探查 技术 时 ， 这 一 性 质 特 
别 有 用 )。11. 3. 3 节 中 将 介绍 的 全 域 散 列 (universal hashing) 通 常 能 够 提供 这 些 性 质 。 

将 关键 字 转 换 为 自然 数 

多 数 散 列 函 数 都 假定 关键 字 的 全 域 为 自然 数 集 N 二 {0，1，2，…}。 因 此 ， 如 果 所 给 关键 字 不 
是 自然 数 ， 就 需要 找到 一 种 方法 来 将 它们 转换 为 自然 数 。 例 如 ， 一 个 字符 串 可 以 被 转换 为 按 适 当 
的 基数 符号 表示 的 整数 。 这 样 ， 就 可 以 将 标识 符 pt 转换 为 十 进 制 整数 对 (112，116)， 这 是 因为 
在 ASCII 字符 集中 ，p 二 112，t= 二 116。 然 后 ， 以 128 为 基数 来 表示 ，pt 即 为 (112X128) 十 116= 
14 452。 在 一 特定 的 应 用 场合 ， 通 常 还 能 设计 出 其 他 类 似 的 方法 ， 将 每 个 关键 字 转 换 为 一 个 (可 
能 是 很 大 的 ) 自然 数 。 在 后 面 的 内 容 中 ， 假 定 所 给 的 关键 字 都 是 自然 数 。 


11.3.1 除法 散 列 法 
在 用 来 设计 散 列 函数 的 除法 散 列 法 中 ， 通 过 取 k BRU m 的 余数 ， 将 关键 字 & 映射 到 xm 个 槽 
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中 的 某 一 个 上 ， 即 散 列 函数 为 : 
h(k) = k modm 
例如 ， 如 果 散 列表 的 大 小 为 m= 二 12， 所 给 关键 字 & 二 100， 则 h(k) 一 4。 由 于 只 需 做 一 次 除法 操 
作 ， 所 以 除法 散 列 法 是 非常 快 的 。 
当 应 用 除法 散 列 法 时 ， 要 避免 选择 m 的 某 些 值 。 例 如 ，m 不 应 为 2 WF, AMR m=, 
则 ACR) BREE kA p 个 最 低位 数字 。 除 非 已 知 各 种 最 低 p 位 的 排列 形式 为 等 可 能 的 ， 否 则 在 设计 
散 列 函数 时 ， 最 好 考虑 关键 字 的 所 有 位 。 练 习 11. 3-3 要 求 读者 证 明 ， 当 上 是 一 个 按 基数 2? 表示 
的 字符 串 时 ， 选 m=2?—1 可 能 是 一 个 糟糕 的 选择 ， 因 为 排列 的 各 字符 并 不 会 改变 其 散 列 值 。 
一 个 不 太 接 近 2 的 整数 军 的 素数 ， 常 常 是 m 的 一 个 较 好 的 选择 。 例 如 ， 假 定 我 们 要 分 配 一 
张 散 列表 并 用 链接 法 解决 冲突 ， 表 中 大 约 要 存放 n 二 2 000 个 字符 串 ， 其 中 每 个 字符 有 8 位 。 如 
果 我 们 不 介意 一 次 不 成 功 的 查找 需要 平均 检查 3 个 元 素 ， 这 样 分 配 散 列表 的 大 小 为 m= 二 701。 选 
F 701 这 个 数 的 原因 是 ， 它 是 一 个 接近 2 000/3 但 又 不 接近 2 的 任何 次 寡 的 素数 。 把 每 个 关键 字 
h(k) = k mod701 


11.3.2 乘法 散 列 法 


构造 散 列 函数 的 乘法 散 列 法 包含 两 个 步骤 。 第 一步 ， 用 关键 字 & 乘 上 常数 A(0<A 一 1) ， 并 

提取 kA 的 小 数 部 分 。 第 二 步 ， 用 m 乘 以 这 个 值 ， 再 向 下 取 整 。 总 之 ， 散 列 函 数 为 : 
h(k) = [m(kA mod1) J 

这 里 “&AA mod 1” JERK RA 的 小 数 部 分 ， 即 RA—LRAJ. 

乘法 散 列 法 的 一 个 优点 是 对 m 的 选择 不 是 特别 关键 ， 一 般 选 择 它 为 2 的 某 个 寡 次 (mm 一 22， 妃 
为 某 个 整数 ) ， 这 是 因为 我 们 可 以 在 大 多 数 计算 
机 上 ， 按 下 面 所 示 方 法 较 容易 地 实现 散 列 函数 。 
假设 某 计 算 机 的 字 长 为 记 位 ， 而 上 正好 可 用 一 个 
单字 表示 。 限 制 A 为 形 如 s/2” 的 一 个 分 数 ， 其 
中 s 是 一 个 取 自 0<s<2” 的 整数 。 参见 图 11-4, CAO ara A 
Jel w SEB s=A+ 2 乘 上 上， 其 结果 是 一 个 
2w 位 的 值 r12* 十 xo， 这 里 Lal 为 乘积 的 高 位 字 ， J 
n ARRERA. PRH p ENEP, BA Mia 散 列 的 乘法 方法 。 关 键 字 的 ww 位 表 





T r 的 pp 个 最 高 有 效 位 。 KRESSA . 2" Hw 位 值 。 在 乘积 的 
虽然 这 个 方法 对 任何 的 A 值 都 适用 ， 但 对 Ik wtih, p 个 最 高 位 构成 了 所 需 的 
某 些 值 效 果 更 好 。 最 佳 的 选择 与 待 散 列 的 数据 的 AJE h Ck) 


特征 有 关 。Knuth[211] 认 为 
A œ~ (V5 — 1)/2 = 0. 618 033 988 7… (11. 2) 
是 个 比较 理想 的 值 。 
作为 一 个 例子 ， 假 设 R=123 456, p=14, m=2"=16 384, H w= 二 32。 依 据 Knuth 的 建议 ， 
取 A 为 形 如 s/2* 的 分 数 ， 它 与 (V5 一 1)/2 最 为 接近 ， 于 是 A 一 2 654 435 769/22 。 那 么 ，&Xxs 一 
327 706 022 297 664= (76 300X2")+17 612 864， 从 而 有 7 二 76 300 Al ry =17 612 864, rə 的 14 
个 最 高 有 效 位 产生 了 散 列 值 hk) = 67. 


”11. 3.3 全 域 散 列 法 


如 果 让 一 个 恶意 的 对 手 来 针对 某 个 特定 的 散 列 函 数 选择 要 散 列 的 关键 字 ， 那 么 他 会 将 个 关 
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键 字 全 部 散 列 到 同一 个 槽 中 ， 使 得 平均 的 检索 时 间 为 B(z) 。 任 何 一 个 特定 的 散 列 函数 都 可 能 出 
现 这 种 令 人 慌 怖 的 最 坏 情 况 。 唯 一 有 效 的 改进 方法 是 随机 地 选择 散 列 函数 ， 使 之 独立 于 要 存储 
的 关键 字 。 这 种 方法 称 为 全 域 散 列 (universal hashing)， 不 管 对 手 选择 了 怎么 样 的 关键 字 ， 其 平 
均 性 能 都 很 好 。 

全 域 散 列 法 在 执行 开始 时 ， 就 从 一 组 精心 设计 的 函数 中 ， 随 机 地 选择 一 个 作为 散 列 函数 。 就 
像 在 快速 排序 中 一 样 ， 随 机 化 保证 了 没有 哪 一 种 输入 会 始终 导致 最 坏 情况 性 能 。 因 为 随机 地 选 
择 散 列 函数 ， 算 法 在 每 一 次 执行 时 都 会 有 所 不 同 ， 甚 至 对 于 相同 的 输入 都 会 如 此 。 这 样 就 可 以 确 
保 对 于 任何 输入 ， 算 法 都 具有 较 好 的 平均 情况 性 能 。 再 回 到 编译 器 的 符号 表 的 例子 ， 在 全 域 散 列 
方法 中 ， 可 以 发 现 程序 员 对 标识 符 的 选择 就 不 会 总 是 导致 较 差 的 散 列 性 能 了 。 仅 当 编 译 器 选择 
了 一 个 随机 的 散 列 函数 ， 使 得 标识 符 的 散 列 效果 较 差 时 ， 才 会 出 现 较 差 的 性 能 。 但 出 现 这 种 情况 
的 概率 很 小 ， 并 且 这 一 概率 对 任何 相同 大 小 的 标识 符 集 来 说 都 是 一 样 的 。 

设 K 为 一 组 有 限 散 列 函 数 ， 它 将 给 定 的 关键 字 全 域 口 映射 到 {0，1，…，m 一 1} 中 。 这 样 的 
一 个 函数 组 称 为 全 域 的 (universal) ， 如 果 对 每 一 对 不 同 的 关键 字 &，!EU， 满 足 Ab) 一 ADO) 的 散 
列 函 数 AE 光 的 个 数 至 多 为 | 天 | /m。 换 句 话 说 ， 如 果 从 RK 中 随机 地 选择 一 个 散 列 函 数 ， 当 关键 字 
& 天 ! 时 ， 两 者 发 生 冲 突 的 概率 不 大 于 1/m， 这 也 正好 是 从 集合 {0，1，…，m 一 1} 中 独立 地 随机 
选择 ACR) A /2 时 发 生 冲 突 的 概率 。 

下 面 的 定理 表明 ， 全 域 散 列 函数 类 的 平均 性 态 是 比较 好 的 。 注 意 n 表示 链表 TIM KE. 

定理 11.3 如 果 用 选 自 一 组 全 域 散 列 函 数 ， 将 nn 个 关键 字 散 列 到 一 个 大 小 为 m 的 表 工 中 ， 
并 用 链接 法 解决 冲突 。 如 果 关 键 字 上 不 在 表 中 ， 则 率 被 散 列 至 其 中 的 链表 的 期 望 长 度 EL JE 
多 为 a 二 n/m。 如 果 关 键 字 上 在 表 中 ， 则 包含 关键 字 上 的 链表 的 期 望 长 度 Ef[nww ] 至 多 为 1 十 a。 

证 明 注意 到 ， 此 处 的 期 望 值 与 散 列 函数 的 选择 有 关 ， 且 不 依赖 于 任何 有 关 关 键 字 分 布 的 
假设 。 对 于 每 对 不 同 的 关键 字 & 和 /!， 定 义 指 示 器 随机 变量 Xu =H ACR 二 (1)}。 因 为 由 全 域 散 
列 函 数 的 定义 ， 一 对 关键 字 发 生 冲 突 的 概率 至 多 为 1/m， 我 们 有 Pr{h(k)=ACL)}<1/m, RESI 
理 5. l, 所 以 有 ELX J<1/m. 

接 下 来 ， 对 每 个 关键 字 k， 定 义 随机 变量 Y， 它 表示 与 散 列 到 同一 槽 位 中 的 非 的 其 他 关 
键 字 的 数目 。 于 是 ， 有 


从 而 ,有 
Ey] = EL XXu J= ŽS ELXu] (根据 期 望 的 线性 性 ) 


<> + 
余下 部 分 的 证 明 按 关键 字 & 是否 在 表 工 中 ， 分 情况 讨论 : 
。 如 果 AET， 则 xm =¥,, FAI (lL: LETH UAR} | =n. FE, EL mw J=ELY, J<n/m=a。 
。 WRRET, 那么 由 于 关键 字 & 出 现在 链表 T[hC(k)] 中 ， 且 计数 Y, 中 并 没有 包括 关键 字 
k, AMA mo 二 Yi 十 1， #HE |í: LET HLÆk}| =n—1. 于 是 ， Elm J=ELY,J+1< 
(n—1)/m+1=1+ea—-1/m<l1+a,. ia 
下 面 的 推论 说 明 全 域 散 列 法 达到 了 期 望 的 效果 : 现在 对 手 已 经 无 法 通过 选择 一 个 操作 序列 
来 迫使 达到 最 坏 情 况 运行 时 间 了 。 通 过 在 运行 时 聪明 地 随机 选择 散 列 函数 ， 就 可 以 确保 每 一 个 
操作 序列 都 具有 良好 的 平均 情况 运行 时 间 。 
推论 11.4 对 于 一 个 具有 m 个 楼 位 且 初 始 时 为 空 的 表 ， 利 用 全 域 散 列 法 和 链接 法 解决 冲突 ， 
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需要 9(z) 的 期 望 时 间 来 处 理 任何 包含 了 7 个 INSERT、SEARCH 和 DELETE 的 操作 序列 ， 其 中 
该 序列 包含 了 OCm) 个 INSERT 操作 。 

证 明 由 于 插入 操作 的 数目 为 O(m)， 有 n= 二 OC(m)， 从 而 有 a 二 O(1)。INSERT 操作 和 
DELETE 操作 需要 常量 时 间 ， 由 定理 11.3， 每 一 个 SEARCH 操作 的 期 望 时 间 为 0(1)。 于 是 ， 
根据 期 望 值 的 线性 性 质 可 知 ， 整 个 nn 个 操作 序列 的 期 望 时 间 为 O(n)。 因 为 每 个 操作 所 用 时 间 为 
Q), FA OG) WAAR. a 

设计 一 个 全 域 散 列 函 数 类 

设计 一 个 全 域 散 列 函数 类 很 容易 ， 只 需 一 点 数论 方面 的 知识 即 可 加 以 证 明 。 读 者 如 果 对 数 
论 不 熟悉 ， 可 以 先 阅读 第 31 章 。 

首先 ， 选 择 一 个 足够 大 的 素数 p， 使 得 每 一 个 可 能 的 关键 字 都 落 在 0 到 p 一 1 的 范围 内 ( 包 
45 0 M p—1). BZ, 表示 集合 {0， 1, “vs ply Z; 表示 集合 {1， 2y ta p=} 由 于 pp 是 一 
个 素数 ， 故 可 以 用 第 31 章 中 给 出 的 方法 来 求解 模 p 的 方程 。 因 为 我 们 假定 了 关键 字 全 域 的 大 小 
大 于 散 列表 中 的 构 数 ， 故 有 p>m. 

现在 ， 对 于 任何 aEZ; 和 任何 5E2Z,， 定 义 散 列 函数 hs,。 利 用 一 次 线性 变换 ， 再 进行 模 p 
和 模 m WIAA, 有 


ha (k) = (Cak + b)mod p)modm (11. 3) 
例如 ， 如 果 p=17 AM m=6, WA hs (8)= 二 5。 所 有 这 样 的 散 列 函 数 构 成 的 函数 簇 为 
Hin = (haa EZ bE) (11. 4) 


每 一 个 散 列 函数 hs 都 将 Z, 映射 到 Z.。 这 一 类 散 列 函数 具有 一 个 良好 的 性 质 ， 即 输出 范围 的 大 
小 m 是 任意 的 ,不必 是 一 个 素数 。11. 5 节 将 用 到 这 一 特性 。 由 于 对 a HUA p — 1 种 选择 ， 对 4 
来 说 有 种 选择 ， 故 .pm 中 包含 p(p 一 1) 个 散 列 函数 。 

定理 11.5 由 公式 (11.3) 和 公式 (11.4) 定 义 的 散 列 函数 徐 Cpm 是 全 域 的 。 

证 明 考虑 Z, 中 的 两 个 不 同 关键 字 &A 和 1， 即 关 1。 对 于 某 一 个 给 定 的 散 列 函 数 h,,， 设 

r= (ak +b)mod p 
s = (al +b)mod p 
首先 ， 注 意 到 rAs. LEITA? AW 
r—s=atk—I1)(modp) 
可 以 导出 rés, REKNA p 为 素数 ， 日 a 和 (CR 一 1) 模 户 的 结果 均 不 为 0， 于 是 根据 定理 31.6， 它 
们 的 乘积 模 p 后 也 不 为 0。 于 是 ， 计 算 任何 ha E 光 时 ， 不 同 的 输入 & 和 ! 会 被 映射 至 不 同 的 值 
r 和 s( 模 p); 在 模 p 层 次 上 ， 尚 不 存在 冲突 。 此 外 ， 数 对 (a，5) (ae 天 0) 有 p(p 一 1) 种 可 能 的 选 
择 ， 其 中 的 每 一 种 都 会 产生 一 个 不 同 的 结果 数 对 (r，s) (r 隆 ;)， 这 是 因为 给 定 r+ 和 s 后 ， 可 以 解 
ih a 和 0: 
a= ((r—s)((k—1)* modp))mod p 
b = (r—ak)modp 

JE C(R— 1) mod p) #278 k—1 BUR p. AAA p(p 一 1) 种 可 能 的 数 对 (r，s) (r 关 ;)， 所 
以 在 数 对 (a，5) (a 了 0) 与 数 对 (r，s) (7r 隆 s) 之 间 ， 存 在 一 个 一 一 对 应 关系 。 于 是 ， 对 任何 给 定 的 
HHAXt k AL, WRA Z XZ 中 均匀 地 随机 选择 (a，5)， 则 结果 数 对 (r+，s) 就 等 可 能 地 为 任何 不 
同 的 数值 对 ( 模 p). 

因此 ， 当 x 和; 为 随机 选择 的 不 同 的 值 ( 模 p) 时 ， 不同 的 关键 字 k 和 7/ 发生 冲 突 的 概率 等 于 
7 三 s(modm) 的 概率 。 对 于 某 个 给 定 的 r+ 值 ，; 的 可 能 取 值 就 为 余下 的 p 一 1 种 ， 其 中 满足 sr A 
5 三 r(modm) 的 s AMAA BAH: 

[p/m|—-1<((p+m—1)/m)—1 (根据 不 等 式 (3.6)) 
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= (p—1)/m 


当 模 m 进行 归 约 时 ，* 与 7 RAE hE HE BZ ((p— 1)/m)/(p— 1) = 1/m, 


Pr{ha (k) = ha (0D)} <1/m 


FE, Hom 的确 是 全 域 的 。 回 


练习 
11.3-1 


11.3-2 


11. 3-3 


11.3-4 


*11.3-5 


*11.3-6 


11.4 


假设 我 们 希望 查找 一 个 长 度 为 n 的 链表 ， 其 中 每 一 个 元 素 都 包含 一 个 关键 字 并 具有 散 
列 值 i(k)。 每 一 个 关键 字 都 是 长 字符 串 。 那 么 在 表 中 查找 具有 给 定 关 键 字 的 元 素 时 ， 如 
何 利用 各 元 素 的 散 列 值 呢 ? 
假设 将 一 个 长 度 为 的 字符 串 散 列 到 m 个 槽 中 ， 并 将 其 视 为 一 个 以 128 为 基数 的 数 ， 要 
求 应 用 除法 散 列 法 。 我 们 可 以 很 容易 地 把 数 m 表示 为 一 个 32 位 的 机 器 字 ， 但 对 长 度 为 
r 的 字符 串 ， 由 于 它 被 当做 以 128 为 基数 的 数 来 处 理 ， 就 要 占用 若干 个 机 器 字 。 假 设 应 
用 除法 散 列 法 来 计算 一 个 字符 串 的 散 列 值 ， 那 么 如 何 才能 在 除了 该 串 本 身 占 用 的 空间 
外 ， 只 利用 常数 个 机 器 字 ? 
考虑 除法 散 列 法 的 另 一 种 版 本 ， 其 中 h(k) 二 kmodm，m 王 2* 一 1， 上 为 按 基数 2’? 表示 的 
字符 串 。 试 证 明 : 如 果 串 工 可 由 串 y 通过 其 自身 的 字符 置换 排列 导出 ， 则 zx Aly 具有 相 
同 的 散 列 值 。 给 出 一 个 应 用 的 例子 ， 其 中 这 一 特性 在 散 列 函数 中 是 不 希望 出 现 的 。 
考虑 一 个 大 小 为 m=1 000 的 散 列表 和 一 个 对 应 的 散 列 函 数 h(k) 二 Lm(kA mod1)， 其 中 
A 二 (V5 一 1)/2， 试 计算 关键 字 61、62、63、64 和 65 被 映射 到 的 位 置 。 
定义 一 个 从 有 限 集合 U 到 有 限 集 合 B 上 的 散 列 函数 簇 K 为 e 全 域 的 ， 如 果 对 U 中 所 有 的 
不 同 元 素 对 & 和 ZL， 都 有 
Pr{h(k) =h} Se 
其 中 概率 是 相对 从 函数 入 ZR 中 随机 抽取 的 散 列 函数 而 言 的 。 试 证 明 : 一 个 。 全 域 的 散 
列 函 数 簇 必 定 满足 : 
1 1 
“全 TBT TUT 
设 U 为 由 取 自 Z 中 的 值 构成 的 n TARA, F B=., HP p 为 素数 。 对 于 一 个 取 
A U 的 输入 nn 元 组 (ao， ars 9 Aq)» 定义 其 上 的 散 列 函数 hy: U—B(bEZ,) A: 


ml 
hC laosa] 9 *** sa PPD) = ( S ab )modp 
j=0 


FFABH= (h: bEZ,). WARI 11. 3-5 Pe 全 域 的 定义 ,证 明 K 是 ((n 一 1)/p) 全 域 
的 。( 提 示 : 见 练习 31. 4-4。) 


开放 寻 址 法 


在 开放 寻 址 法 (open addressing) 中 ， 所 有 的 元 素 都 存放 在 散 列 表 里 。 也 就 是 说 ， 每 个 表 项 或 
包含 动态 集合 的 一 个 元 素 ， 或 包含 NIL。 当 查找 某 个 元 素 时 ， 要 系统 地 检查 所 有 的 表 项 ， 直 到 找 
到 所 需 的 元 素 ， 或 者 最 终 查 明 该 元 素 不 在 表 中 。 不 像 链 接 法 ， 这 里 既 没有 链表 ， 也 没有 元 素 存 放 
在 散 列表 外 。 因 此 在 开放 寻 址 法 中 ， 散 列表 可 能 会 被 填 满 ， 以 至 于 不 能 插入 任何 新 的 元 素 。 该 方 
法 导致 的 一 个 结果 便 是 装载 因子 a 绝对 不 会 超过 1 。 

当然 ， 也 可 以 将 用 作 链 接 的 链表 存放 在 散 列表 未 用 的 槽 中 ( 见 练习 11. 2-4)， 但 开放 寻 址 法 的 
好 处 就 在 于 它 不 用 指针 ， 而 是 计算 出 要 存 取 的 槽 序列 。 于 是 ， 不 用 存储 指针 而 节省 的 空间 ， 使 得 
可 以 用 同样 的 空间 来 提供 更 多 的 槽 ， 洪 在 地 减少 了 冲突 ， 提 高 了 检索 速度 。 
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为 了 使 用 开放 寻 址 法 插入 一 个 元 素 ， 需 要 连续 地 检查 散 列表 ， 或 称 为 探查 (probe)， 直 到 找 
到 一 个 空 模 来 放置 待 插入 的 关键 字 为 止 。 检 查 的 顺序 不 一 定 是 0，1，…，m 一 1( 这 种 顺序 下 的 查 
找 时 间 为 8(n))， 而 是 要 依赖 于 待 插 入 的 关键 字 。 为 了 确定 要 探查 哪些 槽 ， 我 们 将 散 列 函 数 加 以 
扩充 ， 使 之 包含 探查 号 (从 0 开始 ) 以 作为 其 第 二 个 输入 参数 。 这 样 ， 散 列 函 数 就 变 为 : 


h:U X {0,1,°**,m— 1} =g {0,1,.… ,7 1} 
对 每 一 个 关键 字 &， 使 用 开放 寻 址 法 的 探查 序列 (probe sequence) 
(h(R,0) sh(Rs1)5°** ,hCRk»m— 1)) 


是 (0，1,，…，m 一 1) 的 一 个 排列 ， 使 得 当 散 列表 逐渐 填 满 时 ， 每 一 个 表 位 最 终 都 可 以 被 考虑 为 
用 来 插入 新 关键 字 的 槽 。 在 下 面 的 伪 代 码 中 ， 假 设 散 列 表 工 中 的 元 素 为 无 卫星 数据 的 关键 字 ; 
关键 字 等 同 于 包含 关键 字 & 的 元 素 。 每 个 槽 或 包含 一 个 关键 字 ， 或 包含 NIL( 如 果 该 槽 为 空 ) 。 
HASH-INSERT 过 程 以 一 个 散 列 表 全 和 一 个 关键 字 k 为 输入 ， 其 要 么 返回 关键 字 & 的 存储 槽 位 ， 
要 么 因为 散 列表 已 满 而 返回 出 错 标志 。 


HASH-INSERT(T,&) 
上 a=0 


3 j=h(k,i) 

4 if TG ]==NIL 

5 TU J]=k 

6 return j 

7 else i=i+1 

8 until i==m 

9 error “hash table overflow” 


查找 关键 字 的 算法 的 探查 序列 与 将 插入 时 的 算法 一 样 。 因 此 ， 查 找 过 程 中 磁 到 一 个 空 槽 
时 ， 查 找 算法 就 ( 非 成 功 地 ) 停 止 ， 因 为 如 果 & 在 表 中 ， 它 就 应 该 在 此 处 ， 而 不 会 在 探查 序列 随后 
的 位 置 上 (之 所 以 这 样 说 ， 是 假定 了 关键 字 不 会 从 散 列表 中 删除 ) 。 过 程 HASH-SEARCH 的 输入 
为 一 个 散 列表 工 和 一 个 关键 字 &， 如 果 槽 j 中 包含 了 关键 字 &， 则 返回 7); 如 果 & 不 在 表 荆 中 ， 则 
返回 NIL。 

HASH-SEARCH(T,&) 

1 i=0 

2 repeat 


3 

4 

5 return j 

6 i=i 十 1 

7 until T[j]==NIL or i==m 
8 return NIL 


从 开放 寻 址 法 的 散 列 表 中 删除 操作 元 素 比 较 困 难 。 当 我 们 从 槽 i 中 删除 关键 字 时 ， 不 能 仅 将 
NIL 置 于 其 中 来 标识 它 为 空 。 如 果 这 样 做 ， 就 会 有 问题 : 在 插入 关键 字 & 时， 发 现 权 i 被 占用 
了 ， 则 就 被 插入 到 后 面 的 位 置 上 ; 此 时 将 槽 i 中 的 关键 字 删 除 后 ， 就 无 法 检索 到 关键 字 k 了 。 
有 一 个 解决 办 法 ， 就 是 在 槽 i 中 置 一 个 特定 的 值 DELETED 替代 NIL 来 标记 该 槽 。 这 样 就 要 对 过 
程 HASH-INSERT 做 相应 的 修改 ， 将 这 样 的 一 个 槽 当做 空 槽 ， 使 得 在 此 仍然 可 以 插入 新 的 关键 
字 。 对 HASH-SEARCH 无 需 做 什么 改动 ， 因 为 它 在 搜索 时 会 绕 过 DELETED 标识 。 但 是 ， 当 我 
们 使 用 特殊 的 值 DELETED 时 ， 查 找 时 间 就 不 再 依赖 于 装载 因子 a 了 。 为 此， 在 必须 删除 关键 字 
的 应 用 中 ， 更 常见 的 做 法 是 采用 链接 法 来 解决 冲突 。 
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在 我 们 的 分 析 中 ， 做 一 个 均匀 散 列 (uniform hashing) 的 假设 ; 每 个 关键 字 的 探查 序列 等 可 
能 地 为 (0，1，…，m 一 1) 的 m! 种 排列 中 的 任 一 种 。 均 匀 散 列 将 前 面 定 义 过 的 简单 均匀 散 列 的 
概念 加 以 了 一 般 化 ， 推 广 到 散 列 函数 的 结果 不 只 是 一 个 数 ， 而 是 一 个 完整 的 探查 序列 。 然 而 ， 
真正 的 均匀 散 列 是 难以 实现 的 ， 在 实际 应 用 中 ， 常 常 采用 它 的 一 些 近 似 方法 (如 下 面 定 义 的 双 
重 散 列 等 ) 。 

有 三 种 技术 常用 来 计算 开放 寻 址 法 中 的 探查 序列 : 线性 探查 、 二 次 探查 和 双重 探查 。 这 几 种 
技术 都 能 保证 对 每 个 关键 字 &，(hR，0) ，jPCE，1) ，…，AP(R，m 一 1) 都 是 (0，1，…，m 一 1) 的 
一 个 排列 。 但 是 ， 这 些 技术 都 不 能 满足 均匀 散 列 的 假设 ， 因 为 它们 能 产生 的 不 同 探查 序列 数 都 不 
超过 zz 个 (均匀 散 列 要 求 有 m! 个 探查 序列 ) 。 在 三 种 技术 中 ， 双 重 散 列 产生 的 探查 序列 数 最 多 ， 


似乎 能 给 出 最 好 的 结果 。 

线性 探查 

给 定 一 个 普通 的 散 列 函数 h: U 一 {0，1，…，m 一 1}， 称 之 为 辅助 散 列 函数 (auxiliary hash 
function) ， 线 性 探查 (linear probing) 方 法 采用 的 散 列 函数 为 : 


h(k,i) = (h'(k) +i)modm, i=0,1,.,m—1 

给 定 一 个 关键 字 k HIRAM Th Ce)]， 即 由 辅助 散 列 函 数 所 给 出 的 槽 位 。 再 探查 槽 Th CR) +1), 
IKIE, HE Tin]. Aa, RS TL], TO], = ABV RAR MM T[h(&) 一 1]。 在 
线性 探查 方法 中 ， 初 始 探查 位 置 决定 了 整个 序列 ， 故 只 有 m 种 不 同 的 探查 序列 。 

线性 探查 方法 比较 容易 实现 ， 但 它 存 在 着 一 个 问题 ， 称 为 一 次 群集 (primary clustering). fifi 
着 连续 被 占用 的 槽 不 断 增加 ， 平 均 查 找 时 间 也 随 之 不 断 增加 。 和 群集 现象 很 容易 出 现 ， 这 是 因为 当 
一 个 空 权 前 有 i 个 满 的 槽 时， 该 空 槽 为 下 一 个 将 被 占用 的 概率 是 (i 十 1)/m。 连 续 被 占用 的 槽 就 会 
变 得 越 来 越 长 ， 因 而 平均 查找 时 间 也 会 越 来 越 大 。 


二 次 探查 
二 次 探查 (quadratic probing) 采 用 如 下 形式 的 散 列 函数 : 
hlk,i) = (h' (k) +c i+ ci modm (11.5) 
Hp h EARRA, ca 和 ci 为 正 的 辅助 常数 ，i 二 0，1，…，m 一 1。 初 始 的 探查 位 置 为 


TLh'(k)]， 后 续 的 探查 位 置 要 加 上 一 个 偏 移 量 ， 该 偏 移 量 以 二 次 的 方式 依赖 于 探查 序号 i。 这 种 
探查 方法 的 效果 要 比 线性 探查 好 得 多 ， 但是， 为 了 能 够 充分 利用 散 列 表 ，c, 、c; Alm 的 值 要 受到 
限制 。 思 考题 11-3 给 出 了 一 种 选择 这 几 个 参数 的 方法 。 此 外 ， 如 果 两 个 关键 字 的 初始 探查 位 置 相 
同 ， 那 么 它们 的 探查 序列 也 是 相同 的 ， 这 是 因为 h(k，0) 二 h(k,，0) 蕴 涵 着 hk, 让 二 h(k,, i). 
这 一 性 质 可 导致 一 种 轻 度 的 群集 ， 称 为 二 次 群集 (secondary clustering)。 像 在 线性 探查 中 一 样 ， 
初始 探查 位 置 决定 了 整个 序列 ， 这 样 也 仅 有 m 个 不 同 的 探查 序列 被 用 到 。 

双重 散 列 

双重 散 列 (double hashing) 是 用 于 开放 寻 址 法 的 最 好 方法 之 一 ， 因 为 它 所 产生 的 排列 具有 随 
机 选择 排列 的 许多 特性 。 双 重 散 列 采用 如 下 形式 的 散 列 函数 : 

h(k,i) = (h, (k) + ih: (k))modm 

JEP hy Mh, 均 为 辅助 散 列 函数 。 初 始 探 查 位 置 为 TLh,(k)]， 后 续 的 探查 位 置 是 前 一 个 位 置 加 上 
偏 移 量 h, (8) 模 mw。 因 此 ， 不 像 线 性 探查 或 二 次 探查 ， 这 里 的 探查 序列 以 两 种 不 同方 式 依赖 于 关 
键 字 &， 因 为 初始 探查 位 置 、 偏 移 量 或 者 二 者 都 可 能 发 生变 化 。 图 11-5 给 出 了 一 个 使 用 双重 散 列 
法 进行 插入 的 例子 。 

为 了 能 查找 整个 散 列表 ， 值 h,(&) 必 须要 与 表 的 大 小 m 互 素 ( 见 练习 11. 4-4) 。 有 一 种 简便 的 
方法 确保 这 个 条 件 成 立 ， 就 是 取 mA 2 的 宕 ， 并 设计 一 个 总 产生 奇数 的 h,。 另 一 种 方法 是 取 m 
为 素数 ， 并 设计 一 个 总 是 返回 较 m 小 的 正 整数 的 函数 h,。 例 如 ， 我 们 可 以 取 m 为 素数 ， 并 取 
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hı (k) = k modm,h, (k) = 1+ (kmodm’') 
其 中 mm 略 小 于 mx( 比 如 ，m 一 1)。 例 如 ， 如 果 
k=123 456, m=701, m’=700, WA h (A= 
80，hs(k) 二 257， 可 知 我 们 的 第 一 个 探查 位 置 
为 80， 然 后 检查 每 第 257 SAY CHE m), EL BUFR 
到 该 关键 字 ， 或 者 遍历 了 所 有 的 槽 。 
4m 为 素数 或 者 2 的 寡 时 ， 双 重 散 列 法 中 
用 到 了 Bm ) 种 探查 序列 ， 而 线性 探查 或 二 次 
探查 中 用 了 @(xz) 种 ， 故 前 者 是 后 两 种 方法 的 一 
种 改进 。 因 为 每 一 对 可 能 的 (h(k)，h,(k)) 都 
会 产生 一 个 不 同 的 探查 序列 。 因 此 ， 对 于 m 的 
每 一 种 可 能 取 值 ， 双 重 散 列 的 性 能 看 起 来 就 非 
常 接近 “理想 的 ”均匀 散 列 的 性 能 。 





11-5 双重 散 列 法 的 插入 。 此 处 ， 散 列表 的 大 小 


尽管 除 素数 和 2 的 等 以 外 的 mm 值 在 理论 上 为 13, hı (k) =k mod 13, hz (k) 二 1 十 
也 能 用 于 双重 散 列 中 ,但 是 在 实际 中 ， 要 高 效 (kmod11)。 因 为 14 三 1(mod13)， 且 14= 
地 产生 hs(k) 确 保 使 其 与 m 互 素 ,将 变 得 更 加 3(mod11) ， 故 在 探查 了 槽 MAS, FRN 
困难 。 部 分 原因 是 这 些 数 的 相对 密度 $m)/m 它们 被 占用 后 ， 关 键 字 14 被 插入 到 槽 9 中 
可 能 较 小 ( 见 公式 (31. 24) ) 。 

开放 寻 址 散 列 的 分 析 


像 在 链接 法 中 的 分 析 一 样 ， 开 放 寻 址 法 的 分 析 也 是 以 散 列 表 的 装载 因子 a= n/m 来 表达 的 。 
当然 ， 使 用 开放 寻 址 法 ， 每 个 槽 中 至 多 只 有 一 个 元 素 ， 因 而 nm, BRAE <1. 

假设 采用 的 是 均匀 散 列 。 在 这 种 理想 的 方法 中 ， 用 于 插 人 或 查找 每 一 个 关键 字 的 探查 序列 
(hlk, 0), h(k, 1), s+, h(k, m—1)) 等 可 能 地 为 (0，1，…，7 一 1 的 任意 一 种 排列 。 当 然 ， 
每 一 个 给 定 的 关键 字 有 其 相应 的 唯一 固定 的 探查 序列 。 我 们 这 里 想 说 的 是 ， 考 虑 到 关键 字 空间 
上 的 概率 分 布 及 散 列 函数 施 于 这 些 关键 字 上 的 操作 ， 每 一 种 探查 序列 都 是 等 可 能 的 。 

现在 就 来 分 析 在 均匀 散 列 的 假设 下 ， 用 开放 寻 址 法 来 进行 散 列 时 探查 的 期 望 次 数 。 先 来 分 
析 一 次 不 成 功 查找 时 的 探查 次 数 。 

定理 11.6 给 定 一 个 装载 因子 为 c=n/m<1 的 开放 寻 址 散 列 表 ， 并 假设 是 均匀 散 列 的 ， 则 
对 于 一 次 不 成 功 的 查找 ， 其 期 望 的 探查 次 数 至 多 为 1/(1 一 a) 。 

证 明 在 一 次 不 成 功 的 查找 中 ， 除 了 最 后 一 次 探查 ， 每 一 次 探查 都 要 检查 一 个 被 占用 但 并 
不 包含 所 求 关 键 字 的 槽 ， 最 后 检查 的 槽 是 空 的 。 先 定义 随机 变量 X 为 一 次 不 成 功 查 找 的 探查 次 
数 ， 再 定义 事件 A; (i 二 1，2，…) 为 第 i 次 探查 且 探 查 到 的 是 一 个 已 经 被 占用 的 柳 。 那 么 ， 事件 
{X 宇 让 即 为 事件 Ai 门 A; 门 … 门 Ai;_1 的 交集 。 下 面 通过 给 出 Pr{Ai 门 A; 门 … 门 Ai1) 的 界 来 得 到 
Pr( XSi WA. MHA C. 2-5， 有 

Pr{A, N A; N Sey N An? = Pr{A,} s Pr{A, | A,} : Pr{A; | A, N Az Se 
Pr{A;,| A; N Az N = N A} 

HFA n SICK A m 个 槽 ， 所 以 Pr(A )=n/m, MF I>1, 在 前 j 一 1 KRABI MAES hi A 
的 前 提 下 ， 第 7 次 探查 且 探 查 到 的 仍 是 已 占用 槽 的 概率 是 (一 7 十 1)/(m 一 7 十 1) 。 这 是 因为 要 在 
(m 一 (j 一 1)) 个 未 探查 的 槽 中 ， 查 找 余 下 的 (n 一 (一 1)) 个 元 素 中 的 某 一 个 。 由 均匀 散 列 的 假设 
知 ， 这 一 概率 为 这 两 个 量 的 比值 。 注 意 到 n 二 m， 对 于 所 有 JOS <m), WRAN) mj 
n/m。 于 是 ， 对 所 有 id<i<m), & 


voan n=l n=? AiE ny EEE 
Pr(X >i) = a A ES ee) =g 
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现在 ， 再 利用 公式 (C. 25) 来 得 出 探查 期 望 数 的 界 : 
FLX] = P(X Di < Yet = Ye =, 

1/(1 一 @)= 二 1 十 a 十 @ 十 w 十 … 的 这 个 界 有 一 个 直观 的 解释 。 无 论 如 何 ， 总 要 进行 第 一 次 探 
查 。 第 一 次 探查 发 现 的 是 一 个 已 占用 的 槽 时 ， 必 须要 进行 第 二 次 探查 ， 进 行 第 二 次 探查 的 概率 大 
约 为 c。 前 两 次 探查 所 发 现 的 槽 均 是 已 占用 时 ， 需 要 进行 第 三 次 探查 ， 进 行 第 三 次 探查 的 概率 大 
约 为 a ， 等 等 。 

如 果 a 是 一 个 常数 ， 由 定理 11.6 可 知 ， 一 次 不 成 功 查找 的 运行 时 间 为 0(1)。 例 如 ， 如 果 散 
列表 一 半 是 满 的 ， 一 次 不 成 功 查找 的 平均 探查 数 至 多 是 1/(1 一 0.5) 二 2。 如 果 散 列表 是 90% 满 
的 ， 则 平均 探查 数 至 多 为 1/(1 一 0.9) 王 10。 

根据 定理 11.6， 几 乎 直接 可 以 得 到 HASH-INSERT 过 程 的 性 能 。 

推论 11.7 假设 采用 的 是 均匀 散 列 ， 平 均 情况 下 ， 向 一 个 装载 因子 为 a 的 开放 寻 址 散 列 表 
中 插入 一 个 元 素 至 多 需要 做 1/(1 一 a) 次 探查 。 

证 明 只 有 当 表 中 有 空 槽 时 ， 才 可 以 插入 新 元 素 ， 故 a 二 1。 插 入 一 个 关键 字 要 先 做 一 次 不 成 
功 的 查找 ， 然 后 将 该 关键 字 置 和 人 第 一 个 遇 到 的 空 槽 中 。 所 以 ， 期 望 的 探查 次 数 至 多 为 1/(1 一 c) 。 国 

对 于 一 次 成 功 的 查找 ， 需 要 稍 做 一 些 工 作 来 得 到 探查 的 期 望 次 数 。 

定理 11.8 对 于 一 个 装载 因子 为 a 二 1 的 开放 寻 址 散 列 表 ， 一 次 成 功 查找 中 的 探查 期 望 数 至 
多 为 





Lin l 


a l~g 
假设 采用 均匀 散 列 ， 且 表 中 的 每 个 关键 字 被 查找 的 可 能 性 是 相同 的 。 

证 明 ERREF k 的 探查 序列 与 插入 关键 字 为 & 的 元 素 的 探查 序列 是 相同 的 。 根 据 推论 
11.7， 如 果 & 是 第 (十 1) 个 被 插入 表 中 的 关键 字 ， 则 对 &A 的 一 次 查找 中 ， 探 查 的 期 望 次 数 至 多 为 
1/(1 一 i/m) 王 m/《(m 一 i)。 对 散 列表 中 所 有 n 个 关键 字 求 平均 ， 则 得 到 一 次 成 功 查 找 的 探查 期 望 
次 数 为 : 





DA is i <2)" adr (由 不 等 式 (A. 12)) 


In = 一 ln a 


如 果 散 列表 是 半 满 的 ， 则 一 次 成 功 的 查找 中 ， 探 查 的 期 望 数 小 于 1. 387。 如 果 散 列表 为 90% 
满 的 ， 则 探查 的 期 望 数 小 于 2. 559。 


练习 


11.4-1 考虑 用 开放 寻 址 法 将 关键 字 10、22、31、4、15、28、17、88、59 插入 到 一 长 度 为 m= 
11 的 散 列 表 中 ， 辅 助 散 列 函数 为 h'(k) 一 &。 试 说 明 分 别 用 线性 探查 、 二 次 探查 (c =l, 
cz 二 3) 和 双重 散 列 (hi(k) 二 k，hs(k) 二 1 十 (k mod(m 一 1))) 将 这 些 关 键 字 插入 散 列表 的 
过 程 。 

11.4-2 试 写 出 HASH-DELETE 的 伪 代 码 ; 修改 HASH-INSERT, 使 之 能 处 理 特殊 值 
DELETED, 

11. 4-3 考虑 一 个 采用 均匀 散 列 的 开放 寻 址 散 列 表 。 当 装载 因子 为 3/4 和 7/8 时 ， 试 分 别 给 出 一 
次 不 成 功 查找 和 一 次 成 功 查找 的 探查 期 望 数 上 界 。 

*11.4-4 ”假设 采用 双重 散 列 来 解决 冲突 ， 即 所 用 的 散 列 函数 为 h(k, i)= (hi(k) 十 ihs(k))modm。 

WHER: 如 果 对 某 个 关键 字 &，z 和 h,(k) 有 最 大 公约 数 d 宇 1， 则 在 对 关键 字 上 的 一 次 
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不 成 功 查 找 中 ， 在 返回 模 h(k) 之 前 ， 要 检查 散 列表 中 第 (1/d) 个 元 素 。 于 是 ， 当 4 一 1 
时 ，m 与 hs(k) 互 素 ， 查 找 操 作 可 能 要 检查 整个 散 列表 。( 提 示 : 见 第 31 章 。) 

*11.4-5 ”考虑 一 个 装载 因子 为 a 的 开放 寻 址 散 列表 。 找 出 一 个 非 零 的 a 值 ， 使 得 一 次 不 成 功 查 找 
的 探查 期 望 数 是 一 次 成 功 查 找 的 探查 期 望 数 的 2 倍 。 这 两 个 探查 期 望 数 可 以 使 用 定理 
11. 6 和 定理 11. 8 中 给 定 的 上 界 。 


“11.5 ZERI 


使 用 散 列 技术 通常 是 个 好 的 选择 ， 不 仅 是 因为 它 有 优异 的 平均 情况 性 能 ， 而 且 当 关键 字 集 
合 是 静态 (static) 时 ， 散 列 技术 也 能 提供 出 色 的 最 坏 情 况 性 能 。 所 谓 静态 ， 就 是 指 一 旦 各 关键 字 
存 人 表 中 ， 关 键 字 集合 就 不 再 变化 了 。 一 些 应 用 存在 着 天 然 的 静态 关键 字 集 合 ， 如 程序 设计 语言 
中 的 保留 字 集 合 , 或 者 CDROM 上 的 文件 名 集合 。 一 种 散 列 方法 称 为 完全 散 列 (perfect 
hashing) ， 如 果 该 方法 进行 查找 时 ， 能 在 最 坏 情 况 下 用 O(1) 次 访 存 完成 。 

我 们 采用 两 级 的 散 列 方法 来 设计 完全 散 列 方案 ， 在 每 级 上 都 使 用 全 域 散 列 。 图 11-6 描述 了 
该 方法 。 





11-6 ”利用 完全 散 列 技术 来 存储 关键 字 集 合 K 二 {10，22，37，40，52，60，70，72，75}。 外 层 的 散 列 
PABA h(k)=((ak+b)mod p)modm, XÆ a=3, 6=42, p=101, m=9. Hid, AC75)=2, A 
此 ， 关 键 字 75 散 列 到 表 THR 2 中 。 一 个 二 级 散 列 表 S 中 存储 了 所 有 散 列 到 槽 j 中 的 关键 字 。 
散 列表 S 的 大 小 为 mj = 二 台 ， 并 且 相 关 的 散 列 函 数 为 hy (k) = (Cask +6; ) mod p) modm;. AA 
ha《75) 二 7， 故 关键 字 75 被 存储 在 二 级 散 列表 S: 的 槽 7 中。 二 级 散 列表 没有 冲突 ， 因 而 查找 操作 
在 最 坏 情 况 下 所 需 的 时 间 为 常数 


第 一 级 与 带 链接 的 散 列表 基本 上 是 一 样 的 : 利用 从 某 一 全 域 散 列 函 数 复 中 仔细 选 出 的 一 个 
散 列 函数 h， 将 n 个 关键 字 散 列 到 xm 个 槽 中 。 

然而 ， 我 们 采用 了 一 个 较 小 的 二 次 散 列表 (secondary hash table)S; 及 相关 的 散 列 函数 h;， 而 
不 是 将 散 列 到 槽 ; 中 的 所 有 关键 字 建 立 一 个 链表 。 利 用 精心 选择 的 散 列 函 数 h， 可 以 确保 在 第 二 
级 上 不 出 现 冲突 。 

但 是 ， 为 了 确保 在 第 二 级 上 不 出 现 冲突 ， 需 要 让 散 列 表 S 的 大 小 mj 为 散 列 到 槽 7/ 中 的 关键 
字数 nj; 的 平方 。 尽 管 m 对 nj; 的 这 种 二 次 依赖 看 上 去 可 能 使 得 总 体 存储 需求 很 大 ， 但 我 们 会 在 
后 面 说 明 ， 通 过 适当 地 选择 第 一 级 散 列 函数 ， 可 以 将 预期 使 用 的 总 体 存储 空间 限制 为 O(n)。 

我 们 采用 的 散 列 函 数 是 选 自 11. 3. 3 节 中 的 全 域 散 列 函 数 类 。 第 一 级 散 列 函 数 选 自 类 pm， 
其 中 是 一 个 比 任何 关键 字 值 都 要 大 的 素数 ( 见 11. 3. 3 节 )。 那 些 散 列 到 槽 | 中 的 关键 字 通 过 利 
用 一 个 从 类 :wm 中 选 出 的 散 列 函数 应 ， 被 重新 散 列 到 一 个 大 小 为 m 的 二 次 散 列 表 S; 中 。9 


O 当 六 = 由 一 1 时， 我 们 并 不 是 真 的 需要 为 槽 j 选 择 一 个 散 列 函数 ， 当 为 这 样 的 槽 选择 一 个 散 列 函数 hay (k) = 
(Cak+b)mod p)modm; 时 ， 我 们 也 只 是 用 了 a 一 5 一 0。 
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下 面 分 两 步 进行 。 首 先 ， 要 确定 如 何 才 能 保证 第 二 级 散 列表 中 不 发 生 冲 突 。 其 次 ， 要 说 明 使 
用 总 体 存储 空间 的 期 望 数 为 O(n)， 这 里 包括 主 散 列表 和 所 有 的 二 级 散 列 表 所 占 的 空间 。 

定理 11.9 如 果 从 一 个 全 域 散 列 函 数 类 中 随机 选 出 散 列 防 数 h， 将 n 个 关键 字 存 储 在 一 个 大 
小 为 m 二 mw 的 散 列 表 中 ， 那 么 表 中 出 现 冲突 的 概率 小 于 1/2, 


证 明 共有 ( >) 对 关键 字 可 能 发 生 冲突 ;如果 记 是 从 一 个 全 域 散 列 函 数 类 和 中 随机 选 出 ， 那 


么 每 一 对 关键 字 冲 突 的 概率 为 1/m。 设 XX 是 一 个 统计 冲突 次 数 的 随机 变量 。 当 m 王 ww 时 ， 期 望 
的 冲突 次 数 为 : 





EN T= ee Ed 
Exe) a= 2 


(注意 ， 这 里 的 分 析 类 似 于 5.4.1 节 中 关于 生日 悖 论 的 分 析 。) 再 运用 马尔 可 夫 不 等 式 (C. 30)， 
Pr{ XS>t})<ELX]/t, 将 t=1 代入 ， 即 完成 证 明 。 a 

在 定理 11. 9 所 描述 的 情形 ( 即 m= 二 ww) 中 ， 对 于 一 个 从 ZK 中 随机 选 出 的 散 列 函 数 h， 较 有 可 能 
不 发 生 冲 突 。 给 定 待 散 列 的 包含 ”个 关键 字 的 集合 天 (注意 K 是 静态 的 )， 只 需 几 次 随机 的 尝试 ， 
就 能 比较 容易 地 找 出 一 个 没有 冲突 的 散 列 函数 hh。 

但 当 比较 大 时 ， 一 个 大 小 为 mEn 的 散 列表 还 是 很 大 的 。 因 此 ， 我 们 采用 两 级 散 列 方法 ， 
并 利用 定理 11. 9 中 的 做 法 ， 对 每 个 槽 中 的 关键 字 仅 进行 一 次 散 列 。 一 个 外 层 的 (或 称 为 第 一 级 
的 ) 散 列 函 数 h FAR EH BB mn SAP. BBA, WRA n 个 关键 字 被 散 列 到 了 槽 7 
中 ， 可 以 用 一 个 大 小 为 m=i RB S; 来 提供 无 冲突 的 常数 时 间 查 找 。 

现在 再 来 看 看 如 何 确 保 所 用 总 体 存 储 空间 为 O(n) 的 问题 。 由 于 第 j 个 二 级 散 列表 的 大 小 m; 
以 所 存储 的 关键 字数 nj 的 平方 方式 增长 ， 因 而 存在 着 这 样 一 种 风险 ， 即 所 需 的 总 体 存储 空间 量 
可 能 会 很 大 。 

如 果 第 一 级 散 列表 的 大 小 为 m 二 nx， 则 用 于 存储 主 散 列表 、 大 小 为 mj 的 二 级 散 列 表 ， 以 及 用 
于 存储 二 次 散 列 函数 的 参数 a; Hb Ca Alb; 定义 取 自 11. 3.3 PRH om 的 二 次 散 列 函 数 亡 ， 
对 于 nj 二 1 和 a=b=0 除外 ) 的 存储 空间 总 量 为 O(n)。 下 面 的 定理 和 一 个 推论 给 出 了 所 有 二 级 散 
列表 的 大 小 加 起 来 后 的 期 望 值 的 界 。 第 二 个 推论 给 出 了 所 有 二 级 散 列 表 的 大 小 加 起 来 后 超过 线 
性 时 的 概率 的 一 个 上 界 ( 实 际 上 ， 后 面 的 证 明 中 ， 超 过 线性 是 指 等 于 或 大 于 4n). 

定理 11. 10 如 果 从 某 一 个 全 域 散 列 函数 类 中 随机 选 出 散 列 函数 hhh， 用 它 将 nn 个 关键 字 存 储 
到 一 个 大 小 为 m= 二 n 的 散 列 表 中 ， 则 有 


EL St ]< 2n 
这 里 nn ARAM] 中 的 关键 字数 。 
证 明 我 们 从 下 面 的 恒等式 开始 ， 这 个 等 式 对 任何 非 负 的 整数 a 成 立 : 


a 
metal) (11.6) 
于 是 ， 有 
BY] e| S (e +2(%)) | (由 式 (11.6)) 


= [$n J| 55 (%)] (由 期 望 的 线性 性 ) 


= E[n)+2e| $5 (%) | (由 式 (11. 1)) 


j=0 
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= „+| $ (”)] (因为 nn 不 是 一 个 随机 变量 ) 


j=0 


为 了 计算 和 式 È (7) ， 注 意 到 它 正 是 散 列 表 中 发 生 冲突 的 关键 字 的 总 对 数 。 根 据 全 域 散 列 
性 质 ， 这 一 和 式 的 期 望 值 至 多 为 





E) Ay LE aaa D ad 
m 





2 2m 2 
AA m=n, F 
[E]n = 2n—1 < 2n m 
推论 11. 11 如 果 从 某 一 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 h， 用 它 将 n 个 关键 字 存 储 到 


一 个 大 小 为 m 二 nn 的 散 列 表 中 ， 并 将 每 个 二 次 散 列 表 的 大 小 设置 为 7 一 好 (7 一 0， 1, oy m—l), 
则 在 一 个 完全 散 列 方案 中 ， 存 储 所 有 二 次 散 列 表 所 需 的 存储 总 量 的 期 望 值 小 于 2n。 
证 明 因为 m,=ni (j=0, l, i m—1l); 由 定理 11. 10 给 出 


E[ Sim, ]= ELS ]< 2n (11.7) 
证 毕 。 a 
推论 11. 12 如果 从 某 一 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 户 ， 用 它 将 于 个 关键 字 存储 到 
一 个 大 小 为 m 二 n 的 散 列 表 中 ， 并 将 每 个 二 级 散 列 表 的 大 小 置 为 m, =n} (j=0, dig es: m—1l1), 
则 用 于 存储 所 有 二 级 散 列表 的 存储 总 量 等 于 或 大 于 4n 的 概率 小 于 1/2, 
证 明 再 应 用 马尔 可 夫 不 等 式 (C. 30), BY Pr(X>t}<<E[X]/t。 并 将 X = Sim 和 t=4n 代 
人 不 等 式 (11.7): 
m~l EL Ym] 2n 


Pr{ Dim, > 4n) < 2< n] 5 


从 推论 11. 12 可 以 看 出 ， 只 需 从 全 域 散 列 函数 类 中 随机 选 出 几 个 散 列 函数 ， 尝 试 几 次 就 可 以 
快速 地 找到 一 个 所 需 存储 量 较 为 合理 的 函数 。 


练习 


*11.5-1 假设 采用 了 开放 寻 址 法 和 均匀 散 列 技术 将 n 个 关键 字 插 入 到 一 个 大 小 为 m 的 散 列表 中 。 
设 p(n, m) 为 没有 冲突 发 生 的 概率 。 试 证 明 : p(n, mye", CRF: 见 


RC. 12)。) 论 证 当 n 超 过 Ym 时 ， 不 发 生 冲 突 的 概率 快速 趋 于 0。 





思考 题 
11-1 〈 散 列 最 长 探查 的 界 ) 采用 开放 寻 址 法 ， 用 一 个 大 小 为 m 的 散 列表 来 存储 n(n<m/2) 个 数 
据 项 目 。 
a. 假设 采用 均匀 散 列 ， 证 明 : 对 于 i 二 1]，2，…，n, 第 i 次 插入 需要 严格 多 于 次 探查 的 
概率 至 多 为 2“。 


b. WHH: XF i=l, 2, 0, n, 第 i 次 插入 需要 多 于 2 len 次 探查 的 概率 为 O(1/n)。 
设 随 机 变量 X: 表示 第 i 次 插入 所 需 的 探查 次 数 。 在 上 面 (b) 中 已 证 明 Pr{ X;>2 Ign} = 
O(1/zw)。 设 随机 变量 X=maxX, 表示 n 次 插入 中 所 需 探查 数 的 最 大 值 。 


11-2 


11-3 


11-4 
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c WEAR: Pr{X>2lgn}=OQ/n). 
d. 证 明 : 最 长 探查 序列 的 期 望 长 度 为 ELzj 一 O(lg7) 。 
(链接 法 中 槽 大 小 的 界 ) 假设 有 一 个 含 ”个 槽 的 散 列表 ， 向 表 中 插 和 人 对 个 关键 字 ， 并 用 链 
接 法 来 解决 冲突 问题 。 每 个 关键 字 被 等 可 能 地 散 列 到 每 个 槽 中 。 所 有 关键 字 被 插入 后 ， 设 
M 是 各 槽 中 所 含 关 键 字数 的 最 大 值 。 读 者 的 任务 是 证 明 M 的 期 望 值 ELMJ 的 一 个 上 界 
HOU gn/l_glg n). 
a. 证 明 ， 正 好 有 上 个 关键 字 被 散 列 到 某 一 特定 槽 中 的 概率 Q, 为 
上 
b. 设 P 为 M 一 & 的 概率 ， 即 包含 最 多 关键 字 的 槽 中 有 个 关键 字 的 概率 。 证 明 : 
P,<nQ.. 
e 应 用 斯 特 林 近似 公式 (3. 18) 来 证 明 : QÁ k 
d. 证 明 : 存在 常数 >l, 使 得 Q, 二 1/7 对 如 二 clgn/lglgn 成 立 。 并 有 结论 : 对 kk = 
clgn/Iglgn, Py<1/n’ RL. 
e. 证 明 : 
ELM] <Pr{M> G8" }.n+Pr{M< £8" |. Es 
并 有 结论 : ELM] 二 Ol(lgn/lglg n). 
(二 次 探查 ) ”假设 要 在 一 个 散 列 表 ( 表 中 的 各 个 位 置 为 0，1，…，m 一 1) 中 查找 关键 字 &， 
并 假设 有 一 个 散 列 函数 将 关键 字 空 间 映 射 到 集合 {0，1，…，m 一 1} 上 ， 查 找 方法 如 下 : 
1. 计算 值 j=h(k)， 置 ;一 0。 
2. 探查 要 找 的 关键 字 & 的 位 置 7 ， 或 者 找到 了 ， 或 者 该 位 置 为 空 ， 并 结束 查找 。 
3. 置 i=i 十 1。 如 果 i 二 m， 则 表 已 满 ， 于 是 终止 探查 ; 否则 , 设 j 二 (i 十 j)modm， 返 回 到 
步骤 2。 
{BRL m JE 2 HE. 
a. 通过 给 出 等 式 (11.5) 中 c 和 cz 的 适当 值 ， 来 证 明 该 方案 是 一 般 的 “二 次 探查 ”法 的 一 个 
实例 。 
b. WH: 在 最 坏 情 况 下 ， 这 个 算法 要 检查 表 中 的 每 一 个 位 置 。 . 
( 散 列 和 认证 ) 设 为 一 个 散 列 函数 类 ， 其 中 的 每 个 散 列 函数 AE RK 将 关键 字 全 域 U 映射 
到 {0，1，…，m 一 1} 上 。 我 们 称 .XK 是 全 域 的 (k-universal)， 如 果 对 每 个 由 个 不 同 的 关 
PEF ic, 2, or, co ) 构 成 的 固定 序列 ， 以 及 从 ZK 中 随机 选 出 的 任意 散 列 函 数 h， 序 列 
《h(x ), ACe™), oe, AC )) 是 mt 个 长 度 为 的 序列 (其 元 素 取 自 {0，1,，…，m 一 1)) 
中 任意 一 个 的 可 能 性 相同 。 
a. 证 明 : 如 果 散 列 函数 簇 ZK 是 2 全 域 的 ， 则 它 是 全 域 的 。 
b. 设 全 域 为 取 自 Z 二 {0，1，…，p 一 1} 中 数值 的 元 组 集合 ， 此 处 p 为 素数 。 考 虑 元 
K z 一 (zo， Re, Bei) ECU, 对 于 任意 的 nn 元 组 a 二 (ao， ajs y EU, 定义 散 
列 函 数 刀 为 


h(x) = (Saz,) modp 


FFRH={h,}. WH: ASR, (ARE 2 全 域 的 。( 提 示 : 寻找 一 个 关键 字 ， 使 得 7 
中 所 有 散 列 函数 对 其 都 得 到 相同 的 值 .) 
e 假设 将 (b) 中 的 光 略 作 修 改 : 对 任意 的 aEU 和 任意 的 5EZ， 定 义 
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wl 
h'a (z) = ( X a;z; +6) modp 
j=0 


是 XK'=={h'。s}。 论 证 K' 是 2 全域 的 。( 提 示 : 考虑 固定 的 n 元 组 xzEU 和 yEU， 对 某 个 i 
有 LiF Yio 当 Qi Alb 包括 Z, 时 ， Ra (x) FI h'a Aina?) 

d. 假设 Alice 和 Bob 悄悄 地 约定 了 一 个 取 自 2 EREN PR EFC P HB PBA. FET hE 
天 将 关键 字 全 域 U 映射 到 Z 上， 此 处 为 素数 。 后 来 ，Alice 通 过 互联 网 向 Bob 发 送 了 
一 个 消息 m， 其 中 mEU。 她 同时 还 通过 发 送 一 个 认证 标记 t 王 h(m) 来 向 Bob 认证 这 一 
WE, m Bob 则 要 检查 他 所 接收 到 的 (xm，) 对 是 否 确 实 满足 :二 hm)。 假 设 某 一 对 手 半 
路 中 截获 了 (m，t) ， 并 试图 将 该 值 对 替换 为 另 一 值 对 Cm" ，1') 来 欺骗 Bob。 论 证 无 论 该 
对 手 的 计算 机 性 能 多 好 ， 他 成 功 地 欺骗 Bob 接受 (m'，z) 的 概率 至 多 为 1/p， 即 使 他 知 

道 所 用 的 散 列 函数 簇 。 


本 章 注 记 

在 有 关 散 列 算法 的 分 析 书 籍 中 ，Knuth[211] 和 Gonnet[145] 都 是 很 好 的 参考 书 。Knuth 认 
X, H. P. Luhn(1953) 首 先 提 出 了 散 列 表 技 术 ， 以 及 用 于 解决 冲突 的 链接 方法 。 在 大 约 相同 的 时 
间 ，G. M. Amdahl 首先 提出 了 开放 寻 址 法 的 思想 。 

Carter 和 Wegman[ 58] 于 1979 年 引入 了 全 域 散 列 函数 类 的 概念 。 

Fredman, Komlós 和 Szemeredi[112] 针 对 静态 关键 字 集 合 ( 见 11.5 节 )， 提 出 了 完全 散 列 方 
案 。Dietzfelbinger 等 人 [86j 后 来 又 将 这 一 方法 扩展 至 动态 关键 字 集合 上 ， 其 处 理 插 入 和 删除 操作 

的 摊 还 期 望 时 间 为 OA). 
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二 又 搜索 树 


搜索 树 数 据 结 构 支 持 许多 动态 集合 操作 ， 包 括 SEARCH, MINIMUM, MAXIMUM, 
PREDECESSOR, SUCCESSOR, INSERT 和 DELETE 等 。 因 此 ， 我 们 使 用 一 棵 搜索 树 既 可 以 作 
为 一 个 字典 又 可 以 作为 一 个 优先 队列 。 

二 又 搜索 树 上 的 基本 操作 所 花费 的 时 间 与 这 棵 树 的 高 度 成 正比 。 对 于 有 个 结 点 的 一 棵 完全 
二 叉 树 来 说 ， 这 些 操作 的 最 坏 运行 时 间 为 8(lgn)。 然 而 ， 如 果 这 棵 树 是 一 条 n 个 结 点 组 成 的 线 
性 链 ， 那 么 同样 的 操作 就 要 花费 @(n) 的 最 坏 运行 时 间 。 在 12.4 节 中 ,我 们 将 看 到 一 棵 随机 构造 
的 二 又 搜索 树 的 期 望 高 度 为 Ol(lgn)， 因 此 这 样 一 棵 树 上 的 动态 集合 的 基本 操作 的 平均 运行 时 间 
是 @(lgn)。 

实际 上 ， 我 们 并 不 能 总 是 保证 随机 地 构造 二 叉 搜 索 树 ， 然 而 可 以 设计 二 叉 搜索 树 的 变 体 ， 来 
保证 基本 操作 具有 好 的 最 坏 情 况 性 能 。 第 13 章 给 出 了 一 个 这 样 的 变形 ， 即 红 黑 树 ， 它 的 树 高 为 
O(lgn)。 第 18 章 将 介绍 B 树 ， 它 特别 适用 于 二 级 (磁盘 ) 存 储 器 上 的 数据 库 维护 。 

在 给 出 二 叉 搜索 树 的 基本 性 质 之 后 ， 随 后 几 节 介绍 如 何 遍 历 一 棵 二 叉 搜 索 树 来 按 序 输出 各 
个 值 ， 如 何在 一 棵 二 又 搜索 树 上 查找 一 个 值 ， 如 何 查 找 最 小 或 最 大 元 素 ， 如 何 查找 一 个 元 素 的 前 
驱 和 后 继 ， 以 及 如 何 对 一 棵 二 叉 搜 索 树 进行 插入 和 删除 。 树 的 这 些 基本 数学 性 质 见 附录 Bo 


12.1 什么 是 二 叉 搜索 树 

顾名思义 ， 一 棵 二 叉 搜索 树 是 以 一 棵 二 又 树 来 组 织 的 ， 如 图 12-1 所 示 。 这 样 一 棵 树 可 以 使 
用 一 个 链表 数据 结构 来 表示 ， 其 中 每 个 结 点 就 是 一 个 对 象 。 除 了 key 和 卫星 数据 之 外 ， 每 个 结 点 
还 包含 属性 left. right 和 尹 ， 它 们 分 别 指向 结 点 的 左 孩子 、 右 孩子 和 双亲 。 如 果 某 个 孩子 结 点 和 
父 结 点 不 存在 ， 则 相应 属性 的 值 为 NIL。 根 结 点 是 树 中 唯一 父 指针 为 NIL 的 结 点 。 


©) 








(a) 


12-1 二 又 搜索 树 。 对 任何 结 点 zx， 其 左 子 树 中 的 关键 字 最 大 不 超过 x. key， 其 右 子 树 中 的 关键 字 最 小 不 
IEF z. eey。 不 同 的 二 又 搜索 树 可 以 代表 同一 组 值 的 集合 。 大 部 分 搜索 树 操作 的 最 坏 运行 时 间 与 树 
的 高 度 成 正比 。(a) 一 棵 包含 6 个 结 点 、 高 度 为 2 的 二 叉 搜 索 树 。(b) 一 棵 包含 相同 关键 字 、 高 度 
为 4 的 低 效 二 又 搜索 树 


二 叉 搜索 树 中 的 关键 字 总 是 以 满足 二 又 搜索 树 性 质 的 方式 来 存储 : 
设 工 是 二 又 搜索 树 中 的 一 个 结 点 。 如 果 y 是 工 左 子 树 中 的 一 个 结 点 ， 那 么 y. keys 
ZX. key。 如 果 y 是 工 右 子 树 中 的 一 个 结 点 ， 那 么 y key 宇 x. key。 
因此 ， 在 图 12-1(a) 中 ， 树 根 的 关键 字 为 6， 在 其 左 子 树 中 有 关键 字 2、5 和 5， 它们 均 不 大 于 6; 
而 在 其 右 子 树 中 有 关键 字 7 和 8， 它们 均 不 小 于 6。 这 个 性 质 对 树 中 的 每 个 结 点 都 成 立 。 例 如 ， 
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树 根 的 左 孩子 为 关键 字 5， 不 小 于 其 左 子 树 中 的 关键 字 2 并 且 不 大 于 其 右 子 树 中 的 关键 字 5。 

二 叉 搜 索 树 性 质 允 许 我 们 通过 一 个 简单 的 递归 算法 来 按 序 输出 二 又 搜索 树 中 的 所 有 关键 字 ， 
这 种 算法 称 为 中 序 遍历 (inorder tree walk) 算 法 。 这 样 命名 的 原因 是 输出 的 子 树 根 的 关键 字 位 于 
其 左 子 树 的 关键 字 值 和 右 子 树 的 关键 字 值 之 间 。( 类 似 地 ， 先 序 遍历 (preorder tree walk) 中 输出 
的 根 的 关键 字 在 其 左右 子 树 的 关键 字 值 之 前 ， 而 后 序 遍 历 (postorder tree walk) 输 出 的 根 的 关键 
字 在 其 左右 子 树 的 关键 字 值 之 后 。) 调 用 下 面 的 过 程 INORDER-TREE-WALK(T. root), ， 就 可 以 输 
出 一 棵 二 又 搜索 树 荆 中 的 所 有 元 素 。 


INORDER-TREE-WALK(z) 


1 ifz NIL 

2 INORDER-TREE-WALK (x, le ft) 
3 print x. key 

4 INORDER-TREE-WALK (zx. right) 


作为 一 个 例子 ， 对 于 图 12-1 中 的 两 棵 二 叉 搜 索 树 ， 中 序 遍 历 输出 的 关键 字 次 序 均 为 2，5， 
5，6，7，8。 根 据 二 又 搜索 树 性 质 ， 可 以 直接 应 用 归纳 法 证 明 该 算法 的 正确 性 。 

遍历 一 棵 有 个 结 点 的 二 又 搜索 树 需 要 耗费 8(z) 的 时 间 ， 因 为 初次 调用 之 后 ， 对 于 树 中 的 
每 个 结 点 这 个 过 程 恰好 要 自己 调用 两 次 : 一 次 是 它 的 左 孩子 ， 另 一 次 是 它 的 右 孩 子 。 下 面 的 定理 
给 出 了 执行 一 次 中 序 遍 历 耗费 线性 时 间 的 一 个 证 明 。 

定理 12. 1 如 果 工 是 一 棵 有 nn 个 结 点 子 树 的 根 ， 那 么 调用 INORDER-TREE-WALK(z) 需 要 
O(n) BF IA] 

证 明 4 INORDER-TREE-WALK 作用 于 一 棵 有 nn 个 结 点 子 树 的 根 时 ， 用 T(z) 表 示 需 要 的 
时 间 。 由 于 INORDER-TREE-WALK 要 访问 这 棵 子 树 的 全 部 nn 个 结 点 ， 所 以 有 TMSA). F 
面 要 证 明 T(n) 二 O(n)。 

由 于 对 于 一 棵 空 树 ，INORDER-TREE-WALK 需要 耗费 一 个 小 的 常数 时 间 ( 因 为 测试 cA 
NIL)， 因 此 对 某 个 常数 c>0, A T(0)=c。 

对 n>0, 假设 调用 INORDER-TREE-WALK 作用 在 一 个 结 点 x E, 2 结 点 左 子 树 有 & 个 结 
点 且 其 右 子 树 有 nn 一 & 一 1 个 结 点 ， 则 执行 INORDER-TREE-WALK(z) 的 时 间 由 TO) <TR) + 
T(n 一 k 一 1) 十 4d 限界 ， 其 中 常数 d0。 此 式 反映 了 执行 INORDER-TREE-WALK(z) 的 一 个 时 间 
上 界 ， 其 中 不 包括 递归 调用 所 花费 的 时 间 。 

使 用 替换 法 ， 通 过 证 明 TO<(c+d)n+c, MAWE Tin) =n). XF n=0, Ai(ctd) + 
O+c=c=T0), XF n>0, 有 

TM < TR) + Tin— hk — 1) +d = (e+ DR+0) + Cota) (n—k—-1) +0) +d 
= (c+d)n+c—(e+d)+cet+d = (c+d)n+c 


于 是 ， 便 完成 了 定理 的 证 明 。 Gi 

练习 

12. 1-1 对 于 关键 字 集 合 (1，4，5，10，16，17，21}) ， 分 别 画 出 高 度 为 2、3、4、5 和 6 的 二 又 
搜索 树 。 


12. 1-2 ”二 又 搜索 树 性 质 与 最 小 堆 性 质 ( 见 6. 1 节 ) 之 间 有 什么 不 同 ? 能 使 用 最 小 堆 性 质 在 O(n) 
时 间 内 按 序 输出 一 棵 有 个 结 点 树 的 关键 字 吗 ? 可 以 的 话 ， 请 说 明 如 何 做 ， 否 则 解释 
理由 。 

12. 1-3 设计 一 个 执行 中 序 遍 历 的 非 递 归 算 法 。( 提 示 : 一 种 容易 的 方法 是 使 用 栈 作为 辅助 数据 结 
构 ; 另 一 种 较 复杂 但 比较 简洁 的 做 法 是 不 使 用 栈 ， 但 要 假设 能 测试 两 个 指针 是 否 相等 。) 
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对 于 一 棵 有 ) 个 结 点 的 树 ， 请 设计 在 8(n) 时 间 内 完成 的 先 序 遍历 算法 和 后 序 遍 历 算法 。 
因为 在 基于 比较 的 排序 模型 中 ， 完 成 n 个 元 素 的 排序 ， 其 最 坏 情 况 下 需要 O(n Ign) Bt 
间 。 试 证 明 : 任何 基于 比较 的 算法 从 个 元 素 的 任意 序列 中 构造 一 棵 二 又 搜索 树 ， 其 最 
坏 情 况 下 需要 Qlnlgn) 的 时 间 。 


12.2 ”查询 二 又 搜索 树 

我 们 经 常 需要 查找 一 个 存储 在 二 又 搜索 树 中 的 关键 字 。 除 了 SEARCH 操作 之 外 ， 二 又 搜 索 
树 还 能 支持 诸如 MINIMUM、MAXIMUM、SUCCESSOR 和 PREDECESSOR 的 查询 操作 。 本 节 
将 讨论 这 些 操作 ， 并 且说 明 在 任何 高 度 为 的 二 叉 搜 索 树 上 ， 如 何在 O(h) 时 间 内 执行 完 每 个 
操作 。 

查找 

我 们 使 用 下 面 的 过 程 在 一 棵 二 叉 搜 索 树 中 查找 一 个 具有 给 定 关键 字 的 结 点 。 输 入 一 个 指向 
树 根 的 指针 和 一 个 关键 字 &， 如 果 这 个 结 点 存在 ，TREE-SEARCH 返回 一 个 指向 关键 字 为 & 的 结 
点 的 指针 ; 否则 返回 NIL. 

TREE-SEARCH (xz,k) 

1 ifz == NIL ork == z. key 

2 return x 

3 ifk< x key 

4 return TREE-SEARCH (zz, le ft,k) 

5 else return TREE-SEARCH(z. right,k) 


这 个 过 程 从 树 根 开始 查找 ， 并 沿 着 这 棵 树 中 的 一 条 简单 路 径 向 下 进行 ， 如 图 12-2 所 示 。 对 
于 遇 到 的 每 个 结 点 xz， 比较 关键 字 上 与 z.key。 如 果 两 
个 关键 字 相 等 ， 查 找 就 终止 。 如 果 上 小 于 xz. key， 查 找 
在 zz 的 左 子 树 中 继续 ， 因 为 二 又 搜索 树 性质 蕴 涵 了 不 
可 能 被 存储 在 右 子 树 中 。 对 称 地 ， 如 果 有 大 于 x. hey, 
查找 在 右 子 树 中 继续 。 从 树 根 开始 递归 期 间 遇 到 的 结 点 
就 形成 了 一 条 向 下 的 简单 路 径 ， 所 以 TREE-SEARCH 
的 运行 时 间 为 O(h)， 其 中 是 这 棵 树 的 高 度 。 

我 们 可 以 采用 while 循环 来 展开 递归 ， 用 一 种 迭代 
方式 重 写 这 个 过 程 。 对 于 大 多 数 计算 机 ， 和 迭代 版 本 的 效 
率 要 高 得 多 。 

ITERATIVE-TREE-SEARCH(z,&) 

1 while z Æ NIL and k Æ x. key 

2 if k < x. key 

3 z= z. left 

4 else x = z. right 


5 return x 


最 大 关键 字 元 素 和 最 小 关键 字 元 素 
通过 从 树 根 开始 沿 着 left 孩子 指针 直到 遇 到 一 个 


12. 1-4 
12. 1-5 


12-2 ”一 棵 二 又 搜索 树 上 的 查询 。 为 
了 查找 这 棵 树 中 关键 字 为 13 的 
结 点 ， 从 树 根 开始 沿 着 15 一 6 
一 7 一 13 路 径 进行 查找 。 这 村 
树 中 最 小 的 关键 字 为 2， 它 是 
从 树 根 开始 一 直 沿 着 left 指针 
被 找到 的 。 最 大 的 关键 字 20 是 
从 树 根 开始 一 直 沿 着 right 指 
针 被 找到 的 。 关 键 字 为 15 的 结 
点 的 后 继 是 关键 字 为 17 的 结 
点 ， 因 为 它 是 15 的 右 子 树 中 的 
最 小 关键 字 。 关 键 字 为 13 的 结 
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NIL, 我 们 总 能 在 一 棵 二 又 搜索 树 中 找到 一 个 元 素 ， 如 
图 12-2 所 示 。 下 面 的 过 程 返回 了 一 个 指向 在 以 给 定 结 
点 工 为 根 的 子 树 中 的 最 小 元 素 的 指针 ， 这 里 假设 不 


点 没有 右 子 树 ， 因 此 它 的 后 继 
是 最 低 的 祖先 并 且 其 左 孩 子 也 
是 一 个 祖先 。 这 种 情况 下 ， 关 
键 字 为 15 的 结 点 就 是 它 的 后 继 
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为 NIL: 


TREE-MINIMUM(z) 
1 while z. left Æ NIL 
2 x = zx. left 

3 return z 


二 叉 搜 索 树 性 质保 证 了 TREE-MINIMUM 是 正确 的 。 如 果 结 点 工 没 有 左 子 树 ， 那 么 由 于 x 
右 子 树 中 的 每 个 关键 字 都 至 少 大 于 或 等 于 z. key, WA z 为 根 的 子 树 中 的 最 小 关键 字 是 zx. hey. 
如 果 结 点 z 有 左 子 树 ， 那 么 由 于 其 右 子 树 中 没有 关键 字 小 于 z. key， 且 在 左 子 树 中 的 每 个 关键 字 
不 大 于 x. key, WA z 为 根 的 子 树 中 的 最 小 关键 字 一 定 在 以 z. left 为 根 的 子 树 中 。 

TREE-MAXIMUM 的 伪 代 码 是 对 称 的 ， 如 下 : 

TREE-MAXIMUM(z) 

1 while z. right Æ NIL 

2 x= zx. right 

3 return x 


XB EE — ER BE HY EEE OC) Bt le] AAT SE, 4-45 TREE-SEARCH 一 
它们 所 遇 到 的 结 点 均 形 成 了 一 条 从 树 根 向 下 的 简单 路 径 。 
后 继 和 前 驱 
给 定 一 棵 二 又 搜索 树 中 的 一 个 结 点 ， 有 时 候 需 要 按 中 序 遍 历 的 次 序 查找 它 的 后 继 。 如 果 所 
有 的 关键 字 互 不 相同 ， 则 一 个 结 点 z 的 后 继 是 大 于 x. key 的 最 小 关键 字 的 结 点 。 一 棵 二 又 搜索 
树 的 结构 允许 我 们 通过 没有 任何 关键 字 的 比较 来 确定 一 个 结 点 的 后 继 。 如 果 后 继 存 在 ， 下 面 的 
过 程 将 返回 一 棵 二 叉 搜 索 树 中 的 结 点 z 的 后 继 ; Re ER PRA KAS, Wik 
回 NIL。 

TREE-SUCCESSOR(x) 

1 if x. right # NIL 

2 return TREE-MINIMUMCz. right) 

3 yup 

while y Æ NIL and z == y. right 


样 


4 
5 z=y 

6 y=yp 

7 return y 

把 TREE-SUCCESSOR 的 伪 代 码 分 为 两 种 情况 。 如 果 结 点 z 的 右 子 树 非 空 ， 那 么 z 的 后 继 
恰 是 z 右 子 树 中 的 最 左 结 点 ， 通 过 第 2 行 中 的 TREE-MINIMUM(z. righz) 调 用 可 以 找到 。 例 如 ， 
在 图 12-2 中 ， 关 键 字 为 15 的 结 点 的 后 继 是 关键 字 为 17 的 结 点 。 

另 一 方面 ， 正 如 练习 12. 2-6 所 要 做 的 ， 如 果 结 点 的 右 子 树 非 空 并 有 一 个 后 继 y， 那 么 y 就 
是 工 的 有 左 孩 子 的 最 底层 祖先 ， 并 且 它 也 是 工 的 一 个 祖先 。 在 图 12-2 中 ， 关 键 字 为 13 的 结 点 的 
后 继 是 关键 字 为 15 的 结 点 。 为 了 找到 y， 只 需 简 单 地 从 z 开 始 沿 树 而 上 直到 遇 到 一 个 其 双亲 有 
左 孩 子 的 结 点 。TREE-SUCCESSOR 中 的 第 3~7 行 正 是 处 理 这 种 情况 。 

在 一 棵 高 度 为 h 的 树 上 ，TREE-SUCCESSOR 的 运行 时 间 为 O(h)， 因 为 该 过 程 或 者 遵从 一 
条 简单 路 径 沿 树 向 上 或 者 遵从 简单 路 径 沿 树 向 下 。 过 程 TREE-PREDECESSOR 与 TREE- 
SUCCESSOR 是 对 称 的 ， 其 运行 时 间 也 为 OCA). 

即使 关键 字 非 全 不 相同 ， 我 们 仍然 定义 任何 结 点 z 的 后 继 和 前 驱 为 分 别 调用 TREE- 
SUCCESSOR(z) 和 TREE-PREDECESSOR(z) 所 返回 的 结 点 。 

总 之 ， 我 们 已 经 证 明了 下 面 的 定理 。 
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定理 12.2 在 一 襟 高 度 为 彤 的 二 又 搜索 树 上 ， 动 态 集合 上 的 操作 SEARCH, MINIMUM, 
MAXIMUM, SUCCESSOR 和 PREDECESSOR 可 以 在 OCh) at iN A ER. 


练习 


12. 2-1 


12. 2-2 
12. 2-3 
12. 2-4 


12. 2-5 


12. 2-6 


12. 2-7 


12. 2-8 


12. 2-9 


12.3 


假设 一 棵 二 又 搜索 树 中 的 结 点 在 1 到 1000 之 间 ， 现 在 想 要 查找 数值 为 363 的 结 点 。 下 
面 序列 中 哪个 不 是 查找 过 的 序列 ? 

a.2，252，401，398，330，344，397，363。 

b. 924，220，911，244，898，258，362，363。 

c.925, 202, 911, 240, 912, 245, 363. 

d.2, 399, 387, 219, 266, 382, 381, 278, 363, 

e. 935, 278, 347, 621, 299, 392, 358, 363, 

写 出 TREE-MINIMUM 和 TREE-MAXIMUM 的 递归 版 本 。 

写 出 过 程 TREE-PREDECESSOR 的 伪 代 码 。 

Bunyan 教授 认为 他 发 现 了 一 个 二 叉 搜索 树 的 重要 性 质 。 假 设 在 一 棵 二 叉 搜索 树 中 查找 
一 个 关键 字 &， 查 找 结 束 于 一 个 树叶 。 考 虑 三 个 集合 : A 为 查找 路 径 左 边 的 关键 字 集合 ; 
B 为 查找 路 径 上 的 关键 字 集 合 ; C 为 查找 路 径 右边 的 关键 字 集合 。Bunyan 教授 声称 : 任 
ff aCA, bEB 和 cEC, 一 定 满足 a 二 bc。 请 给 出 该 教授 这 个 论断 的 一 个 最 小 可 能 的 
反例 。 

证 明 : 如 果 一 棵 二 叉 搜 索 树 中 的 一 个 结 点 有 两 个 孩子 ， 那 么 它 的 后 继 没有 左 孩 子 ， 它 的 
前 驱 没有 右 孩 子 。 

考虑 一 棵 二 叉 搜索 树 T， 其 关键 字 互 不 相同 。 证 明 : MART PTAA se 的 右 子 树 为 
空 ， 且 zz 有 一 个 后 继 y， 那 么 > 一 定 是 z 的 最 底层 祖先 ， 并 且 其 左 孩子 也 是 z 的 祖先 。 
(注意 到 ， 每 个 结 点 都 是 它 自己 的 祖先 。) 

对 于 一 棵 有 ?个 结 点 的 二 叉 搜 索 树 ， 有 另 一 种 方法 来 实现 中 序 遍 历 ， 先 调用 TREE- 
MINIMUM 找到 这 棵 树 中 的 最 小 元 素 ， 然 后 再 调用 n—1 次 的 TREE-SUCCESSOR。 证 
明 : 该 算法 的 运行 时 间 为 O). 

证 明 : 在 一 棵 高 度 为 h 的 二 叉 搜 索 树 中 ， 不论 从 哪个 结 点 开始 ,，& 次 连续 的 TREE- 
SUCCESSOR 调用 所 需 时 间 为 OC(k 十 hh) 。 

设 工 是 一 棵 二 又 搜索 树 ， 其 关键 字 互 不 相同 ;， 设 z 是 一 个 叶 结 点 ，? 为 其 父 结 点 。 证 
WA: y. &ey 或 者 是 工 树 中 大 于 x. key 的 最 小 关键 字 ， 或 者 是 工 树 中 小 于 x. key 的 最 大 关 
键 字 。 


插入 和 删除 


插 和 人 和 删除 操作 会 引起 由 二 又 搜索 树 表示 的 动态 集合 的 变化 。 一 定 要 修改 数据 结构 来 反映 
这 个 变化 ， 但 修改 要 保持 二 又 搜索 树 性 质 的 成 立 。 正 如 下 面 将 看 到 的 ， 插 入 一 个 新 结 点 带 来 的 树 
修改 要 相对 简单 些 ， 而 删除 的 处 理 有 些 复杂 。 

插入 

要 将 一 个 新 值 v 插 人 到 一 棵 二 叉 搜 索 树 T 中 ， 需 要 调用 过 程 TREE-INSERT。 该 过 程 以 结 点 
xz 作为 输入 ， 其 中 z. key=v, z. left=NIL, z. righz= 王 NIL。 这 个 过 程 要 修改 工 和 > 的 某 些 属性 ， 
来 把 z 插 入 到 树 中 的 相应 位 置 上 .。 

TREE-INSERT(T, z) 

1 y=NIL 
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x = T. root 
while x Æ NIL 
?一 工 
if z. key < x. key 
x=. left 
else x = x. right 
zp=y 
if y == NIL 
10 T. root = z / tree T was empty 
11 elseif z. key < y. key 
12 y left =z 
13 else y. right = z 
图 12-3 显示 了 TREE-INSERT 是 如 何 工作 的 。 正 如 过 程 TREE-SEARCH 和 ITERATIVE- 
TREE-SEARCH 一 样 ，TREE-INSERT 从 树 根 开始 ， 指 
针 工 记录 了 一 条 向 下 的 简单 路 径 ， 并 查找 要 替换 的 输入 
项 z 的 NIL。 该 过 程 保持 遍历 指针 (trailing pointer) y fF 
为 xz 的 双亲 。 初 始 化 后 ， 第 3 一 7 行 的 while 循环 使 得 这 
两 个 指针 沿 树 向 下 移动 ， 向 左 或 向 右 移动 取决 于 x. key 
和 <z. key 的 比较 ， 直 到 x 变 为 NIL。 这 个 NIL 占据 的 位 D 


O oo NaN AON 





置 就 是 输入 项 = 要 放置 的 地 方 。 我 们 需要 遍历 指针 y 
这 是 因为 找到 NIL 时 要 知道 = 属于 哪个 结 点 。 第 8 一 13 BPS A AREA A 
行 设置 相应 的 指针 ， 使 得 = 插入 其 中 。 指示 了 一 条 从 树 根 向 下 到 要 插入 
与 其 他 搜索 树 上 的 原始 操作 一 样 ， 过 程 TREE- 数据 项 位 置 处 的 简单 路 径 。 虚 线 
INSERT 在 一 棵 高 度 为 h 的 树 上 的 运行 时 间 为 O(h)。 表示 了 为 插入 数据 项 而 加 入 的 树 
从 一 棵 二 叉 搜 索 树 工 中 删除 一 个 结 点 z 的 整个 策略 分 为 三 种 基本 情况 (如 下 所 述 )， 但 只 有 
一 种 情况 有 点 棘手 。 
。 如 果 z 没 有 孩子 结 点 ， 那 么 只 是 简单 地 将 它 删除 ， 并 修改 它 的 父 结 点 ， 用 NIL 作为 孩子 
来 替换 =。 
。 如 果 z 只 有 一 个 孩子 ， 那么 将 这 个 孩子 提升 到 树 中 z 的 位 置 上 ， 并 修改 z 的 父 结 点 ， 用 z 
的 孩子 来 替换 z 


。 如 果 = 有 两 个 孩子 ， 那 么 找 z 的 后 继 y CEE z 的 右 子 树 中 )， 并 让 y 占据 树 中 z 的 位 
置 。z 的 原来 右 子 树 部 分 成 为 y 的 新 的 右 子 树 ， 并 且 z 的 左 子 树 成 为 y 的 新 的 左 子 树 。 
这 种 情况 稍 显 麻烦 (如 下 所 述 )， 因 为 还 与 y 是 否 为 z 的 右 孩 子 相 关 。 
从 一 棵 二 叉 搜 索 树 工 中 删除 一 个 给 定 的 结 点 zx， 这 个 过 程 取 指 向 工 和 >z 的 指针 作为 输入 参 
数 。 考 虑 在 图 12-4 中 显示 的 4 种 情况 ， 它 与 前 面 概 括 出 的 三 种 情况 有 些 不 同 。 
。 如 果 z 没 有 左 孩 子 (图 12-4(a))， 那 么 用 其 右 孩 子 来 替换 z， 这 个 右 孩 子 可 以 是 NIL， 也 
可 以 不 是 。 当 z 的 右 孩 子 是 NIL 时 ， 此 时 这 种 情况 归 为 xz 没有 孩子 结 点 的 情形 。 当 z 的 
右 孩 子 非 NIL 时 ， 这 种 情况 就 是 > 仅 有 一 个 孩子 结 点 的 情形 ， 该 孩子 是 其 右 孩 子 。 
如 果 = 仅 有 一 个 孩子 是 为 其 左 孩 子 (图 12-4(b))， 那 么 用 其 左 孩子 来 替换 =。 
否则 ，z 既 有 一 个 左 孩子 又 有 一 个 右 孩 子 。 我 们 要 查找 = 的 后 继 y， 这 个 后 继 位 于 z 的 右 
子 树 中 并 且 没 有 左 孩 子 ( 见 练习 12. 2-5) 。 现 在 需要 将 y 移出 原来 的 位 置 进行 拼接 ， 并 替 
换 树 中 的 z。 
WR y Ez 的 右 孩 子 ( 图 12-4(c))， 那 么 用 y 替换 z， 并 仅 留 下 y 的 右 孩 子 。 
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。 否则 ，y 位 于 z 的 右 子 树 中 但 并 不 是 z 的 右 孩 子 ( 图 12-4(d)) 。 在 这 种 情况 下 ， 先 用 y 的 
右 孩 子 替换 y， 然 后 再 用 y 替换 z。 


NIL r 








(d) 


图 12-4 从 一 棵 二 叉 搜 索 树 中 删除 结 点 z。 结 点 z 可 以 是 树 根 ， 可 以 是 结 点 g 的 一 个 左 孩 子 ， 也 可 以 是 g 的 
一 个 右 孩 子 。(a) 结 点 = 没有 左 孩 子 。 用 其 右 孩 子 r 来 替换 z， 其 中 7 可 以 是 NIL， 也 可 以 不 是 。 
(b) 结 点 z 有 一 个 左 孩子 : 但 没有 右 孩 子 。 用 来 替换 =。(c) 结 点 z 有 两 个 孩子 ， 其 左 孩 子 是 结 点 
l, HABT y 还 是 其 后 继 ，y 的 右 孩 子 是 结 点 zx。 用 y 替换 =， 修改 使 ! 成 为 y 的 左 孩子 ， 但 保留 
工 仍 为 y 的 右 孩子 。(d) 结 点 z= 有 两 个 孩子 ( 左 孩子 ! 和 右 孩 子 r+)， 并 且 z 的 后 继 y 关 r 位 于 以 7 为 
根 的 子 树 中 。 用 y 自己 的 右 孩 子 z KRE y, HEE > 为 > 的 双亲 。 然 后 ， 再 置 y 为 g 的 孩子 和 / 
的 双亲 


为 了 在 二 又 搜 索 树 内 移动 子 树 ， 定 义 一 个 子 过 程 TRANSPLANT, 它 是 用 另 一 棵 子 树 替换 
一 棵 子 树 并 成 为 其 双亲 的 孩子 结 点 。 当 TRANSPLANT 用 一 棵 以 v 为 根 的 子 树 来 替换 一 棵 以 z 
为 根 的 子 树 时 ， 结 点 zx 的 双亲 就 变 为 结 点 v 的 双亲 ， 并 且 最 后 v 成 为 x 的 双亲 的 相应 孩子 。 


168 + 第 三 部 分 数据 结构 


296 


l 
297 


TRANSPLANT(T,u,v) 
1 ifu.p == NIL 

2 T. root = v 

3 elseif u == u. p,left 
4 u. p. left = v 
5 else u. p. right = v 
6 ifv # NIL 

7 v. p= u.p 


第 1 一 2 ITEM u ET HRA. BM, uBAMRWABFRABFT. WMR x 是 一 个 
左 孩 子 ， 第 3 一 4 FAK u. p. left 的 更 新 ; 如 果 是 一 个 右 孩子 ， 第 5 行 更 新 u. p. right. RNR 
许 v 为 NIL， 如 果 v HE NIL 时， 第 6 一 7 行 更 新 v. pe HERB), TRANSPLANT 并 没有 处 理 
v. left Al v. right 的 更 新 ;这 些 更 新 都 由 TRANSPLANT 的 调用 者 来 负责 。 

利用 现成 的 TRANSPLANT 过 程 ， 下 面 是 从 二 又 搜索 树 工 中 删除 结 点 z 的 删除 过 程 : 


TREE-DELETE(T,z) 
1 if z. left == NIL 
2 TRANSPLANT(T, z, z. right) 
3 elseif z. right == NIL 
4 TRANSPLANT(T, z, z. le ft) 
5 else y = TREE-MINIMUMCz. right) 
6 ify. p~z 
7 TRANSPLANT(T, y,y. right) 
8 y. right = z. right 
9 y. right. p = y 


10 TRANSPLANT(T,z, y) 
11 y. left = z. left 
12 y. left.p=y 


TREE-DELETE 过 程 处 理 4 种 情况 如 下 。 第 1 一 2 行 处 理 结 点 x 没有 左 孩 子 的 情况 ， 第 3 一 4 
行 处 理 x 有 一 个 左 孩子 但 没有 右 孩 子 情况 。 第 5 一 12 行 处 理 剩 下 的 两 种 情况 ， 也 就 是 x 有 两 个 孩 
子 的 情形 。 第 5 行 查找 结 点 y， 它 是 = 的 后 继 。 因 为 z 的 右 子 树 非 空 ， 这 样 后 继 一 定 是 这 个 子 树 
中 具有 最 小 关键 字 的 结 点 ， 因 此 就 调用 TREE-MINIMUM(z. right)。 如 前 所 述 ，y 没有 左 孩 子 。 
将 y 移 出 它 的 原来 位 置 进行 拼接 ， 并 替换 树 中 的 z=。 如 果 y 是 z 的 右 孩子 ， 那 么 第 10 一 12 行 用 y 
替换 z 并 成 为 z 的 双亲 的 一 个 孩子 ， 用 z 的 左 孩 子 替换 y 的 左 孩子 。 如 果 y 不 是 z 的 左 孩子 ， 第 
7~9 Ay ABATER y 并 成 为 y 的 双亲 的 一 个 孩子 ， 然 后 将 = 的 右 孩 子 转变 为 y HEEFT, 
最 后 第 10 一 12 47H y 替换 z 并 成 为 z 的 双亲 的 一 个 孩子 ， 再 用 = 的 左 孩 子 替换 为 y 的 左 孩 子 。 

除了 第 5 行 调用 TREE-MINIMUM 之 外 ，TREE-DELETE 的 每 一 行 包括 调用 
TRANSPLANT， 都 只 花费 常数 时 间 。 因 此 ， 在 一 棵 高 度 为 h 的 树 上 ，TREE-DELETE 的 运行 时 
间 为 OCA). 

总 之 ， 我 们 证 明了 下 面 的 定理 。 

定理 12.3 在 一 棵 高 度 为 有 的 二 又 搜索 树 上 ， 实 现 动 态 集合 操作 INSERT 和 DELETE 的 运 
行 时 间 均 为 OCA). | 


练习 
12.3-1 给 出 TREE-INSERT 过 程 的 一 个 递归 版 本 。 
12. 3-2 假设 通过 反复 向 一 棵 树 中 插入 互 不 相同 的 关键 字 来 构造 一 棵 二 叉 搜 索 树 。 证 明 : FER 
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树 中 查找 关键 字 所 检查 过 的 结 点 数目 等 于 先前 插入 这 个 关键 字 所 检查 的 结 点 数目 加 1。 

12.3-3 ”对 于 给 定 的 nn 个 数 的 集合 ， 可 以 通过 先 构 造 包 含 这 些 数据 的 一 棵 二 叉 搜 索 树 (反复 使 用 
TREE-INSERT 逐个 插入 这 些 数 )， 然 后 按 中 序 遍 历 输出 这 些 数 的 方法 ， 来 对 它们 排序 。 
这 个 排序 算法 的 最 坏 情况 运行 时 间 和 最 好 情况 运行 时 间 各 是 多 少 ? 

12.3-4 删除 操作 可 交换 吗 ? 可 交换 的 含义 是 ， 先 删除 2 再 删除 y 留 下 的 结果 树 与 先 删除 y 再 删 
Br 留 下 的 结果 树 完全 一 样 。 如 果 是 ， 说 明 为 什么 ? 否则 ， 给 出 一 个 反例 。 

12. 3-5 ”假设 为 每 个 结 点 换 一 种 设计 ， 属 性 x. p 指向 xz 的 双亲 ， 属 性 x. suce 指向 zz 的 后 继 。 试 
给 出 使 用 这 种 表示 法 的 二 叉 搜索 树 TT 上 SEARCH, INSERT 和 DELETE 操作 的 伪 代 码 。 
这 些 伪 代码 应 在 O(P) 时 间 内 执行 完 ， 其 中 天 为 树 工 的 高 度 。( 提 示 : 应 该 设计 一 个 返回 
某 个 结 点 的 双亲 的 子 过 程 。) 

12.3-6 4 TREE-DELETE 中 的 结 点 zx 有 两 个 孩子 时 ， 应 该 选择 结 点 y 作为 它 的 前 驱 ， 而 不 是 
作为 它 的 后 继 。 如 果 这 样 做 ， 对 TREE-DELETE 应 该 做 些 什么 必要 的 修改 ? 一 些 人 提 
出 了 一 个 公平 策略 ， 为 前 驱 和 后 继 赋予 相等 的 优先 级 ， 这 样 得 到 了 较 好 的 实验 性 能 。 如 
何 对 TREE-DELETE 进行 修改 来 实现 这 样 一 种 公平 策略 ? 


12.4 ”随机 构建 二 叉 搜索 树 


我 们 已 经 证 明了 二 叉 搜 索 树 上 的 每 个 基本 操作 都 能 在 O(h) 时 间 内 完成 ， 其 中 为 这 棵 树 
的 高 度 。 然 而 ， 随 着 元 素 的 插入 和 删除 ， 二 又 搜索 树 的 高 度 是 变化 的 。 例 如 ， 如 果 nn 个 关键 字 
按 严格 递增 的 次 序 被 插入 ， 则 这 棵 树 一 定 是 高 度 为 n 一 1 的 一 条 链 。 另 外 ， 练 习 卫 5-4 说 明了 
h 宇 llgnJj。 和 快速 排序 一 样 ， 我 们 可 以 证 明 其 平均 情形 性 能 更 接近 于 最 好 情形 ， 而 不 是 最 坏 情 
形 时 的 性 能 。 

遗憾 的 是 ， 当 一 棵 二 叉 搜 索 树 同时 由 插入 和 删除 操作 生成 时 ， 我 们 对 这 棵 树 的 平均 高 度 了 
解 的 其 少 。 当 树 是 由 插入 操作 单独 生成 时 ， 分 析 就 会 变 得 容易 得 多 。 因 此 ， 我 们 定义 n REF 
的 一 棵 随机 构建 二 叉 搜索 树 (randomly built binary search tree) 为 按 随机 次 序 插 人 这 些 关键 字 到 一 
棵 初始 的 空 树 中 而 生成 的 树 ， 这 里 输入 关键 字 的 n! 个 排列 中 的 每 个 都 是 等 可 能 地 出 现 。 (练习 
12. 4-3 要 求 读 者 证 明 ， 这 个 概念 与 假定 每 棵 含有 ”个 关键 字 的 二 又 搜索 树 为 等 可 能 的 概念 不 同 。) 
接 下 来 ， 这 里 要 证 明 下 面 的 定理 。 

定理 12. 4 一 棵 及 个 不 同 关键 字 的 随机 构建 二 又 搜索 树 的 期 望 高 度 为 O(lgn)。 

证 明 从 定义 三 个 随机 变量 开始 ， 这 些 随机 变量 有 助 于 度量 一 棵 随机 构建 二 又 搜索 树 。 用 
X, 表示 一 棵 有 ”个 不 同 关键 字 的 随机 构建 二 又 搜索 树 的 高 度 ， 并 定义 指数 高 度 (exponential 
height) Y,=2* 。 当 构造 一 棵 有 个 关键 字 的 二 叉 搜 索 树 时 ， 选 择 一 个 关键 字 作为 树 根 ， 并 设 R， 
为 一 个 随机 变量 ， 表 示 这 个 关键 字 在 ”个 关键 字 集合 中 的 秩 (rank)， 即 R, 代表 的 是 这 些 关 键 字 
排 好 序 后 这 个 关键 字 应 占据 的 位 置 。R, 的 值 对 于 集合 {1，2，…，n}) 中 的 任何 元 素 都 是 等 可 能 
的 。 如 果 R, 二 i， 那 么 根 的 左 子 树 是 一 棵 有 i 一 1 个 关键 字 的 随机 构建 二 又 搜索 树 ， 并 且 右 子 树 是 
HA n 一 i 个 关键 字 的 随机 构建 二 又 搜 索 树 。 因 为 二 叉 树 的 高 度 比 根 的 两 棵 子 树 较 高 的 那 棵 子 
树 大 1， 因 此 二 叉 树 的 指数 高 度 是 根 的 两 棵 子 树 较 高 的 那 棵 子 树 的 2 倍 。 如 果 R, =i WA 

Y, = 2° max(Y;1,Y.,;) 

作为 基础 情况 ， 设 六 二 1， 因 为 1 个 结 点 的 树 的 指数 高 度 是 2 二 1， 为 了 方便 起 见 ， 我 们 定义 Y= 二 0。 

接 下 来 ,定义 指 示 器 随机 变量 Z,15 Zanes ots Zane HEP Z,.; 二 I{R, 二 i} 。 因 为 R, 对 于 集合 
{1，2,，…，n}) 中 的 任何 元 素 都 是 等 可 能 的 ， 即 有 Pr{R,=i}=1/n, HP i=1, 2, =+, n, MV 
由 引 理 5.1， 有 

E[Z,.:] = 1/n (12.1) [300 
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其 中 i=1，2，…，n。 由 于 Q.., 恰 有 一 个 值 为 1， 其 余 所 有 的 值 为 0， 因 此 有 
y= YZ * max(Y;1+Y,4)) 

下 面 将 证 明 ELY, JÆ n 的 一 个 多 项 式 ， 由 此 最 终 推 出 ELX,] 二 Ollgn)。 

指示 器 随机 变量 Zn SHR SDF Y M YE BAAT R=i, EPO MK 
高 度 是 Y;_, ) 是 由 i 一 1 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 小 于 i。 这 棵 子 树 就 像 任何 其 他 
由 i 一 1 个 关键 字 随 机 构建 的 二 叉 搜 索 树 一 样 。 除 了 所 包含 的 关键 字数 目 之 外 ， 这 棵 子 树 的 结构 
完全 不 受 R, 二 i 选择 的 影响 ， 因 此 随机 变量 Y 和 2Z,; 是 独立 的 。 同 样 ， 右 子 树 ( 其 指数 高 度 是 
Y,-;) 是 由 n 一 i 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 大 于 i。 它 的 结构 独立 于 R, 的 值 ， 因 此 
随机 变量 Y,_; 和 2,.; 是 独立 的 。 所 以 ， 有 


E[Y,] = ELE Z2 + max(Y; 1,Y, ;)) | 
= DIFLZ,,(2 + max(Y, 1,Y.,1))] (由 期 望 的 线性 性 质 ) 


= SIELZ,JEL2 .max(Yi4Y,,)] (由 独立 性 ) 


= 之 L, E[2 + max(¥, Yao (由 式 (12. 1)) 

= 2S) El max(¥, Yi) J (ih KCC. 22)) 
i=] 

<2 @y.1+ EY.) (由 练习 C. 3-4) 
i=] 


在 上 面 最 后 一 个 和 式 中 ， 因为 ELY, ], ELY, ]; Sry ELY。，;,] 中 每 一 项 均 出 现 两 次 ， 一 次 作为 
ELY]; 一 次 作为 E[Y,_;]， 所 以 有 下 面 的 递归 式 : 


x ELY,] < 4 DECY,] 2.2) 
使 用 替换 法 ， 下 面 证 明 对 于 所 有 的 正 整数 x， 递 归 式 (12. DAR 
7 十 3 
Byles.) 
在 求解 过 程 中 ， 将 使 用 下 面 的 等 式 ; 
—it3 +3 
2 a )=(", ) (12. 3) 


(练习 12. 4-1 要 求 读者 去 证 明 这 个 等 式 。) 
对 于 基础 情况 ， 注 意 到 两 个 界 0=¥, =EL¥I<c1/4) (3) =1/4 和 1=Y, =E[Y, ]K 1/4) 


ee 


3 ) =1 成 立 。 对 于 归纳 情况 ， 有 


ELY.]< £ PECYI< 45 1673) (由 归纳 假设 ) 
ED o E ) (由 式 (12. 3)) 
To aED I yati adore) 
”? 4 


4!(n—1)! 4 3In! 3 
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虽然 我 们 有 了 E[Y,] 界 ， 但 最 终 的 目标 是 要 得 到 ELX ] 的 界 。 正 如 练习 12. 4-4 要 求 读 者 证 明 的 
函数 f(x) 二 2* 是 凸 的 。 因 此 ， 应 用 Jensen 不 等 式 (C. 26) ， 也 就 有 


28%) < E[2% ] = ELY,] 


如 下 可 得 : 


mag (T 1, ote DEN _ Pt Ot tat 
ee Ss a ae 6 24 


两 边 取 对 数 ， 得 到 ELX, ]=OUgn). a 


练习 
12. 4-1 
12. 4-2 


12. 4-3 


12. 4-4 
*12. 4-5 


证 明 等 式 (12. 3). 

请 描述 这 样 一 棵 有 个 结 点 的 二 叉 搜 索 树 ， 其 树 中 结 点 的 平均 深度 为 B(lgz) ， 但 这 棵 树 
的 高 度 是 w(lgn)。 一 棵 有 nn 个 结 点 的 二 叉 搜 索 树 中 结 点 的 平均 深度 为 8(lgn)， 给 出 这 棵 
树 高 度 的 一 个 渐 近 上 界 。 

说 明 含 有 ?7 个 关键 字 的 随机 选择 二 又 搜索 树 的 概念 ， 这 里 每 一 棵 = 个 结 点 的 二 又 搜索 树 
是 等 可 能 地 被 选择 ， 不 同 于 本 节 中 给 出 的 随机 构建 二 叉 搜 索 树 的 概念 。( 提 示 : 4n=3 
时 ， 列 出 所 有 的 可 能 。) 

WHR: 函数 f(x) 二 27 BAH. 

考虑 RANDOMIZED-QUICKSORT 操作 在 ”个 互 不 相同 的 输入 数据 的 序列 上 。 证 明 : 
对 于 任何 常数 有 二 0，n! 种 输入 排列 除了 其 中 的 O/A) Rh Zh, 运行 时 间 都 
为 O(nlgn)。 


思考 题 


12-1 


12-2 


( 带 有 相同 关键 字 的 二 又 搜索 树 ) 相同 关键 字 给 二 又 搜索 树 的 实现 带 来 了 问题 。 

a. 当 用 TREE-INSERT 将 n 个 其 中 带 有 相同 关键 字 的 数据 插入 到 一 棵 初始 为 空 的 二 叉 搜 
索 树 中 时 ， 其 渐 近 性 能 是 多 少 ? 

建议 通过 在 第 5 行 之 前 测试 z. key= zx. key 和 在 第 11 行 之 前 测试 =. key= y. key HH 

法 ， 来 对 TREE-INSERT 进行 改进 。 如 果 相 等 ， 根 据 下 面 的 策略 之 一 来 实现 。 对 于 每 个 策 

略 ， 得 到 将 n 个 其 中 带 有 相同 关键 字 的 数据 插入 到 一 棵 初始 为 空 的 二 叉 搜 索 树 中 的 渐 近 性 

能 。( 对 第 5 行 描述 的 策略 是 比较 z 和 zz 的 关键 字 ， 用 于 第 11 行 的 策略 是 用 y 代替 xz。) 

b. 在 结 点 设置 一 个 布尔 标志 xz.5， 并 根据 r. b 的 值 ， 置 x 为 xz. left 或 x.right。 当 插入 
一 个 与 工 关键 字 相 同 的 结 点 时 ， 每 次 访问 2 时 交替 地 置 x.5 为 FALSE 或 TRUE。 

c 在 工 处 设置 一 个 与 x 关键 字 相 同 的 结 点 列表 ， 并 将 = 插 人 到 该 列表 中 。 

d. 随机 地 置 z 为 zx. left 或 x.right。( 给 出 最 坏 情况 性 能 ， 并非 形 式 地 导出 期 望 运行 
时 间 。) 

(基数 树 ) 给 定 两 个 串 a 二 wa…a, 和 6 二 bh…b,， 这 里 每 个 a; Alb; 是 以 字符 集 的 某 种 次 序 出 

现 的 ， 如 果 下 面 两 种 规则 之 一 成 立 ， 就 称 串 a 按 字典 序 小 于 (lexicographically less than) #4 b; 

1. 存在 一 个 整数 j， 其 中 0<j<min(p, q), 使 得 对 所 有 的 i=0, 1, =, j—l, a=b 成 
Ww, Ha<6,;. 

2. pq， 且 对 所 有 的 i=0, 1, ++, py =b. 
例如 ， 如 果 a Alb EMH, 那么 10 100<10 110( 由 规则 1, He j=3)，10 100<101 000 
(由 规则 2)。 这 种 次 序 类 似 于 英语 字典 中 使 用 的 排序 。 


基数 树 (radix tree) 数 据 结 构 如 图 12-5 所 示 ， 这 个 树 存储 了 位 串 1011、10、011、100 和 0。 
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当 对 一 个 关键 字 aaa …as 进行 查找 时 ， 在 深度 为 i 的 一 个 结 点 处 ， 如 果 a. 一 0， 则 走 左 侧 ， 如 


果 a; 王 


1， 则 走 右 侧 。 设 S 是 一 个 不 同位 串 组 成 的 集合 ， 各 个 串 长 度 值 和 为 >。 说 明 如 何 使 用 一 


棵 基数 树 在 8(n) 时 间 内 按 字典 序 对 S 进行 排序 。 对 于 图 12-5 所 示 的 例子 ， 排 序 输出 的 应 该 是 序 
列 0、011、10、100、1011。 


12-3 


12-4 





图 12-5 “一 棵 基数 树 存储 了 位 串 1011、10、011、100 和 0。 每 个 结 点 的 关键 字 可 以 通过 从 
树 根 到 该 结 点 的 一 条 简单 路 径 来 确定 。 这 样 就 没有 必要 在 这 些 结 点 中 存储 关键 字 ; 
图 中 出 现 的 关键 字 仅仅 作为 描述 之 用 。 如 果 一 些 结 点 的 关键 字 不 在 树 中 ， 它 们 就 
被 标 为 深 阴 影 ; 这 些 结 点 的 存在 仅 是 为 了 建立 起 一 条 通 往 其 他 结 点 的 路 径 


(随机 构建 二 叉 搜索 树 中 的 平均 结 点 深度 ) 在 本 题 中 ， 要 证 明 有 个 结 点 的 一 棵 随机 构建 
二 叉 搜 索 树 中 的 结 点 平均 深度 为 O(lgz) 。 虽 然 这 个 结果 弱 于 定理 12.4， 但 我 们 使 用 的 方 
法 显露 出 构建 一 棵 二 叉 搜索 树 与 7. 3 节 中 的 RANDOMIZED-QUICKSORT 的 执行 之 间 有 
着 惊人 的 相似 之 处 。 

定义 一 棵 二 叉 树 工 的 路 径 总 长 度 (total path length PCD A T PRAHA r 的 深度 之 
和 ， 对 每 个 结 点 zx 的 深度 表示 为 4(zx，7T)。 
a. 证 明 : 工 中 的 一 个 结 点 平均 深度 是 


15da, T) = LP(D 
n x€T n 


因此 ， 我 们 希望 进一步 证 明 P(T) 的 期 望 值 为 O(nlgn)。 
b. HTL 和 Ta 分别 表示 树 了 的 左 子 树 和 右 子 树 ， 证 明 : WRT An MAR, W 
P(T) = P(T,) + P(Tz) +n—1 
Cc 设 P(n) 表 示 有 个 结 点 的 随机 构建 二 叉 搜 索 树 的 平均 路 径 总 长 度 ， 证明: 


nl 
P(n) = +9) (PW) +Pn—i— D+n—l) 
d. 说 明 如 何 将 P(z) 重 写 为 : 
nl 
Pon) = 25) Pe) + Om) 
k=l 


e 思考 题 7-3 曾 给 出 随机 快速 排序 的 另 一 种 分 析 ， 试 证 明 结论 : P(n) 二 O(nlgn)。 

在 快速 排序 的 每 次 递归 调用 时 ， 总 要 选择 一 个 随机 划分 元 来 为 待 排序 的 元 素 集合 进行 
划分 。 二 又 搜 索 树 的 每 个 结 点 都 是 对 以 该 结 点 为 根 的 子 树 中 所 有 元 素 进行 划分 。 

f. 请 给 出 快速 排序 的 一 种 实现 ， 使 快速 排序 中 对 一 组 元 素 的 比较 与 将 这 些 元 素 插 人 一 棵 二 
叉 搜 索 树 中 所 需 的 比较 恰好 相同 。( 这 些 比较 的 次 序 可 以 不 同 ， 但 出 现 的 比较 一 定 要 
一 样 。) 

(不 同 二 又 树 的 数目 ) Bb, 表示 含有 nn 个 结 点 的 不 同 二 又 树 的 数目 。 在 本 题 中 ， 试 给 出 一 

个 求 的 公式 和 一 个 渐 近 估计 。 

a. 证 明 : 名 三 1 HX} n=l, A 


第 12 章 二 叉 搜 索 树 +: 173 


Re 
b 参考 思考 题 4.4 中 生成 函数 的 定义 ， 设 B(z) 是 下 面 的 生成 函数 ， 
Bx) Th 
证 明 ，B(z) 一 zB(z): 十 1， 因 此 以 闭 形式 表示 B(z) 的 一 种 方式 是 
B(x) = +a — /1—4z) 
f(a) FER x 二 a 处 的 泰勒 展开 式 (Taylor expansion) 4 
f(x) 一 » Faaa 
这 里 Fe EHE 2 bkk BTA. 
c (E /T dete 1—0 处 的 泰勒 展开 式 ， 证 明 ， 


Yen 

bn E stil zi) 
( 即 第 nn 个 Catalan 数 )。( 如 果 读 者 愿意 ， 可 以 不 用 泰勒 展开 式 ， 而 是 将 二 项 展开 式 
(C. 4) 推 广 到 非 整 数 的 指数 n 上去， 也 就 是 对 于 任何 实数 n 和 任何 整数 &k， 当 宇 0 时 ， 


() 可 以 表示 为 n(n 一 D…n 一 十 D/&!， 否则 为 0。) 





4” 
Van? 





d. 证 明 : b, = (1+O(1/n)), 


本 章 注 记 

Knuth[211] 一 书 提供 了 对 简单 二 又 搜 索 树 及 其 许多 变形 的 很 好 讨论 。 二 叉 搜 索 树 似乎 在 20 
世纪 50 年 代 的 后 期 由 许多 人 独立 提出 和 发 现 。 基 数 树 经 常 被 称 为 “检索 树 ”(tries)， 它 来 自 于 单 
词 “retrieval” 的 中 间 字 母 。Knuth[211] 也 讨论 过 它们 。 

许多 教材 包括 本 书 的 前 两 个 版 本 ， 对 于 删除 一 棵 二 叉 搜 索 树 中 两 个 孩子 都 存在 的 结 点 ， 都 
给 出 了 一 个 稍 简单 的 方法 。 我 们 不 是 用 z 的 后 继 y 来 替代 结 点 z， 而 是 删除 结 点 y， 但 复制 y 的 
关键 字 和 其 卫星 数据 到 结 点 x 中。 这 种 方法 的 缺陷 是 实际 被 删除 的 结 点 也 许 并 不 是 被 传递 到 删除 
过 程 中 的 那个 结 点 。 如 果 一 个 程序 的 其 他 部 分 要 维持 指向 树 中 一 些 结 点 的 指针 ， 那 么 它们 可 能 
被 这 些 指 向 已 删除 结 点 的 “过 时 ”指针 带 来 错误 影响 。 虽然 本 书 新 版 中 给 出 的 删除 方法 略 显 复杂 ， 
但 它 保证 了 删除 结 点 z 的 调用 删除 了 结 点 z 而 仅 删 除 该 结 点 。 

当 在 构建 树 前 已 知 各 个 关键 字 的 查找 频率 时 ，15. 5 节 将 讨论 如 何 构建 一 棵 最 优 的 二 叉 搜索 
树 。 也 就 是 说 ， 给 定 了 每 个 关键 字 的 查找 频率 和 查找 落 在 树 中 各 关键 字 之 间 值 的 频率 ， 我 们 能 构 
建 一 棵 二 又 搜索 树 ， 使 得 服从 这 些 查找 频率 的 查找 集合 检查 结 点 数目 最 少 。 

12. 4 节 中 的 证 明 给 出 了 一 棵 随机 构建 二 又 搜索 树 的 期 望 高 度 的 界 ， 这 一 工作 归功 于 Aslam 
[24]。Martinez 和 RouraL243] 给 出 了 用 于 二 又 搜索 树 的 插入 和 删除 的 随机 算法 ， 该 算法 使 得 使 
用 这 两 种 操作 的 结果 树 是 一 棵 随机 二 又 搜索 树 。 然 而 ， 他 们 对 于 随机 二 又 搜索 树 的 定义 不 同 于 
本 章 中 的 随机 构建 二 叉 搜 索 树 ， 只 是 略微 不 同 而 已 。 
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第 12 章 介绍 了 一 棵 高 度 为 h 的 二 叉 搜索 树 ， 它 可 以 支持 任何 一 种 基本 动态 集合 操作 ， 如 
SEARCH, PREDECESSOR, SUCCESSOR, MINIMUM, MAXIMUM, INSERT 和 DELETE 等 ， 
其 时 间 复 杂 度 均 为 O(h) 。 因 此 ， 如 果 搜 索 树 的 高 度 较 低 时 ， 这 些 集合 操作 会 执行 得 较 快 。 然 而 ， 
如 果树 的 高 度 较 高 时 ， 这 些 集合 操作 可 能 并 不 比 在 链表 上 执行 得 快 。 红 黑 树 (red-black tree) 是 许多 
“平衡 ”搜索 树 中 的 一 种 ， 可 以 保证 在 最 坏 情况 下 基本 动态 集合 操作 的 时 间 复 杂 度 为 Ollgn) 。 


13. 1 红 黑 树 的 性 质 


红 黑 树 是 一 棵 二 又 搜索 树 ， 它 在 每 个 结 点 上 增加 了 一 个 存储 位 来 表示 结 点 的 颜色 ， 可 以 是 
RED 或 BLACK。 通过 对 任何 一 条 从 根 到 叶子 的 简单 路 径 上 各 个 结 点 的 颜色 进行 约束 ， 红 黑 树 确 
保 没有 一 条 路 径 会 比 其 他 路 径 长 出 2 倍 ， 因 而 是 近似 于 平衡 的 。 

树 中 每 个 结 点 包含 5 个 属性 : color, key, left, right 和 pp。 如 果 一 个 结 点 没有 子 结 点 或 父 
结 点 ， 则 该 结 点 相应 指针 属性 的 值 为 NIL。 我 们 可 以 把 这 些 NIL 视 为 指向 二 又 搜索 树 的 叶 结 点 
(外 部 结 点 ) 的 指针 ， 而 把 带 关键 字 的 结 点 视 为 树 的 内 部 结 点 。 

一 棵 红 黑 树 是 满足 下 面 红 黑 性 质 的 二 又 搜索 树 : 

1. 每 个 结 点 或 是 红色 的 ， 或 是 黑色 的 。 

2. 根 结 点 是 黑色 的 。 

3. 每 个 叶 结 点 (NIL) 是 黑色 的 。 

4 

5 





. 如 果 一 个 结 点 是 红色 的 ， 则 它 的 两 个 子 结 点 都 是 黑色 的 。 
. 对 每 个 结 点 ， 从 该 结 点 到 其 所 有 后 代 叶 结 点 的 简单 路 径 上 ， 均 包含 相同 数目 的 黑色 结 点 。 

图 13-1(a) 显 示 了 一 个 红 黑 树 的 例子 。 

为 了 便于 处 理 红 黑 树 代码 中 的 边界 条 件 ， 使 用 一 个 哨兵 来 代表 NILAR 10. 2 节 )。 对 于 一 
棵 红 黑 树 T, 哨兵 T. nil 是 一 个 与 树 中 普通 结 点 有 相同 属性 的 对 象 。 它 的 color 属性 为 BLACK, 
而 其 他 属性 p, left, right 和 key 可 以 设 为 任意 值 。 如 图 13-1(b) 所 示 ， 所 有 指向 NIL 的 指针 都 
用 指向 哨兵 T. nil 的 指针 替换 。 

使 用 哨兵 后 ， 就 可 以 将 结 点 工 的 NIL 孩子 视 为 一 个 普通 结 点 ， 其 父 结 点 为 zx。 尽 管 可 以 为 树 
内 的 每 一 个 NIL 新 增 一 个 不 同 的 哨兵 结 点 ， 使 得 每 个 NIL 的 父 结 点 都 有 这 样 的 良 定义 ， 但 这 种 做 法 
会 浪费 空间 。 取 而 代 之 的 是 ， 使 用 一 个 哨兵 T. nil 来 代表 所 有 的 NIL: 所 有 的 叶 结 点 和 根 结 点 的 父 结 
点 。 哨 兵 的 属性 p, left. right 和 key 的 取 值 并 不 重要 ， 尽 管 为 了 方便 起 见 可 以 在 程序 中 设 定 它们 。 

我 们 通常 将 注意 力 放 在 红 黑 树 的 内 部 结 点 上 ， 因 为 它们 存储 了 关键 字 的 值 。 在 本 章 的 后 面 
部 分 ， 所 画 的 红 黑 树 都 忽略 了 叶 结 点 ， 如 图 13-1(c) 所 示 。 

从 某 个 结 点 工 出 发 (不 含 该 结 点 ) 到 达 一 个 叶 结 点 的 任意 一 条 简单 路 径 上 的 黑色 结 点 个 数 称 为 该 结 
点 的 黑 高 (black-height)， 记 为 bhCz)。 根 据 性 质 5， 黑 高 的 概念 是 明确 定义 的 ， 因 为 从 该 结 点 出 发 的 所 
有 下 降 到 其 叶 结 点 的 简单 路 径 的 黑 结 点 个 数 都 相同 。 于 是 定义 红 黑 树 的 黑 高 为 其 根 结 点 的 黑 高 。 

下 面 的 引 理 说 明了 为 什么 红 黑 树 是 一 种 好 的 搜索 树 。 

引 理 13.1 一 棵 有 nn 个 内 部 结 点 的 红 黑 树 的 高 度 至 多 为 21g(n 十 1)。 

证 明 ” 先 证 明 以 任 一 结 点 z 为 根 的 子 树 中 至 少 包含 2*2 一 1 个 内 部 结 点 。 要 证 明 这 点 ,对 a 
的 高 度 进行 归纳 。 如 果 z 的 高 度 为 0， 则 z 必 为 叶 结 点 (T. nil), HU xz 为 根 结 点 的 子 树 至 少 包含 
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29) 一 1 二 2 一 1=0 个 内 部 结 点 。 对 于 归纳 步骤 ， 考 虑 一 个 高 度 为 正 值 且 有 两 个 子 结 点 的 内 部 结 点 
x. 每 个 子 结 点 有 黑 高 bh(z) 或 bh(z) 一 1， 其 分 别 取决 于 自身 的 颜色 是 红 还 是 黑 。 由 于 工 子 结 点 的 
高 度 比 本 身 的 高 度 要 低 ， 可 以 利用 归纳 假设 得 出 每 个 子 结 点 至 少 有 2w” 一 一 1 个 内 部 结 点 的 结 
论 。 于 是 ， 以 z 为 根 的 子 树 至 少 包含 (2ao — 1) +29 1) +1 = 2 一 1 个 内 部 结 点 ， 因 此 得 证 。 





图 13-1 一 棵 红 黑 树 ， 其 中 黑 结 点 涂 黑 ， 红 结 点 以 浅 阴影 表示 。 在 一 棵 红 黑 树 内 ， 每 个 结 点 或 
红 或 黑 ， 红 结 点 的 两 个 子 结 点 都 是 黑色 ， 且 从 每 个 结 点 到 其 后 代 叶 结 点 的 每 条 简单 路 
径 上 ， 都 包含 相同 数目 的 黑 结 点 。(a) 每 个 标 为 NIL 的 叶 结 点 都 是 黑 的 。 每 个 非 NIL 结 
点 都 标 上 它 的 黑 高 ; NIL 的 黑 高 为 0。(b) 同 样 的 这 棵 红 黑 树 ， 不 是 用 一 个 个 的 NIL 表 
示 ， 而 用 一 个 总 是 黑色 的 哨兵 T. nil 来 代替 ， 它 的 黑 高 也 被 省 略 。 根 结 点 的 父 结 点 也 是 
这 个 哨兵 。(c) 同 样 的 这 棵 红 黑 树 ， 其 叶 结 点 与 根 结 点 的 父 结 点 全 部 被 省 略 。 本 章 的 其 


余部 分 也 采用 这 种 画图 方式 
为 完成 引 理 的 证 明 ， 设 为 树 的 高 度 。 根 据 性 质 4， 从 根 到 叶 结 点 (不 包括 根 结 点 ) 的 任何 一 [309 
条 简单 路 径 上 都 至 少 有 一 半 的 结 点 为 黑色 。 因 此 ， 根 的 黑 高 至 少 为 h/2; 于 是 有 a 
n > Que ae 1 
把 1 移 到 不 等 式 的 左边 ， 再 对 两 边 取 对 数 ， 得 到 lg(n 十 1) 宇 h/2， 或 者 hlg). a 


由 该 引 理 可 知 ， 动 态 集合 操作 SEARCH, MINIMUM, MAXIMUM, SUCCESSOR 和 
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PREDECESSOR 可 在 红 黑 树 上 在 O(lgn) 时 间 内 执行 ， 因 为 这 些 操作 在 一 棵 高 度 为 h 的 二 又 搜索 
树 上 的 运行 时 间 为 O(h) (参见 第 12 章 ) ， 而 任何 包含 ”个 结 点 的 红 黑 树 又 都 是 高 度 为 O(lgz) 的 二 
又 搜索 树 。( 当 然 ， 在 第 12 章 的 算法 中 ，NIL 的 引用 必须 用 T. nil 来 代替 。) 虽 然 当 给 定 一 棵 红 黑 
树 作 为 输入 时 ， 第 12 章 的 算法 TREE-INSERT 和 TREE-DELETE 的 运行 时 间 为 O(lgz) ， 但 是 
这 两 个 算法 并 不 直接 支持 动态 集合 操作 INSERT 和 DELETE， 因 为 它们 并 不 能 保证 被 这 些 操作 
修改 过 的 二 叉 搜 索 树 仍 是 红 黑 树 。 那 么 如 何在 时 间 O(lgz) 内 支持 这 两 个 操作 呢 ， 我 们 将 在 13. 3 
节 和 13.4 节 中 介绍 。 


练习 

13.1-1 按照 图 13-1(a) 的 方式 ， 画 出 在 关键 字 集合 {1，2，…，15} 上 高 度 为 3 的 完全 二 又 搜索 
树 。 以 三 种 不 同方 式 向 图 中 加 入 NIL 叶 结 点 并 对 各 结 点 着 色 ， 使 所 得 的 红 黑 树 的 黑 高 分 
别 为 2、3 和 4。 


13.1-2 对 图 13-1 中 的 红 黑 树 ， 画 出 对 其 调用 TREE-INSERT 操作 插入 关键 字 36 后 的 结果 。 如 
果 插 入 的 结 点 被 标 为 红色 ， 所 得 的 树 是 否 还 是 一 棵 红 黑 树 ? 如 果 该 结 点 被 标 为 黑色 呢 ? 

13. 1-3 ”定义 一 棵 松弛 红 黑 树 (relaxed red-black tree) 为 满足 红 黑 性 质 1、3、4 和 5 的 二 又 搜索 
树 。 换 句 话 说 ， 根 结 点 可 以 是 红色 或 是 黑色 。 考 虑 一 棵 根 结 点 为 红色 的 松弛 红 黑 树 T, 
如 果 将 工 的 根 结 点 标 为 黑色 而 其 他 都 不 变 ， 那 么 所 得 到 的 是 否 还 是 一 棵 红 黑 树 ? 

13.14 假设 将 一 棵 红 黑 树 的 每 一 个 红 结 点 “吸收 ?到 它 的 黑色 父 结 点 中 ， 使 得 红 结 点 的 子 结 点 变 
成 黑色 父 结 点 的 子 结 点 (忽略 关键 字 的 变化 ) 。 当 一 个 黑 结 点 的 所 有 红色 子 结 点 都 被 吸收 
后 ， 它 可 能 的 度 为 多 少 ? 所 得 的 树 的 叶 结 点 深度 如 何 ? 

13.1-5 WEH: 在 一 棵 红 黑 树 中 ， 从 某 结 点 工 到 其 后 代 叶 结 点 的 所 有 简单 路 径 中 ， 最 长 的 一 条 至 
多 是 最 短 一 条 的 2 倍 。 

13. 1-6 在 一 棵 黑 高 为 & 的 红 黑 树 中 ， 内 部 结 点 最 多 可 能 有 多 少 个 ? 最 少 可 能 有 多 少 个 ? 

13.1-7 试 描述 一 棵 含有 个 关键 字 的 红 黑 树 ， 使 其 红色 内 部 结 点 个 数 与 黑色 内 部 结 点 个 数 的 比 
值 最 大 。 这 个 比值 是 多 少 ? 该 比值 最 小 的 树 又 是 怎样 呢 ? 比值 是 多 少 ? 


13.2 旋转 


搜索 树 操作 TREE-INSERT 和 TREE-DELETE 在 含 ” 个 关键 字 的 红 黑 树 上 ， 运 行 花费 时 间 
为 O(lgz) 。 由 于 这 两 个 操作 对 树 做 了 修改 ， 结 果 可 能 违反 13. 1 节 中 列 出 的 红 黑 性 质 。 为 了 维护 
这 些 性 质 ， 必 须要 改变 树 中 某 些 结 点 的 颜色 以 及 指针 结构 。 

指针 结构 的 修改 是 通过 旋转 (ratation) 来 完成 的 ， 这 是 一 种 能 保持 二 又 搜索 树 性 质 的 搜索 树 局 
部 操作 。 图 13-2 中 给 出 了 两 种 旋转 : 左旋 和 右 旋 。 当 在 某 个 结 点 + 上 做 左旋 时 ,假设 它 的 右 孩 子 
为 y 而 不 是 T.nil; 工 可 以 为 其 右 孩 子 不 是 T.nil 结 点 的 树 内 任意 结 点 。 左 旋 以 xz 到 y 的 链 为 “ 支 
轴 ” 进 行 。 它 使 y 成 为 该 子 树 新 的 根 结 点 ，z 成 为 y 的 左 孩 子 ，y 的 左 孩 子 成 为 zx 的 右 孩 子 。 

LEFT-ROTATE (T, x) 


G) Ce CA 
O ”MEGA 网 


a B B Y 


13-2 ”二 又 搜索 树 上 的 旋转 操作 。 操 作 LEFT-ROTATE (T，z) 通 过 改变 常数 数目 的 指针 ， 可 以 将 右边 两 
个 结 点 的 结构 转变 成 左边 的 结构 。 左 边 的 结构 可 以 使 用 相反 的 操作 RIGHT-ROTATE (T，y) 来 转 
变 成 右边 的 结构 。 字 母 c、8 和 ?7 代表 任意 的 子 树 。 旋 转 操作 保持 了 二 又 搜 索 树 的 性 质 : a 的 
关键 字 在 x. key 之 前 ，z. key ÆR 的 关键 字 之 前 ，B 的 关键 字 在 y. key ZM, y- key Æ y WK 
键 字 之 前 
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在 LEFT-ROTATE 的 伪 代 码 中 ， 假设 x. rightAT. nil 且 根 结 点 的 父 结 点 为 T. nilo 


LEFT-ROTATE(T, x) 


1 


O O NaN AUN 


æ 
= O 


12 


y = x. right // set y 
x. right = y. left // turn y’s left subtree into x’s right subtree 
if y. left A T. nil 

y- left. p==z 
y-p= z.p // link z’s parent to y 
if z. p == T. nil 

T. root = y 
elseif x == x. p. left 

z.p. left = y 
else x. p. right = y 
y left =x // put x on y’s left 
xzp=y 


图 13-3 给 出 了 一 个 LEFT-ROTATE 操作 修改 二 又 搜索 树 的 例子 。RIGHT-ROTATE 操作 的 
代码 是 对 称 的 。LEFT-ROTATE 和 RIGHT-ROTATE 都 在 O(1) 时 间 内 运行 完成 。 在 旋转 操作 中 


只 有 指针 改变 ， 其 他 所 有 属性 都 保持 不 变 。 


练习 


13. 2-1 
13. 2-2 
13. 2-3 


13. 2-4 





图 13-3 过 程 LEFT-ROTATE(T，z) 修 改 二 叉 搜 索 树 的 例子 。 输 入 的 树 
和 修改 过 的 树 进行 中 序 遍 历 ， 产 生 相 同 的 关键 字 值 列表 


写 出 RIGHT-ROTATE 的 伪 代 码 。 

证 明 : 在 任何 一 棵 有 个 结 点 的 二 叉 搜索 树 中 ， 恰 有 n 一 1 种 可 能 的 旋转 。 

设 在 图 13-2 左边 一 棵 树 中 ，a、b 和 c 分 别 为 子 树 a、B 和 7 中 的 任意 结 点 。 当 结 点 ce 
WZ. a, b Alc 的 深度 会 如 何 变化 ? 

证 明 : 任何 一 棵 含 ” 个 结 点 的 二 又 搜索 树 可 以 通过 O(z) 次 旋转 ， 转 变 为 其 他 任何 一 棵 
含 ”个 结 点 的 二 叉 搜索 树 。( 提 示 : 先 证 明 至 多 "一 1 次 右 旋 足以 将 树 转变 为 一 条 右 侧 伸 
展 的 链 。) 
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*13.2-5 ”如果 能 够 使 用 一 系列 的 RIGHT-ROTATE 调用 把 一 个 二 叉 搜 索 树 T 变 为 二 又 搜索 树 
Tr, WE T, 可 以 右 转 (right-converted) 成 T,。 试 给 出 一 个 例子 表示 两 棵 树 T, A T: H 


= 中 五 不 能 够 右 转 成 五 。 然 后， 证 明 : 如 果 T 可 以 右 转 成 五 ， 那 么 它 可 以 通过 OCz) 次 
314 RIGHT-ROTATE 调用 来 实现 右 转 。 
13.3 插入 


我 们 可 以 在 Ol(lgn) 时 间 内 完成 向 一 棵 含 个 结 点 的 红 黑 树 中 插入 一 个 新 结 点 。 为 了 做 到 这 
一 点 ， 利 用 TREE-INSERT 过 程 (参见 12. 3 节 ) 的 一 个 略 作 修 改 的 版 本 来 将 结 点 = 插 人 树 工 内 ， 
就 好 像 工 是 一 棵 普通 的 二 又 搜索 树 一 样 ， 然 后 将 z 着 为 红色 。( 练 习 13. 3-1 要 求解 释 为 什么 选择 
将 结 点 着 为 红色 ， 而 不 是 黑色 。) 为 保证 红 黑 性 质 能 继续 保持 ， 我 们 调用 一 个 辅助 程序 RB- 
INSERT-FIXUP 来 对 结 点 重新 着 色 并 旋转 。 调 用 RB-INSERT(T, z) E24. BMT ARAB z, 
假设 z 的 key 属性 已 被 事先 赋值 。 


RB-INSERT(T, z) 
1 y= T.nil 
2 x= T.root 

3 whilez T. nil 

4 ?一 工 

5 if z. key < zx. key 

6 x=rz.left 

7 else z = z. right 

8 wp=y 

9 if y == T.nil 

10 T. root = z 

11 elseif z. key < y. key 

12 y- left =z 

13 else y. right = z 

14 z left = T. nil 

15 z. right = T. nil 

16 z.color = RED 

17 RB-INSERT-FIXUP(T, z) 


过 程 TREE-INSERT 和 RB-INSERT 之 间 有 4 处 不 同 。 第 一 ，TREE-INSERT' 内 的 所 有 NIL 
都 被 T. nil 代替 。 第 二 ，RB-INSERT 的 第 14 一 15 77 Fi z. left Miz. right 为 T.nil， 以 保持 合理 的 
树 结构 。 第 三 ， 在 第 16 行将 着 为 红色 。 第 四 ， 因 为 将 z 着 为 红色 可 能 违反 其 中 的 一 条 红 黑 性 
质 ， 所 以 在 RB-INSERT 的 第 17 行 中 调用 RB-INSERT-FIXUP(T，z) 来 保持 红 黑 性 质 。 
RB-INSERT-FIXUP(T, z) 


1 while z. p. color == RED 
2 if z. p == z. p. p. left 


3 y = z. p. p. right 

4 if y. color == RED 

5 z. p. color = BLACK // case 1 
6 y. color = BLACK // case 1 
7 z. p. p. color = RED // case 1 
8 z=z. p.p // case 1 
9 


else if z == z. p. right 
10 z= zp // case 2 
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11 LEFT-ROTATE(T, z) // case 2 
12 z. p. color = BLACK // case 3 
13 z. p. p. color = RED // case 3 
14 RIGHT-ROTATE(T, z. p. p) // case 3 
15 else(same as then clause 


with “right” and “left” exchanged) 
16 T. root. color = BLACK 


为 了 理解 RB-INSERT-FIXUP 过 程 如 何 工作 ， 把 代码 分 为 三 个 主要 的 步 又。 首先 ， 要 确定 
当 结 点 = 被 插入 并 着 为 红色 后 ， 红 黑 性 质 中 有 哪些 不 能 继续 保持 。 其 次 ， 应 分 析 第 1 一 15 行 中 
while 循环 的 总 目标 。 最 后 ， 要 分 析 while 循环 体 中 的 三 种 情况 ， 看 看 它们 是 如 何 完成 目标 的 。 
图 13-4 给 出 一 个 范例 ， 显 示 在 一 棵 红 黑 树 上 RB-INSERT-FIXUP 如 何 操作 。 


(a) 


(b) 


Cc) 


(d) 





图 13-4 RB-INSERT-FIXUP 操作 。(a) 插 入 后 的 结 点 z。 由 于 zx 和 它 的 父 结 点 z. p 都 是 红色 
的 ， 所 以 违反 了 性 质 4。 由 于 z 的 叔 结 点 y 是 红色 的 ， 可 以 应 用 程序 中 的 情况 1。 结 
点 被 重新 着 色 ， 并 且 指 针 = 沿 树 上 升 ， 所 得 的 树 如 (b) 所 示 。 再 一 次 = 及 其 父 结 点 又 
都 为 红色 ,但 z 的 叔 结 点 y 是 黑色 的 。 因 为 z 是 z.p 的 右 孩 子 ， 可 以 应 用 情况 2。 在 
执行 1 次 左旋 之 后 ， 所 得 结果 树 见 (c)。 现 在 ，z 是 其 父 结 点 的 左 孩子 ， 可 以 应 用 情 
况 3。 重 新 着 色 并 执行 一 次 右 旋 后 得 (d) 中 的 树 ， 它 是 一 棵 合法 的 红 黑 树 


O 情况 2 可 以 转 为 情况 3， 于 是 这 两 种 情况 就 不 是 各 自 独立 的 了 。 
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在 调用 RB-INSERT-FIXUP 操作 时 ， 哪 些 红 黑 性 质 可 能 会 被 破坏 呢 ? 性 质 1 和 性 质 3 继续 成 
立 ， 因 为 新 插入 的 红 结 点 的 两 个 子 结 点 都 是 哨兵 T. xz。 性 质 5， 即 从 一 个 指定 结 点 开始 的 每 条 
简单 路 径 上 的 黑 结 点 的 个 数 都 是 相等 的 ， 也 会 成 立 ， 因 为 结 点 = 代替 了 (黑色 ) 哨 兵 ， 并 且 结 点 = 
本 身 是 有 哨兵 孩子 的 红 结 点 。 这 样 来 看 ， 仅 可 能 被 破坏 的 就 是 性 质 2 和 性 质 4， 即 根 结 点 需要 为 
黑色 以 及 一 个 红 结 点 不 能 有 红 孩 子 。 这 两 个 性 质 可 能 被 破坏 是 因为 = 被 着 为 红色 。 如 果 z 是 根 结 
点 ， 则 破坏 了 性 质 2; WR z 的 父 结 点 是 红 结 点 ， 则 破坏 了 性 质 4。 图 13-4(a) 显 示 在 插入 结 点 z 
之 后 性 质 4 被 破坏 的 情况 。 

第 1 一 15 行 中 的 while 循环 在 每 次 迭代 的 开头 保持 下 列 3 个 部 分 的 不 变 式 : 

a. 结 点 z 是 红 结 点 。 

b. WR z. p 是 根 结 点 ， 则 = p 是 黑 结 点 。 

_c. 如 果 有 任何 红 黑 性 质 被 破坏 ， 则 至 多 只 有 一 条 被 破坏 ,或 是 性 质 2， 或 是 性 质 4。 如 果 性 
质 2 被 破坏 ， 其 原因 为 = 是 根 结 点 且 是 红 结 点 。 如 果 性 质 4 被 破坏 ， 其 原因 为 z 和 xz. p 都 是 红 
结 点 。 

c 部 分 处 理 红 黑 性 质 的 破坏 ， 相 比 a 部 分 和 b 部 分 来 说 ， 显 得 更 是 RB-INSERT-FIXUP 保持 
红 黑 性 质 的 中 心 内 容 ， 我 们 以 此 来 理解 代码 中 的 各 种 情形 。 由 于 将 注意 力 集 中 在 结 点 z 以 及 树 中 
靠近 它 的 结 点 上 ， 所 以 有 助 于 从 a 部 分 得 知 z 为 红 结 点 。 当 在 第 2、3、7、8、13 和 14 行 中 引用 
z. p. 时 ， 我 们 使 用 b 部 分 来 表明 它 的 存在 。 

需要 证 明 在 循环 的 第 一 次 迭代 之 前 循环 不 变 式 为 真 ， 每 次 迭代 都 保持 这 个 循环 不 变 式 成 立 ， 
并 且 在 循环 终止 时 ， 这 个 循环 不 变 式 会 给 出 一 个 有 用 的 性 质 。 

先 从 初始 化 和 终止 的 不 变 式 证 明 开 始 。 然 后 ， 依 据 细 致 地 考察 循环 体 如 何 工 作 ， 来 证 明 循 环 
在 每 次 迭代 中 都 保持 这 个 循环 不 变 式 。 同 时 ， 还 要 说 明 循 环 的 每 次 迭代 会 有 两 种 可 能 的 结果 : 或 
者 指针 = 沿 着 树 上 移 ， 或 者 执行 某 些 旋转 后 循环 终止 。 

初始 化 : 在 循环 的 第 一 次 迭代 之 前 ， 从 一 棵 正常 的 红 黑 树 开始 ， 并 新 增 一 个 红 结 点 z。 

要 证 明 当 RB-INSERT-FIXUP 被 调用 时 ， 不 变 式 的 每 个 部 分 都 成 立 。 

a. 当 调 用 RB-INSERT-FIXUP Hf, z 是 新 增 的 红 结 点 。 

b. 如 果 z. p 是 根 ， 那 么 z p 开始 是 黑色 的 ， 且 在 调用 RB-INSERT-FIXUP 之 前 保持 不 变 。 

c 注意 到 在 调用 RB-INSERT-FIXUP AY, 性质 1、 性 质 3 和 性 质 5 成 立 。 

如 果 违 反 了 性 质 2， 则 红色 根 结 点 一 定 是 新 增 结 点 z， 它 是 树 中 唯一 的 内 部 结 点 。 因 为 z 的 
父 结 点 和 两 个 子 结 点 都 是 黑色 的 哨兵 ， 没 有 违反 性 质 4。 这 样 ， 对 性 质 2 的 违反 是 整 棵 树 中 唯一 
违反 红 黑 性 质 的 地 方 。 

如 果 违 反 了 性 质 4， 则 由 于 z 的 子 结 点 是 黑色 哨兵 ， 且 该 树 在 z 加 入 之 前 没有 其 他 性 质 的 违 
反 ， 所 以 违反 必然 是 因为 z 和 xz. p 都 是 红色 的 。 而 且 ， 没有 其 他 红 黑 性 质 被 违反 。 

终止 : 循环 终止 是 因为 z. p 是 黑色 的 。( 如 果 z 是 根 结 点 ， 那 么 z p EREK T. nil.) iX 
样 ， 树 在 循环 终止 时 没有 违反 性 质 4。 根 据 循环 不 变 式 ， 唯 一 可 能 不 成 立 的 是 性 质 2。 第 16 行 恢 
复 这 个 性 质 ， 所 以 当 RB-INSERT-FIXUP 终止 时 ， 所 有 的 红 黑 性 质 都 成 立 。 

保持 : 实际 需要 考虑 while 循环 中 的 6 种 情况 ， 而 其 中 三 种 与 另外 三 种 是 对 称 的 。 这 取决 于 第 2 
行 中 zz 的 父 结 点 zp 是 z 的 祖父 结 点 z p. p 的 左 孩 子 ， 还 是 右 孩 子 。 我 们 只 给 出 < 嫁 是 左 孩子 时 的 代 
码 。 根 据 循环 不 变 式 的 b 部 分 ， 如果 z p 是 根 结 点 ， 那 么 z p 是 黑色 的 ， 可 知 结 点 z p. p 存在 。 因 为 
只 有 在 z p 是 红色 时 才 进 入 一 次 循环 迭代 ， 所 以 z p 不 可 能 是 根 结 点 。 因 此 ，z. p. p 存在 。 

情况 1 和 情况 2、 情 况 3 的 区 别 在 于 = 父亲 的 兄弟 结 点 (或 称 为 “ 叔 结 点 ”) 的 颜色 不 同 。 第 3 行 
使 y 指 向 z 的 叔 结 点 z. p. p. right， 在 第 4 行 测试 y 的 颜色 。 如 果 y 是 红色 的 ， 那么 执行 情况 1。 否 
则 ， 控 制 转向 情况 2 和 情况 3 上 。 在 所 有 三 种 情况 中 ，z 的 祖父 结 点 z. p p 是 黑色 的 ， 因 为 它 的 
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父 结 点 z. p 是 红色 的 ， 故 性 质 4 RHE zA z. 之 间 被 破坏 了 。 

情况 1: z 的 叔 结 点 》 是 红色 的 

图 13-5 显示 了 情况 1 (第 5 一 8 行 ) 的 情形 ， 这 种 情况 在 z p 和 y 都 是 红色 时 发 生 。 因 为 
z. p. p 是 黑色 的 ， 所 以 将 z p Aly 都 着 为 黑色 ， 以 此 解决 < Az. p 都 是 红色 的 问题 ,将 z p 着 
为 红色 以 保持 性 质 5。 然 后 ， 把 = p. p 作为 新 结 点 z 来 重复 while 循环 。 指针 = 在 树 中 上 移 两 层 。 





图 13-5 ”过程 RB-INSERT-FIXUP 中 的 情况 1。 性 质 4 被 违反 ， 因 为 z 和 它 的 父 结 点 z. p 
都 是 红色 的 。 无 论 z 是 一 个 右 孩 子 ( 图 (a)) 还 是 一 个 左 孩子 (图 (b))， 都 同样 处 
H. ERTH a p y Me 都 有 一 个 黑色 根 结 点 ， 而 且 具 有 相同 的 黑 高 。 
情况 1 的 代码 改变 了 某 些 结 点 的 颜色 ， 但 保持 了 性 质 5: 从 一 个 结 点 向 下 到 一 个 
叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点 。while 循环 将 结 点 z 的 祖父 
zx. 力 .力作 为 新 的 = 以 继续 迭代 。 现 在 性 质 4 的 破坏 只 可 能 发 生 在 新 的 红色 结 点 = 
和 它 的 父 结 点 之 间 ， 条 件 是 如 果 父 结 点 也 为 红色 的 


现在 ， 证 明 情 况 1 在 下 一 次 循环 迭代 的 开头 会 保持 这 个 循环 不 变 式 。 用 = 表示 当前 和 迭代 中 的 
结 点 z， 用 xz =z. p. p 表示 在 下 一 次 迭代 第 1 行 测试 时 的 结 点 z。 

a 因为 这 次 迭代 把 z. p. p 着 为 红色 ， 结 点 x 在 下 次 迭代 的 开始 是 红色 的 。 

b 在 这 次 迭代 中 结 点 z. p 是 z. pp. p， 且 这 个 结 点 的 颜色 不 会 改变 。 如 果 它 是 根 结 点 ， 则 
在 此 次 和 迭代 之 前 它 是 黑色 的 ， 且 它 在 下 次 和 迭代 的 开头 仍然 是 黑色 的 。 

c. 我 们 已 经 证 明 情 况 1 保持 性 质 5， 而 且 它 也 不 会 引起 性 质 1 或 性 质 3 的 破坏 。 

如 果 结 点 x 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 在 这 次 迭代 中 情况 1 修正 了 唯一 被 破坏 的 性 质 
4。 由 于 x 是 红色 的 而 且 是 根 结 点 ， 所 以 性 质 2 成 为 唯一 被 违反 的 性 质 ， 这 是 由 x 导致 的 。 

如 果 结 点 x 在 下 一 次 迭代 开始 时 不 是 根 结 点 ， 则 情况 1 不 会 导致 性 质 2 的 破坏 。 情 况 1 修正 
了 在 这 次 迭代 的 开始 唯一 违反 的 性 质 4。 然 后 它 把 x 着 为 红色 而 x'. p 不 变 。 如 果 z. p 是 黑色 的 ， 
则 没有 违反 性 质 4。 如 果 zx. p 是 红色 的 ， 则 把 = 着 为 红色 会 在 z Gz’. p 之 间 造 成 性 质 4 的 违反 。 

情况 2: z 的 叔 结 点 是 黑色 的 且 z 是 一 个 右 孩子 

情况 3: z 的 叔 结 点 y 是 黑色 的 且 z 是 一 个 左 孩子 

在 情况 2 和 情况 3 中 ，z 的 叔 结 点 y 是 黑色 的 。 通 过 < 是 z. p 的 右 孩 子 还 是 左 孩 子 来 区 别 这 
两 种 情况 。 第 10 一 11 行 构成 了 情况 2， 它 和 情况 3 一 起 显示 在 图 13-6 中 。 在 情况 2 中 ， 结 点 = 
是 它 的 父 结 点 的 右 孩 子 。 可 以 立即 使 用 一 个 左旋 来 将 此 情形 转变 为 情况 3( 第 12 一 14 行 )， 此 时 
结 点 z HEBT. AH zA z. zp 都 是 红色 的 ， 所 以 该 旋转 对 结 点 的 黑 高 和 性 质 5 都 无 影响 。 无 论 
是 直接 进入 情况 2， 还 是 通过 情况 3 进入 情况 2，z MGA 总 是 黑色 的 ， 因 为 否则 就 要 执行 情 
况 1。 此 外 ， 结 点 z p.p 存在 ， 因 为 已 经 推断 在 执行 第 2 行 和 第 3 行 时 该 结 点 存在 ， 且 在 第 10 
行将 z 往 上 移 一 层 ， 然 后 在 第 11 行 将 z 往 下 移 一 层 之 后 ，xz. p p 的 身份 保持 不 变 。 在 情况 3 中 ， 
改变 某 些 结 点 的 颜色 并 做 一 次 右 旋 ， 以 保持 性 质 5。 这 样 ， 由 于 在 一 行 中 不 再 有 两 个 红色 结 点 ， 
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所 有 的 处 理 到 此 完毕 。 因 为 此 时 z p 是 黑色 的 ， 所 以 无 需 再 执行 一 次 while 循环 。 





情况 2 情况 3 


13-6 ”过程 RB-INSERT-FIXUP 中 的 情况 2 和 情况 3。 如 同情 况 1， 由 于 xz 和 它 的 父 结 点 z. p 
都 是 红色 的 ， 性质 4 在 情况 2 或 情况 3 中 会 被 破坏 。 每 一 棵 子 树 a、B、Y 和 6 都 有 一 个 
黑色 根 结 点 (a、B 和 7 是 由 性 质 4 而 来 , 6 也 有 黑色 根 结 点 ， 因 为 否则 将 导致 情况 1)， 
而 且 具 有 相同 的 黑 高 。 通 过 左旋 将 情况 2 转变 为 情况 3， 以 保持 性 质 5: 从 一 个 结 点 向 
下 到 一 个 叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点 。 情 况 3 引起 某 些 结 点 颜色 的 
改变 ， 以 及 一 个 同样 为 了 保持 性 质 5 的 右 旋 。 然 后 while 循环 终止 ， 因 为 性 质 4 已 经 得 
到 了 满足 : 一 行 中 不 再 有 两 个 红色 结 点 


现在 来 证 明 情 况 2 和 情况 3 保持 了 循环 不 变 式 。( 正 如 已 经 讨论 的 ，z.p 在 第 1 行 中 下 一 次 
测试 会 是 黑色 ， 循 环 体 不 会 再 次 执行 。) 

a. 情况 2 让 z 指 向 红色 的 z.p。 在 情况 2 和 情况 3 中 = 或 z 的 颜色 都 不 再 改变 。 

b. 情况 3 把 z. p 着 成 黑色 ， 使 得 如 果 z. p 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 它 是 黑色 的 。 

c 如 同情 况 1， 性 质 1、 性 质 3 和 性 质 5 在 情况 2 与 情况 3 中 得 以 保持 。 

由 于 结 点 在 情况 2 和 情况 3 中 都 不 是 根 结 点 ， 所 以 性 质 2 没有 被 破坏 。 情 况 2 和 情况 3 不 会 
引起 性 质 2 的 违反 ， 因 为 唯一 着 为 红色 的 结 点 在 情况 3 中 通过 旋转 成 为 一 个 黑色 结 点 的 子 结 点 。 

情况 2 和 情况 3 修正 了 对 性 质 4 的 违反 ， 也 不 会 引起 对 其 他 红 黑 性 质 的 违反 。 

证 明了 循环 的 每 一 次 迭代 都 会 保持 循环 不 变 式 之 后 ， 也 就 证 明了 RB-INSERT-FIXUP 能 够 
正确 地 保持 红 黑 性 质 。 

分 析 

RB-INSERT 的 运行 时 间 怎 样 呢 ?由 于 一 棵 有 个 结 点 的 红 黑 树 的 高 度 为 Ol(lgn)， 因 此 RB- 
INSERT 的 第 1~16 行 要 花费 Ol(lgn) 时 间 。 在 RB-INSERT-FIXUP H, 仅 当 情况 1 发 生 ， 然 后 指 
St = 沿 着 树 上 升 2 层 ，while 循环 才 会 重复 执行 。 所 以 while 循环 可 能 被 执行 的 总 次 数 为 O(lgn)。 
因此 ，RB-INSERT 总 共 花 费 O(lgn) 时 间 。 此 外 ， 该 程序 所 做 的 旋转 从 不 超过 2 次 ， 因 为 只 要 执 
行 了 情况 2 或 情况 3，while 循环 就 结束 了 。 


练习 

13.3-1 在 RB-INSERT 的 第 16 行 ， 将 新 插入 的 结 点 x 着 为 红色 。 注 意 到 ， 如 果 将 = 着 为 黑色 ， 
则 红 黑 树 的 性 质 4 就 不 会 被 破坏 。 那 么 为 什么 不 选择 将 = 着 为 黑色 呢 ? 

13.3-2 ”将 关键 字 41、38、31、12、19、8 连续 地 插入 一 棵 初始 为 空 的 红 黑 树 之 后 ， 试 画 出 该 结 
果树 。 

13.3-3 假设 图 13-5 和 图 13-6 HFa, p y SAE 的 黑 高 都 是 k。 给 每 张 图 中 的 每 个 结 点 标 上 
黑 高 ， 以 验证 图 中 所 示 的 转换 能 保持 性 质 5。 

13.3-4 Teach 教授 担心 RB-INSERT-FIXUP 可 能 将 T. nil. color 设 为 RED， 这 时 ， 当 z 为 根 时 ， 
第 1 行 的 测试 就 不 会 让 循环 终止 。 通 过 讨论 RB-INSERT-FIXUP 永远 不 会 将 nil. color 
设置 为 RED， 来 说 明 这 位 教授 的 担心 是 没有 必要 的 。 

13.3-5 考虑 一 棵 用 RB-INSERT 插入 nn 个 结 点 而 成 的 红 黑 树 。 证 明 : 如 果 n 二 1， 则 该 树 至 少 有 
一 个 红 结 点 。 
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13.3-6 说明 如 果 红 黑 树 的 表示 中 不 提供 父 指针 ， 应 当 如 何 有 效 地 实现 RB-INSERT. 


13.4 删除 

与 n 个 结 点 的 红 黑 树 上 的 其 他 基本 操作 一 样 ， 删 除 一 个 结 点 要 花费 Ol(lgn) 时 间 。 与 插入 操 
作 相 比 ， 删 除 操作 要 稍微 复杂 些 。 

从 一 棵 红 黑 树 中 删除 结 点 的 过 程 是 基于 TREE-DELETE 过 程 ( 见 12. 3 节 ) 而 来 的 。 HE, 
要 特别 设计 一 个 供 TREE-DELETE 调用 的 子 过 程 TRANSPLANT， 并 将 其 应 用 到 红 黑 树 上 : 


RB-TRANSPLANT(T, u, v) 

1 ifu. p == T. nil 

2 T.root =v 

3 elseif u == u. p. left 

4 up. left=v 

5 else u. p. right = v 

6up=up 

it #2 RB-TRANSPLANT 43 TRANSPLANT 有 两 点 不 同 。 首 先 ， 第 1 行 引 用 哨兵 T. nil 而 不 
是 NIL。 其 次 , 第 6 行 对 wv.p 的 赋值 是 无 条 件 执 行 : 即使 v 指 向 哨兵 ， 也 要 对 v.p 赋值 。 实 际 
上 ， 当 w==T.nil 时， 也 能 给 v p 赋值。 

过 程 RB-DELETE 与 TREE-DELETE 类 似 ， 只 是 多 了 几 行 伪 代 码 。 多 出 的 几 行 代码 记录 结 
点 y 的 踪迹 ，y> 有 可 能 导致 红 黑 性 质 的 破坏 。 当 想 要 删除 结 点 >， 且 此 时 z 的 子 结 点 少 于 2 个 时 ， 
z 从 树 中 删除 ， 并 让 > 成 为 <。 当 < 有 两 个 子 结 点 时 ，y 应 该 是 z 的 后 继 ， 并 且 y 将 移 至 树 中 的 = 
位 置 。 在 结 点 被 移 除 或 者 在 树 中 移动 之 前 ， 必 须 记 住 y 的 颜色 ， 并 且 记 录 结 点 工 的 踪迹 ， 将 工 移 
至 树 中 y 的 原来 位 置 ， 因 为 结 点 工 也 可 能 引起 红 黑 性 质 的 破坏 。 删 除 结 点 = 之 后 ，RB-DELETE 
调用 一 个 辅助 过 程 RB-DELETE-FIXUP, 该 过 程 通过 改变 颜色 和 执行 旋转 来 恢复 红 黑 性 质 。 


RB-DELETE(T, z) 
l y=z 
2 yoriginal-color = y. color 
3 if z. left == T. nil 
4 x = z. right 
5 RB-TRANSPLANT(T, z, z. right) 
6 elseif z. right == T. nil 
7 z= z. left 
8 RB-TRANSPLANT(T, z, z. left) 
9 else y = TREE-MINIMUM (z. right) 
10 yoriginal-color = y. color 
11 x = y. right 
12 if y. p == z 


13 tp ™ y 

14 else RB-TRANSPLANT(T, y, y. right) 
15 y. right = z. right 

16 y. right. p = y 


17 RB-TRANSPLANT(T, z, y) 
18 y. left = z. left 

19 y. left. p = y 

20 y. color = z. color 

21 if yoriginal-color == BLACK 
22 RB-DELETE-FIXUP(T, x) 


323 


184 


第 三 部 分 数据 结构 


虽然 RB-DELETE 包含 的 擅 代 码 行 数 几 乎 是 TREE-DELETE 的 2 倍 ， 但 这 两 个 过 程 具有 相 
同 的 基本 结构 。 在 RB-DELETE 中 能 够 找到 TREE-DELETE 的 每 一 行 语句 (其 中 NIL 被 替换 成 
T T.nil， 而 调用 TRANSPLANT 换 成 了 调用 RB-TRANSPLANT) ， 其 执行 的 条 件 相同 。 

下 面 是 两 个 过 程 之 间 的 其 他 区 别 : 


始终 维持 结 点 y 为 从 树 中 删除 的 结 点 或 者 移 至 树 内 的 结 点 。 当 = 的 子 结 点 少 于 2 个 时 ， 

第 1 行将 > 指向 =， 并 因此 要 移 除 。 当 = 有 两 个 子 结 点 时 ， 第 9 行将 > 指 向 z 的 后 继 ， 这 

与 TREE-DELETE 相同 ，y 将 移 至 树 中 z 的 位 置 。 

由 于 结 点 y 的 颜色 可 能 改变 ， 变 量 y-original-color 存储 了 发 生 改 变 前 的 y 颜色 。 第 2 行 

和 第 10 行 在 给 y 赋值 之 后 ， 立 即 设置 该 变量 。 当 > 有 两 个 子 结 点 时 ， 则 yér 且 结 点 y 

移 至 红 黑 树 中 结 点 的 原始 位 置 ; 第 20 行 给 > 赋予 和 >z 一 样 的 颜色 。 我 们 需要 保存 y 的 

原始 颜色 ， 以 在 RB-DELETE 结束 时 测试 它 ， 如 果 它 是 黑色 的 ， 那 么 删除 或 移动 > 会 引 

起 红 黑 性 质 的 破坏 。 

正如 前 面 讨论 过 的 ， 我 们 保存 结 点 z 的 踪迹 ， 使 它 移 至 结 点 y 的 原始 位 置 上 。 第 4、7 和 

11 行 的 赋值 语句 令 xz 或 指向 y 的 唯一 子 结 点 或 指向 哨兵 T. nil QR y 没有 子 结 点 )。( 回 

忆 一 下 12. 3 y 没有 左 孩 子 的 情形 。) 

因为 结 点 z 移动 到 结 点 y 的 原始 位 置 ， 属 性 x. p 总 是 被 设置 指向 树 中 yy 父 结 点 的 原始 位 

置 ， HEM r EHR T. nil 时 也 是 这 样 。 除 非 z 是 y 的 原始 父 结 点 (该 情况 只 在 > 有 两 个 

孩子 且 它 的 后 继 y 是 z 的 右 孩 子 时 发 生 )， 否 则 对 x. p 的 赋值 在 RB-TRANSPLANT 的 第 

6 行 。( 注 意 到 ,在 第 5、8 或 14 行 调用 RB-TRANSPLANT 时 ,传递 的 第 2 个 参数 与 xz 

相同 。) 然 而 ， 当 > 的 原 父 结 点 是 z 时 ， 我 们 并 不 想 让 zx. p 指向 y 的 原始 父 结 点 ， 因 为 要 

在 树 中 删除 该 结 点 。 由 于 结 点 > 将 在 树 中 向 上 移动 占据 z 的 位 置 ， 第 13 行 将 x. p 设置 为 

ys EG x. p 指向 y 父 结 点 的 原始 位 置 ， 其 至 当 xz==T. nil 时 也 是 这 样 。 

最 后 ， 如 果 结 点 y 是 黑色 ， 就 有 可 能 已 经 引入 了 一 个 或 多 个 红 黑 性 质 被 破坏 的 情况 ， 所 

以 在 第 22 行 调用 RB-DELETE-FIXUP 来 恢复 红 黑 性 质 。 如 果 y 是 红色 ， 当 > 被 删除 或 

移动 时 ， 红 黑 性 质 仍然 保持 ， 原 因 如 下 : 

1. 树 中 的 黑 高 没有 变化 。 

2. 不 存在 两 个 相 邻 的 红 结 点 。 因 为 > 在 树 中 占据 了 z 的 位 置 ， 再 考虑 到 z 的 颜色 ， 树 中 y 
的 新 位 置 不 可 能 有 两 个 相 邻 的 红 结 点 。 另 外 ， 如 果 y 不 是 = 的 右 孩 子 ， 则 y 的 原 右 孩子 
并 代替 y。 如 果 y 是 红色 ， 则 z 一 定 是 黑色 ， 因 此 用 工 蔡 代 > 不 可 能 使 两 个 红 结 点 相 邻 。 

3. WR > 是 红色 ， 就 不 可 能 是 根 结 点 ， 所 以 根 结 点 仍旧 是 黑色 。 


如 果 结 点 y 是 黑色 的 ， 则 会 产生 三 个 问题 ， 可 以 通过 调用 RB-DELETE-FIXUP 进行 补救 。 
第 一 ， 如 果 y 是 原来 的 根 结 点 ， 而 y 的 一 个 红色 的 孩子 成 为 新 的 根 结 点 ， 这 就 违反 了 性 质 2。 第 
Z, WR rr. p 是 红色 的 ， 则 违反 了 性 质 4。 第 三 ， 在 树 中 移动 y 将 导致 先前 包含 y 的 任何 简 
单 路 径 上 黑 结 点 个 数 少 1。 因 此 ，y 的 任何 祖先 都 不 满足 性 质 5。 改 正 这 一 问题 的 办 法 是 将 现在 
占有 y 原来 位 置 的 结 点 并 视 为 还 有 一 重 额外 的 黑色 。 也 就 是 说 ， 如 果 将 任意 包含 结 点 工 的 简单 路 
径 上 黑 结 点 个 数 加 1， 则 在 这 种 假设 下 ,性质 5 成 立 。 当 将 黑 结 点 y 删除 或 移动 时 ， 将 其 黑色 
“下 推 ”给 结 点 zx。 现 在 问题 变 为 结 点 工 可 能 既 不 是 红色 ， 又 不 是 黑色 ， 从 而 违反 了 性 质 1。 现 在 
的 结 点 工 是 双重 黑色 或 者 红 黑 色 ， 这 就 分 别 给 包含 x 的 简单 路 径 上 黑 结 点 数 贡献 了 2 或 1。z 的 
color 属性 仍然 是 RED( 如 果 工 是 红 黑 色 的 ) 或 者 BLACK( 如 果 工 是 双重 黑色 的 )。 换 句 话 说 ， 结 
点 额外 的 黑色 是 针对 工 结 点 的 ， 而 不 是 反映 在 它 的 color 属性 上 的 。 

现在 我 们 来 看 看 过 程 RB-DELETE-FIXUP 是 如 何 恢 复 搜索 树 的 红 黑 性 质 的 。 
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RB-DELETE-FIXUP(T, x) 
1 while xz Æ T. root and z. color == BLACK 


2 if x == zx. p. left 

2 w = zx. p. right 

4 if w. color == RED 

5 w. color = BLACK // case 1 
6 x. p. color = RED // case 1 
7 LEFT-ROTATE(T, zx. p) // case 1 
8 w = x. p. right // case 1 
9 if w. left. color == BLACK and w. right. color == BLACK 

10 w. color = RED / case 2 
11 xr=2.p // case 2 
12 else if w. right. color == BLACK 

13 w. le ft. color = BLACK // case 3 
14 w. color = RED // case 3 
15 RIGHT-ROTATE(T,w) // case 3 
16 w = zx. p. right // case 3 
17 w. color = zx. p. color // case 4 
18 zx. p. color = BLACK // case 4 
19 w. right. color = BLACK // case 4 
20 LEFT-ROTATE(T, zx. p) / case 4 
21 x = T. root // case 4 
22 else (same as then clause with “right” and “left” exchanged) 


23 x. color = BLACK 


过 程 RB-DELETE-FIXUP 恢复 性 质 1、 性 质 2 和 性 质 4。 练 习 13. 4-1 和 13. 4-2 要 求 读 者 说 
明 这 个 过 程 是 如 何 恢复 性 性 质 2 和 性 质 4 的 ， 因 此， 本 节 的 其 余部 分 将 专注 于 性 质 1。 第 1 一 22 
行 中 while 循环 的 目标 是 将 额外 的 黑色 沿 树 上 移 ， 直 到 : 

1. 工 指向 红 黑 结 点 ， 此 时 在 第 23 行 中 ， 将 z 着 为 (单个 ) 黑 色 。 

2. 工 指向 根 结 点 ， 此 时 可 以 简单 地 “ 移 除 ” 额 外 的 黑色 。 

3. 执行 适当 的 旋转 和 重新 着 色 ， 退 出 循环 。 

在 while 循环 中 ，z 总 是 指向 一 个 具有 双重 黑色 的 非 根 结 点 。 在 第 2 行 中 要 判断 zx 是 其 父 结 
点 工 .的 左 孩 子 还 是 右 孩 子 。( 已 经 给 出 了 工 为 左 孩 子 时 的 代码 ; z 为 右 孩 子 的 第 22 行 的 代码 是 
对 称 的 。) 保 持 指 针 ww 指向 zx 的 兄弟 。 由 于 结 点 并 是 双重 黑色 的 ， 故 wR REE T. nil, AWG 
W, A z.p 至 ( 单 黑色 ) 叶 子 多 的 简单 路 径 上 的 黑 结 点 个 数 就 会 小 于 从 zz. p A a 的 简单 路 径 上 的 
黑 结 点 数 。 

图 13-7 给 出 了 代码 中 的 4 种 情况 ? 。 在 具体 研究 每 一 种 情况 之 前 ， 先 看 看 如 何 证 实 每 种 情况 
中 的 变换 保持 性 质 5。 关 键 思想 是 在 每 种 情况 中 ， 从 子 树 的 根 ( 包 括 根 ) 到 每 棵 子 树 a，B，…，& 
之 间 的 黑 结 点 个 数 ( 包 括 z 的 额外 黑色 ) 并 不 被 变换 改变 。 因 此 ， 如 果 性 质 5 在 变换 之 前 成 立 ， 那 
么 变换 之 后 也 仍然 成 立 。 举 例 说 明 ， 图 13-7(a) 说 明了 情况 1， 在 变换 前 后 ， 根 结 点 至 子 树 a 或 B 
之 间 的 黑 结 点 数 都 是 3。( 再 次 记 住 ， 结 点 z 增加 了 额外 一 重 黑色 。) 类 似 地 ， 在 变换 前 后 根 结 点 
EFH y e e 和 < 中 的 任何 一 个 之 间 的 黑 结 点 数 都 是 2。 在 图 13-7(b) 中 ， 计 数 时 还 要 包括 所 示 
子 树 的 根 结 点 的 color RER c, CRE RED 或 是 BLACK。 如 果 定 义 count(RED) =0 以 及 
count(BLACK) 王 1， 那 么 变换 前 后 根 结 点 至 a 的 黑 结 点 数 都 为 2 十 count(c)。 在 此 情况 下 ， 变 换 


© 参见 过 程 RBINSERT-FIXUP，RB-DELETE-FIXUP 中 的 4 种 情况 并 不 是 完全 独立 的 。 
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之 后 新 结 点 之 具有 color 属性 值 <， 但 是 这 个 结 点 的 颜色 是 红 黑 (如 果 c 王 RED) 或 者 双重 黑色 的 
(如 果 c=BLACK)。 其 他 情况 可 以 类 似 地 加 以 验证 ( 见 练习 13. 4-5). 


(a) 


(b) 


Ce) 


Cd) 





new x=T-root 


图 13-7 过 程 RB-DELETE-FIXUP 中 while 循环 的 各 种 情况 。 加 黑 的 结 点 color 属性 为 BLACK, RH 
影 的 结 点 color 属性 为 RED， 浅 阴影 的 结 点 color 属性 用 c 和 c 表示 ， 它 既 可 为 RED 也 可 为 
BLACK。 字 母 c，8，…, “代表 任意 的 子 树 。 在 每 种 情况 中 ， 通 过 改变 某 些 结 点 的 颜色 及 /或 
进行 一 次 旋转 ， 可 以 将 左边 的 结构 转化 为 右边 的 结构 。z 指向 的 任何 结 点 都 具有 额外 的 一 重 
黑色 而 成 为 双重 黑色 或 红 黑 色 。 只 有 情况 2 引起 循环 重复 。(a) 通 过 交换 结 点 B 和 DD 的 颜色 
以 及 执行 一 次 左旋 ， 可 将 情况 1 转化 为 情况 2、3 或 4。(b) 在 情况 2 中 ， 在 将 结 点 D 着 为 红 
色 ， 并 将 工 设 为 指向 结 点 召 后 ， 由 指针 zx 所 表示 的 额外 黑色 沿 树 上 升 。 如 果 通 过 情况 1 进入 
情况 2， 则 while 循环 结束 ， 因 为 新 的 结 点 zx 是 红 黑 的 ， 因 此 其 color 属性 c 是 RED。(c) 通 过 
交换 结 点 C 和 的 颜色 并 执行 一 次 右 旋 ， 可 以 将 情况 3 转换 成 情况 4。(d) 在 情况 4 中 ， 通 过 
改变 某 些 结 点 的 颜色 并 执行 一 次 左旋 (不 违反 红 黑 性 质 )， 可 以 将 由 z 表示 的 额外 黑色 去 掉 ， 
然后 循环 终止 


情况 1: x 的 兄弟 结 点 w 是 红色 的 

情况 1( 见 RB-DELETE-FIXUP 的 第 5 一 8 行 和 图 13-7(a)) RATE r 的 兄弟 结 点 ww 为 红 
色 时 。 因 为 多 必须 有 黑色 子 结 点 ， 所 以 可 以 改变 多 和 x. p 的 颜色 ， 然 后 对 x. p 做 一 次 左旋 而 不 
违反 红 黑 树 的 任何 性 质 。 现 在 ，z 的 新 兄弟 结 点 是 旋转 之 前 ww 的 某 个 子 结 点 ， 其 颜色 为 黑色 。 这 
样 ， 就 将 情况 1 转换 为 情况 2、3 或 4 处 理 。 

当 结 点 多 为 黑色 时 ， 属 于 情况 2、3 和 4; 这 些 情况 是 由 zo 的 子 结 点 的 颜色 来 区 分 的 。 
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情况 2: x 的 兄弟 结 点 w 是 黑色 的 ， 而 且 w 的 两 个 子 结 点 都 是 黑色 的 

在 情况 2( 见 RB-DELETE-FIXUP 的 第 10~11 行 和 图 13-7(b)) 中 ，z 的 两 个 子 结 点 都 是 黑色 
的 。 因 为 ww 也 是 黑色 的 ， 所 以 从 zz 和 w 上 去 掉 一 重 黑色 ,使 得 x 只 有 一 重 黑色 而 ww 为 红色 。 为 
了 补偿 从 xz 和 ww 中 去 掉 的 一 重 黑色 ， 在 原来 是 红色 或 黑色 的 r. p 上 新 增 一 重 额外 的 黑色 。 通 过 
将 x. p 作为 新 结 点 xz 来 重复 while HAH. 注意 到 ， 如 果 通 过 情况 1 进入 到 情况 2， 则 新 结 点 工 是 
红 黑 色 的 ， 因 为 原来 的 r. p 是 红色 的 。 因 此 ， 新 结 点 工 的 color 属性 值 c 为 RED， 并 且 在 测试 循 
环 条 件 后 循环 终止 。 然 后 ， 在 第 23 行 中 将 新 结 点 xz 着 为 (单一 ) 黑 色 。 

情况 3: x 的 兄弟 结 点 w 是 黑色 的 ，w 的 左 孩 子 是 红色 的 ，w 的 右 孩 子 是 黑色 的 

情况 3( 见 第 13~16 行 和 图 13-7(c)) 发 生 在 w 为 黑色 且 其 左 孩子 为 红色 、 右 孩子 为 黑色 时 。 
可 以 交换 w 和 其 左 孩 子 ww. left 的 颜色 ， 然 后 对 w 进行 右 旋 而 不 违反 红 黑 树 的 任何 性 质 。 现 在 x 
的 新 兄弟 结 点 世 是 一 个 有 红色 右 孩 子 的 黑色 结 点 ， 这 样 我 们 就 将 情况 3 转换 成 了 情况 4。 

情况 4: x 的 兄弟 结 点 w 是 黑色 的 ， 且 w 的 右 孩 子 是 红色 的 

情况 4( 见 第 17 一 21 行 和 图 13-7(d)) 发 生 在 结 点 z 的 兄弟 结 点 包 为 黑色 且 也 的 右 孩 子 为 红色 时 。 
通过 进行 某 些 颜 色 修改 并 对 x. 做 一 次 左旋 ， 可 以 去 掉 工 的 额外 黑色 ， 从 而 使 它 变 为 单 重 黑色 ， 而 且 
不 破坏 红 黑 树 的 任何 性 质 。 将 x 设置 为 根 后 ， 当 while 循环 测试 其 循环 条 件 时 ， 循 环 终止 。 

分 析 

RB-DELETE 的 运行 时 间 怎 样 呢 ? 因为 含 n 个 结 点 的 红 黑 树 的 高 度 为 O(lgn)， 不 调用 RB- 
DELETE-FIXUP 时 该 过 程 的 总 时 间 代 价 为 O(lgn)。 在 RB-DELETE-FIXUP 中 ,情况 1、3 和 4 
在 各 执行 常数 次 数 的 颜色 改变 和 至 多 3 次 旋转 后 便 终止 。 情 况 2 是 while 循环 可 以 重复 执行 的 唯 
一 情况 ， 然 后 指针 工 沿 树 上 升 至 多 O (lgn) 次 ， 且 不 执行 任何 旋转 。 所 以 ， 过 程 RB-DELETE- 
FIXUP 要 花费 Ol(lgn) 时 间 ， 做 至 多 3 次 旋转 ， 因 此 RB-DELETE 运行 的 总 时 间 为 O(lgn)。 


练习 

13.4-1 在 执行 RB-DELETE-FIXUP 之 后 ,证 明 : 树 根 一 定 是 黑色 的 。 

13.4-2 在 RB-DELETE #, WR x A x. p 都 是 红色 的 , 证明: 可 以 通过 调用 RB-DELETE- 
FIXUP(T，z) 来 恢复 性 质 4。 

13. 4-3 在 练习 13. 3-2 中 ， 将 关键 字 41、38、31、12、19、8 连续 插入 一 棵 初始 的 空 树 中 ， 从 而 
得 到 一 棵 红 黑 树 。 请 给 出 从 该 树 中 连续 删除 关键 字 8、12、19、31、38、41 后 的 红 
黑 树 。 

13.4-4 在 RB-DELETE-FIXUP 代码 的 哪些 行 中 ， 可 能 会 检查 或 修改 哨兵 T. nil? 

13.4-5 在 图 13-7 的 每 种 情况 中 ， 给 出 所 示 子 树 的 根 结 点 至 每 棵 子 树 c，8，…，5 之 间 的 黑 结 点 
个 数 ， 并 验证 它们 在 转换 之 后 保持 不 变 。 当 一 个 结 点 的 color 属性 为 c 或 < 时， 在 计数 
中 用 记号 count(c) 或 count(c ) 来 表示 。 

13.4-6 Skelton 和 Baron 教授 担心 在 RB-DELETE-FIXUP 的 情况 1 开始 时 ， 结 点 zx. p 可 能 不 是 
黑色 的 。 如 果 这 两 位 教授 是 对 的 ， 则 第 5 一 6 行 就 是 错 的 。 证 明 : x. p 在 情况 1 开始 时 
必 是 黑色 的 ， 从 而 说 明 这 两 位 教授 没有 担心 的 必要 。 

13.4-7 假设 用 RB-INSERT 将 一 个 结 点 工 插入 一 棵 红 黑 树 ， 紧 接着 又 用 RB-DELETE 将 它 从 树 
中 删除 。 结 果 的 红 黑 树 与 初始 的 红 黑 树 是 否 一 样 ? 证 明 你 的 答案 。 


思考 题 
13-1 《持久 动态 集合 ) 有 时 在 算法 的 执行 过 程 中 ， 我 们 会 发 现在 更 新 一 个 动态 集合 时 ， 需 要 维 
护 其 过 去 的 版 本 。 我 们 称 这 样 的 集合 为 持久 的 (persistent) 。 实 现 持久 集合 的 一 种 方法 是 每 
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当 该 集合 被 修改 时 ， 就 将 其 完整 地 复制 下 来 ， 但 是 这 种 方法 会 降低 一 个 程序 的 执行 速度 ， 
而 且 占用 过 多 的 空间 。 有 时 候 ， 我 们 可 以 做 得 更 好 些 。 

考虑 一 个 有 INSERT、DELETE 和 SEARCH 操作 的 持久 集合 S， 我 们 使 用 如 图 13-8(a) 
所 示 的 二 叉 搜索 树 来 实现 。 对 集合 的 每 一 个 版 本 都 维护 一 个 不 同 的 根 。 为 了 将 关键 字 5 插入 
到 集合 中 ,创建 一 个 具有 关键 字 5 的 新 结 点 。 该 结 点 成 为 具有 关键 字 7 的 新 结 点 的 左 孩子 ， 
因为 我 们 不 能 更 改 具 有 关键 字 7 的 已 存在 结 点 。 类 似 地 ， 具 有 关键 字 7 的 新 结 点 成 为 具有 关 
键 字 8 的 新 结 点 的 左 孩子 ， 后 者 的 右 孩 子 为 具有 关键 字 10 的 已 存在 结 点 。 关 键 字 为 8 的 新 
结 点 又 成 为 关键 字 为 4 的 新 根 结 点 的 右 孩 子 ， 而 x 的 左 孩 子 是 关键 字 为 3 的 已 存在 结 
点 。 这 样 ， 我 们 只 是 复制 了 树 的 一 部 分 ， 新 树 共享 了 原 树 的 一 些 结 点 ， 如 图 13-8(b) 所 示 。 





图 13-8 〈a) 包 含 关键 字 2、3、4、7、8、10 的 一 棵 二 又 搜索 树 。(b) 插 人 关键 字 5 后 得 
到 的 持久 二 叉 搜 索 树 。 该 集合 的 最 新 版 本 包括 由 根 x 出 发 可 到 达 的 结 点 ， 而 前 
一 个 版 本 包括 由 根 ~ 可 到 达 的 结 点 。 深 阴影 的 结 点 是 插入 关键 字 5 时 增加 的 


假设 树 中 每 个 结 点 都 有 属性 key, left 和 right, 但 没有 属性 parent。( 参 见 练习 

13. 3-6。) 

a. 对 于 一 棵 一 般 的 持久 二 叉 搜 索 树 ， 为 插入 一 个 关键 字 上 或 删除 一 个 结 点 y， 需 要 改变 哪 

b. 请 写 出 一 个 过 程 PERSISTENT-TREE-INSERT， 使 得 在 给 定 一 棵 持久 树 荆 和 一 个 要 插 

入 的 关键 字 & 时 ， 它 返回 将 上 插入 全 后 得 到 的 新 的 持久 树 T'。 

如 果 持 久 二 叉 搜索 树 工 的 高 度 为 h， 实 现 PERSISTENT-TREE-INSERT 过 程 的 时 间 和 

空间 需求 分 别 是 多 少 ? (空间 需求 与 新 分 配 的 结 点 数 成 正比 。) 

d 假设 在 每 个 结 点 中 增加 一 个 父 结 点 属性 。 这 种 情况 下 ，PERSISTENT-TREE-INSERT 
需要 做 一 些 额外 的 复制 工作 。 证 明 : PERSISTENT-TREE-INSERT 的 时 间 需 求 和 空间 
需求 为 Q0(n)， 其 中 为 树 中 的 结 点 个 数 。 

e 说 明 如 何 利用 红 黑 树 来 保证 每 次 插 人 或 删除 的 最 坏 情况 运行 时 间 和 空间 为 O(lgn)。 

( 红 黑 树 上 的 连接 操作 ) 连接 (join) 操 作 取 两 个 动态 集合 S; S 和 一 个 元 素 zx， 使 得 对 任 

何 r ES Al z,€S,, A x. key<x. key 和 zz.key。 该 操作 返回 一 个 集合 S=S,U{x} US,. 

在 这 个 问题 中 ， 讨 论 如 何在 红 黑 树 上 实现 连接 操作 。 

a. 给 定 一 棵 红 黑 树 TT， 其 黑 高 被 存放 在 新 属性 T. bh 中 。 证 明 : 在 不 需要 树 中 结 点 的 额外 
存储 空间 和 不 增加 渐 近 运行 时 间 的 前 提 下 ，RB-INSERT 和 RB-DELETE 可 以 维护 这 个 
属性 。 并 证 明 : 当 沿 工 下 降 时 ， 可 以 对 每 个 被 访问 的 结 点 在 O(1) 时 间 内 确定 其 黑 高 。 

要 求实 现 操作 RB-JOIN(CT ，z，T)， 它 销毁 T A T: 并 返回 一 棵 红 黑 树 T= TU 

DUT: RnAT, MT, 中 的 结 点 总 数 。 


p 


13-3 


13-4 
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b. 假设 Ti. bh>T:. bh。 试 描述 一 个 OU gn ATMA, MZ AEM To. bh 的 结 点 中 
选 出 具有 最 大 关键 字 的 T 中 的 黑 结 点 y。 

c KT, 是 以 y 为 根 结 点 的 子 树 。 试 说 明 如 何在 不 破坏 二 叉 搜 索 树 性 质 的 前 提 下 ， 在 OC) 
时 间 内 用 T, U (o) UT: 来 取代 了。 

d 要 保持 红 黑 性 质 1、3 和 5， 应 将 z 着 成 什么 颜色 ? 试 说 明 如 何在 Ol(gn) 时 间 内 维护 性 
质 2 和 性 质 4。 

e 论证 使 用 (b) 部 分 的 假设 是 不 失 一 般 性 的 ， 并 描述 当下. hT. bh 时 所 出 现 的 对 称 情况 。 

f. 证 明 : RB-JOIN 的 运行 时 间 是 OUgn) 。 

(AVL 树 ) AVL 树 是 一 种 高 度 平衡 的 (height balanced) 二 又 搜索 树 : 对 每 一 个 结 点 2, cH 

左 子 树 与 右 子 树 的 高 度 差 至 多 为 1。 要 实现 一 棵 AVL 树 ， 需 要 在 每 个 结 点 内 维护 一 个 额外 

的 属性 : x. 为 结 点 工 的 高 度 。 与 任何 其 他 的 二 叉 搜 索 树 工 一 样 ， 假 设 工 root 指向 根 结 点 。 

a. 证 明 : 一 棵 有 7 个 结 点 的 AVL 树 高 度 为 O(lgz) 。( 提 示 : 证 明 高 度 为 h 的 AVL 树 至 少 

AF, Si, HEP F, 是非 波 那 契 数列 的 第 h TH.) 

要 在 一 棵 AVL 树 中 插入 一 个 结 点 ， 首 先 以 二 叉 搜 索 树 的 顺序 把 该 结 点 放 在 适当 的 位 置 

上 。 此 时 ， 这 棵 树 可 能 就 不 再 是 高 度 平衡 的 。 具 体 来 说 ， 某 些 结 点 的 左 子 树 与 右 子 树 的 

高 度 差 可 能 会 到 2。 请 描述 一 个 过 程 BALANCE(z) ， 输 入 一 棵 以 zx 为 根 的 子 树 ， 其 左 子 

树 与 右 子 树 都 是 高 度 平衡 的 ， 而 且 它们 的 高 度 差 至 多 是 2， 即 | xz. right. h—z. left. h| <2, 

并 将 这 棵 以 z 为 根 的 子 树 转变 为 高 度 平 衡 的 。( 提 示 : 使 用 旋转 。) 

ce 利用 (b) 来 描述 一 个 递归 过 程 AVL-INSERT(z，z) ， 该 操作 输入 一 个 AVL 树 中 的 结 点 
工 以 及 一 个 新 创建 的 结 点 (其 关键 字 已 经 填 人 )， 然 后 将 = 添加 到 以 z 为 根 的 子 树 中 ， 
并 保持 xz 是 一 棵 AVL 树 的 根 结 点 。 和 12. 3 节 中 的 TREE-INSERT 一 样 ， 假 设 x. key B 
经 被 十 人 ， 且 z. left=NIL, z. right=NIL; 再 假设 xz.h= 二 0。 因 此 要 把 结 点 z 插 入 到 
AVL TH, WJH AVL-INSERTCT. root, z), 

d. 证 明 : 在 一 棵 ”个 结 点 的 AVL 树 上 AVL-INSERT 操作 需 花 费 O(lgn) 时 间 ， 且 执行 
0O(1) 次 旋转 。 

(treap hi) ”如 果 将 一 个 含 n 个 元 素 的 集合 插入 到 一 棵 二 叉 搜 索 树 中 ， 所 得 到 的 树 可 能 会 

相当 不 平衡 ， 从 而 导致 查找 时 间 很 长 。 然 而 从 12. 4 节 可 知 ， 随 机 构造 二 叉 搜索 树 是 趋向 

于 平衡 的 。 因 此 ， 一 般 来 说 ， 要 为 一 组 固定 的 元 素 建 立 一 棵 平衡 树 ， 可 以 采用 的 一 种 策略 

就 是 先 随机 排列 这 些 元 素 ， 然 后 按照 排列 的 顺序 将 

它们 插入 到 树 中 。 

如 果 没 法 同时 得 到 所 有 的 元 素 ， 应 该 怎样 处 理 
YE? 如果 一 次 收 到 一 个 元 素 ， 是 否 仍 然 能 用 它们 来 
随机 建立 一 棵 二 叉 搜索 树 ? 

我 们 将 通过 考察 一 个 数据 结构 来 正面 回答 这 个 


问题 。 一 棵 treap 树 是 一 棵 更 改 了 结 点 排序 方式 的 二 图 13.9 —Ml treap #. BIERA 


> 





LHRH. 图 13-9 显示 了 一 个 例子 。 通常 ， 树 内 的 都 用 x. key: z. priority 来 
每 个 结 点 工 都 有 一 个 关键 字 值 x. key。 另 外 ， 还 要 为 标记 。 例 如 ， 根 结 点 的 关 
每 个 结 点 指定 x. priority， 它 是 一 个 独立 选取 的 随机 键 字 是 G， 优 先 级 为 4 


数 。 假 设 所 有 的 优先 级 都 是 不 同 的 ， 而 且 所 有 的 关键 字 也 是 不 同 的 。treap 树 的 结 点 被 排 
列 成 让 关键 字 遵 循 二 又 搜索 树 的 性 质 ， 且 优先 级 遵循 最 小 堆 顺序 性 质 : 

。 WẸ vu MART. W v. key<u. key, 

。 WR vu 的 右 孩 子 ， 则 vw. key>u. key. 
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。 WẸ vu 的 孩子 ， 则 v. priority>u. priority. 

(这 两 个 性 质 的 结合 就 是 这 种 树 被 称 为 “treap” 树 的 原因 : 它 同 时 具有 二 叉 搜 索 树 和 堆 的 

特征 。) 

用 以 下 方式 考虑 treap 树 是 会 有 帮助 的 。 假 设 将 已 有 相应 关键 字 的 结 点 to T, °°, 

x, 插入 到 一 棵 treap 树 内 。 得 到 的 treap 树 是 通过 将 这 些 结 点 以 它们 的 优先 级 (随机 选取 

的 ) 顺 序 插入 一 棵 正常 的 二 叉 搜 索 树 形成 的 ， 即 z;. priority<z. priority 表示 Xz; Ex; 之 前 

被 插入 。 

a. 证 明 : 给 定 一 个 已 有 相应 关键 字 和 优先 级 ( 互 异 ) 的 结 点 x1，x:，…，z, 组 成 的 集合 ， 
存在 唯一 的 一 棵 treap 树 与 这 些 结 点 相关 联 。 

b. 证 明 : treap 树 的 期 望 高 度 是 (lgn)， 因 此 在 treap 内 查找 一 个 值 所 花 的 时 间 为 @(lgn)。 
让 我 们 看 看 如 何 将 一 个 新 的 结 点 插入 到 一 个 已 存在 的 treap 树 中 。 要 做 的 第 一 件 事 就 是 
将 一 个 随机 的 优先 级 赋予 这 个 新 结 点 。 然 后 调用 称 为 TREAT-INSERT 的 插入 算法 ， 其 
操作 如 图 13-10 所 示 。 


CTT | cee 





Ce) 


图 13-10 TREAP-INSERT 操作 。(a) 在 插入 之 前 的 原 treap 树 。(b) 插 人 一 个 关键 字 为 C、 优 先 级 为 25 的 


结 点 之 后 的 treap 树 。(@ 一 (d) 插 和 人 一 个 关键 字 为 D、 优 先 级 为 9 的 结 点 时 的 中 间 阶 段 。(e) 在 
(c 和 (d) 的 插入 完成 后 的 treap 树 。( 在 插入 一 个 关键 字 为 下 、 优 先 级 为 2 的 结 点 后 的 treap 树 


c. 解释 TREAP-INSERT 是 如 何 工作 的 。 说 明 其 思想 并 给 出 伪 代 码 。( 提 示 : 执行 通常 的 
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二 叉 搜 索 树 插入 过 程 ， 然 后 做 旋转 来 恢复 最 小 堆 顺序 的 性 质 .) 
d. 证 明 : TREAP-INSERT 的 期 望 运行 时 间 是 Ogn). 

TREAP-INSERT 先 执行 一 个 查找 ， 然 后 做 一 系列 旋转 。 虽 然 这 两 种 操作 的 期 望 运行 
时 间 相 同 ， 但 它们 的 实际 代价 不 同 。 查 找 操 作 从 treap 树 中 读 取 信息 而 不 做 修改 。 相 反 ， 
旋转 操作 会 改变 treap 树 内 的 父 结 点 和 子 结 点 的 指针 。 在 大 部 分 的 计算 机 上 ， 读 取 操作 要 
比 写 人 操作 快 很 多 。 所 以 我 们 希望 TREAP-INSERT 执行 少量 的 旋转 。 后 面 将 说 明 所 执行 
旋转 的 期 望 次 数 有 一 个 常数 界 。 

为 此 ， 需 要 做 一 些 定义 ， 如 图 13-11 所 示 。 一 棵 二 又 搜索 树 工 的 左 背 柱 (left spine) 是 
从 根 结 点 到 有 最 小 关键 字 的 结 点 的 简单 路 径 。 换 句 话 说 ， 左 疹 柱 是 从 根 结 点 开始 只 包含 左 
WA i APE. MPR, TABH (right spine) 是 从 根 结 点 开始 只 包含 右边 缘 的 简单 
路 径 。 一 条 销 柱 的 长 度 是 它 包含 的 结 点 数目 。 





图 13-11 一 棵 二 又 搜索 树 的 誉 柱 。 左 疹 柱 在 (a) 中 用 阴影 表示 ， 右 状 柱 在 (b) 中 用 阴影 表示 


e 考虑 利用 TREAP-INSERT 插入 结 点 并 后 的 treap T。 设 C 为 x 左 子 树 的 右 准 柱 的 长 度 ，D 
Aix BPM WALES IRE. ERA: 在 插入 工期 间 所 执行 的 旋转 的 总 次 数 等 于 CD. 
现在 来 计算 C 和 的 期 望 值 。 不 失 一 般 性 ， 假 设 关键 字 为 ]，2，…，n， 因 为 只 是 将 它 
们 两 两 比较 。 

对 treap 工 中 的 结 点 z My, HEP yAr, W k=. key 以 及 i 一 y. key。 定 义 指 示 器 随机 
变量 
Xa 一 Iy 在 zz 的 左 子 树 的 右 眷 柱 中 》 
f. HEAR: Xx 王 1 当 且 仅 当 y. priority> x. priority, y. Rey<z. key 成 立 ， 且 对 于 每 个 满足 
y. key<z. key<x. key Hz, A y. priority<z. priority, 


g 证 明 : 
PN ee ee al | ee Ae 
Pike =U = ey ~ Gait DESO 
h. 证 明 : 
ae ae ae 3 
ELC] = > jIG+)D ~— at 
i 利用 对 称 性 证 明 : 
es | 
ELD] = 1 n—k+1 
j 得 出 如 下 结论 : 当 在 一 棵 treap 树 中 插入 一 个 结 点 时 ， 执 行 旋转 的 期 望 次 数 小 于 2。 
本 章 注 记 


使 搜索 树 平衡 的 想法 源 自 Adel’son-Vel’skii 和 Landis[2]， 他 们 在 1962 年 提出 了 一 类 称 为 
“AVL 树 ”的 平衡 搜索 树 ， 如 思考 题 13-3 所 述 。 另 外 一 类 称 为 “2-3 树 ” 的 搜索 树 是 由 
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J. E. Hopcroft 在 1970 年 提出 的 (未 发 表 )。2-3 树 是 通过 操纵 结 点 的 度数 来 维持 平衡 的 。Bayer 和 
McCreight[35] 提 出 了 一 种 2-3 树 的 推广 ， 称 为 B 树 ， 有 关内 容 将 在 第 18 章 中 介绍 。 
红 黑 树 是 由 Bayer[34] 以 “对 称 的 二 叉 B 树 ”的 名 字 发 明 的 。Guibas 和 Sedgewick[155] 仔 细 研 
究 了 它们 的 性 质 ， 并 引入 了 红 / 黑 着 色 的 有 关 约 定 。Andersson[15] 提 出 了 一 种 代码 更 简单 些 的 红 
337) ” 黑 树 变种 。Weiss[351] 把 这 种 变种 称 为 AA 树 。AA 树 和 红 黑 树 类 似 ， 只 是 左边 的 孩子 永远 不 能 
为 红色 。 
思考 题 13-4 中 的 treap 树 是 由 Seidel 和 AragonL309] 提 出 的 。 它 们 是 LEDAL253] 内 字典 的 默 
认 实 现 ，LEDA 是 一 组 精心 实现 的 数据 结构 和 算法 。 
平衡 二 叉 树 还 有 很 多 其 他 的 变种 ， 包 括 带 权 平 衡 树 L264]、k 近邻 树 L245]， 以 及 替罪羊 树 
[127]。 或 许 其 中 最 有 趣 的 要 数 Sleator 和 TarjanL320j] 提 出 的 “伸展 树 ”， 它 可 以 “自我 调整 "。( 参 
见 TarjanL330]， 该 文 给 出 了 有 关 伸 展 树 的 详细 描述 。) 伸 展 树 不 需要 明确 的 平衡 条 件 ( 如 颜色 ) 来 
维持 平衡 。 替 代 的 是 ， 每 次 存 取 时 “伸展 操作 ”( 涉 及 旋转 ) 在 树 内 执行 。 在 一 棵 及 个 结 点 的 树 上 
每 个 操作 的 摊 还 代价 是 O(lgn) (参见 第 17 章 )。 
跳 表 [L286j] 是 另 一 种 平衡 的 二 叉 树 。 跳 表 是 扩充 了 一 些 额 外 指针 的 链表 。 在 一 个 包含 nn 个 元 
素 的 跳 表 上 ， 每 一 种 字典 操作 都 在 O(lgn) 期 望 时 间 内 执行 。 
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一 些 工程 应 用 需要 的 只 是 一 些 “ 教 科 书 ”中 的 标准 数据 结构 ， 比 如 双 链 表 、 散 列表 或 二 又 搜索 
树 等 ， 然 而 也 有 许多 其 他 的 应 用 需要 对 现 有 数据 结构 进行 少许 地 创新 和 改造 ， 但 是 只 在 很 少 情 
况 下 需要 创造 出 一 类 全 新 类 型 的 数据 结构 。 更 经 常 的 是 ， 通 过 存储 额外 信息 的 方法 来 扩张 一 种 
标准 的 数据 结构 ， 然 后 对 这 种 数据 结构 ， 编 写 新 的 操作 来 支持 所 需要 的 应 用 。 然 而 对 数据 结构 的 
扩张 并 不 总 是 简单 直接 的 ， 因 为 添加 的 信息 必须 要 能 被 该 数据 结构 上 的 常规 操作 更 新 和 维护 。 

本 章 讨 论 通过 扩张 红 黑 树 构造 出 的 两 种 数据 结构 。14. 1 节 介绍 一 种 支持 一 般 动 态 集合 上 顺 
序 统计 操作 的 数据 结构 。 通 过 这 种 数据 结构 ， 我 们 可 以 快速 地 找到 一 个 集合 中 的 第 i 小 的 数 ， 或 
给 出 一 个 指定 元 素 在 集合 的 全 序 中 的 位 置 。14. 2 节 抽 象 出 数据 结构 的 扩张 过 程 ， 并 给 出 一 个 简 
化 红 黑 树 扩张 的 定理 。14. 3 节 使 用 这 个 定理 来 设计 一 种 用 于 维护 由 区 间 ( 如 时 间 区 间 ) 构 成 的 动 
态 集合 的 数据 结构 。 给 定 一 个 要 查询 的 区 间 ， 我 们 能 快速 地 找到 集合 中 一 个 能 与 其 重 释 的 区 间 。 


14. 1 动态 顺序 统计 


第 9 章 中 介绍 了 顺序 统计 的 概念 。n 个 元 素 集合 中 的 第 i(i€ (1，2，…，z)) 个 顺序 统计 量 就 
是 简单 地 规定 为 该 集合 中 的 具有 第 i 小 关键 字 的 元 素 。 对 于 一 个 无 序 的 集合 ， 我 们 知道 能 够 在 OCn) 
的 时 间 内 确定 任何 的 顺序 统计 量 。 本 节 将 介绍 如 何 修改 红 黑 树 ， 使 得 可 以 在 Clgz) 时 间 内 确定 任何 的 
顺序 统计 量 。 我 们 还 将 看 到 如 何在 Clgn) 时 间 内 计算 一 个 元 素 的 秩 ， 即 它 在 集合 线性 序 中 的 位 置 。 

图 14-1 显示 了 一 种 支持 快速 顺序 统计 操作 的 数据 结构 。 顺 序 统计 树 (order-statistic tree) T A 
是 简单 地 在 每 个 结 点 上 存储 附加 信息 的 一 棵 红 黑 树 。 在 红 黑 树 的 结 点 xz 中 ， 除 了 通常 属性 
x. key, x.color, x. p, x. left ® zx. right 之 外 ， 还 包括 男 一 个 属性 x. size。 这 个 属性 包含 了 以 
为 根 的 子 树 ( 包 括 xz 本 身 ) 的 (内 ) 结 点 数 ， 即 这 棵 子 树 的 大 小 。 如 果 定 义 哨兵 的 大 小 为 0， 也 就 是 
设置 T.nil. size 为 0， 则 有 等 式 : 


x. size = x. left. size + x. right. size +1 








图 14-1 ”一 棵 顺序 统计 树 ， 它 是 一 棵 扩张 的 红 黑 树 。 浅 阴影 结 点 为 红色 ， 深 阴影 结 点 为 黑 
色 。 除 了 通常 的 红 黑 树 所 具有 的 属性 外 ， 每 个 结 点 xz 还 具有 属性 zx. size, BA 为 
根 的 子 树 ( 除 哨兵 外 ?的 结 点 个 数 


在 一 棵 顺序 统计 树 中 ， 我 们 并 不 要 求 关键 字 各 不 相同 。( 例 如 ， 图 14-1 中 的 树 就 包含 了 两 个 值 
为 14 的 关键 字 和 两 个 值 为 21 的 关键 字 。) 在 有 相等 关键 字 的 情况 下 ， 前 面 秩 的 定义 便 不 再 适合 。 为 
此 ， 我 们 通过 定义 一 个 元 素 的 秩 为 在 中 序 遍 历 树 时 输出 的 位 置 ， 来 消除 原 顺序 统计 树 定义 的 不 确定 
性 。 如 图 14-1 所 示 ， 存 储 在 黑色 结 点 的 关键 字 14 的 秩 为 5， 存 储 在 红色 结 点 的 关键 字 14 的 秩 为 6。 

查找 具有 给 定 秩 的 元 素 

在 说 明 插入 和 删除 过 程 中 如 何 维护 size 信息 之 前 ,我们 先 来 讨论 利用 这 个 附加 信息 来 实现 
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的 两 个 顺序 统计 查询 。 首 先 一 个 操作 是 对 具有 给 定 秩 的 元 素 的 检索 。 过 程 OSSELECT (2x, 13K 
回 一 个 指针 ， 其 指向 以 z 为 根 的 子 树 中 包含 第 ; 小 关键 字 的 结 点 。 为 找 出 顺序 统计 树 荆 中 的 第 i 
340) ”小 关键 字 ， 我 们 调用 过 程 OS-SELECT(T. root, i). 


OS-SELECT(z,i) 
r= zx. left. size + 1 
ifi==r 
return x 
elseif i < r 
return OS-SELECT (x. le ft,i) 
else return OS-SSELECT (<. right,i—r) 


OS-SELECT 的 第 1 行 计 算 以 z 为 根 的 子 树 中 结 点 工 的 秩 ~。z. left. size 的 值 是 对 以 z 为 根 的 子 
树 进 行 中 序 遍 历 后 排 在 z 之 前 的 结 点 个 数 。 因 此 ，z. left. size 十 1 就 是 以 并 为 根 的 子 树 中 结 点 并 的 
秩 。 如 果 这 ~， 那 么 结 点 工 就 是 第 ;小 元 素 ， 这 样 第 3 行 返 回 z。 如 果 i<=r， 那 么 第 i 小 元 素 在 xz 的 
左 子 树 中 ， 因 此 在 第 5 行 中 对 x. left 进行 递归 调用 。 如 果 >r, BAR i 小 元 素 在 zx 的 右 子 树 中 。 因 
为 在 对 以 z 为 根 的 子 树 进行 中 序 遍 历时 ， 共 有 -~ 个 元 素 排 在 zx 的 右 子 树 之 前 ， 故 在 以 z 为 根 的 子 树 中 
第 i 小 元 素 就 是 以 x. right 为 根 的 子 树 中 第 (i 一 小 元 素 。 第 6 行 通过 递归 调用 来 确定 这 个 元 素 。 

为 明白 OS-SELECT 是 如 何 操作 的 ， 考 察 在 图 14-1 所 示 的 顺序 统计 树 上 查找 第 17 小 元 素 的 查 
找 过 程 。 以 zx 为 根 开 始 ， 其 关键 字 为 25，;i 一 17。 因 为 26 的 左 子 树 的 大 小 为 12， 故 它 的 秩 为 13。 
因此 ， 秩 为 17 的 结 点 是 26 的 右 子 树 中 第 17—13=4 小 的 元 素 。 递 归 调 用 后 ，z 为 关键 字 41 的 结 
点 ,i 二 4。 因 为 41 的 左 子 树 大 小 为 5， 故 它 的 秩 为 6。 这 样 ， 可 以 知道 秩 为 4 的 结 点 是 41 的 左 子 
树 中 第 4 小 元 素 。 再 次 递归 调用 后 ，z 为 关键 字 30 的 结 点 ， 在 其 子 树 中 它 的 秩 为 2。 如 此 ， 再 进行 
一 次 递归 调用 ， 就 能 找到 以 关键 字 38 的 结 点 为 根 的 子 树 中 第 4 一 2 三 2 小 的 元 素 。 它 的 左 子 树 大 小 
为 1， 这 意味 着 它 就 是 第 2 小 元 素 。 最 终 ， 该 过 程 返回 一 个 指向 关键 字 为 38 的 结 点 的 指针 。 

因为 每 次 递归 调用 都 在 顺序 统计 树 中 下 降 一 层 ，OS-SELECT 的 总 时 间 最 差 与 树 的 高 度 成 正 
比 。 又 因为 该 树 是 一 棵 红 黑 树 ， 其 高 度 为 Ol(lgn)， 其 中 为 数 的 结 点 数 。 所 以 ， 对 于 nn 个 元 素 的 
动态 集合 ，OS-SELECT 的 运行 时 间 为 O(lgn)。 

确定 一 个 元 素 的 秩 

给 定 指向 顺序 统计 树 荆 中 结 点 z 的 指针 ， 过 程 OS-RANK 返回 对 工 中 序 遍 历 对 应 的 线性 序 

Ba ‘Pa 的 位 置 。 


OSRANK(T, x) 


nA WN 


l1 r= zx. left. size+1 

2 y 王 工 

3 while y Æ T. root 

4 if y == y. p. right 
5 r= r + y.p. left. sizet+1 
6 y=yP 
7 return r 


这 个 过 程 工作 如 下 。 我 们 可 以 认为 x 的 秩 是 中 序 遍历 次 序 排 在 z 之 前 的 结 点 数 再 加 上 1( 代 
# x AS). OSRANK 保持 了 以 下 的 循环 不 变 式 : 

第 3 一 6 FF while 循环 的 每 次 迭代 开始 ，r 为 以 结 点 y 为 根 的 子 树 中 z. key WE. 

下 面 使 用 这 个 循环 不 变 式 来 说 明 OS-RANK 能 正确 地 工作 。 

初始 化 : B-VIERSH, 第 1 行 置 r 为 以 x 为 根 的 子 树 中 z. key 的 秩 。 第 2 行 置 > 一 z， 使 
得 首次 执行 第 3 行 中 的 测试 时 ， 循 环 不 变 式 为 真 。 
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保持 : 在 每 一 次 while 循环 迭代 的 最 后 ， 都 要 置 > 一 y p。 这 样 ， 我们 必须 要 证 明 : 如 果 r 是 
在 循环 体 开始 处 以 y 为 根 的 子 树 中 z. key WR, BBA r 是 在 循环 体 结尾 处 以 y. p 为 根 的 子 树 中 
x. key 的 秩 。 在 while 循环 的 每 次 迭代 中 ， 考 虑 以 y p 为 根 的 子 树 。 我 们 对 以 结 点 y 为 根 的 子 树 
已 经 计数 了 以 中 序 遍 历次 序 先 于 z 的 结 点 个 数 ， 故 要 加 上 以 y 的 兄弟 结 点 为 根 的 子 树 以 中 序 遍 历 
次 序 先 于 工 的 结 点 数 ， 如 果 y p 也 先 于 zx， 则 该 计数 还 要 加 1。 如 果 y EEATT., y- pM y. ph 
右 子 树 中 的 所 有 结 点 都 不 会 先 于 工 ，- 保持 不 变 ; 否则 ，y 是 右 孩 子 ， 并且 y. pM y. p ETR P 
的 所 有 结 点 都 先 于 zx， 于 是 在 第 5 行 中 , 将 当前 的 r 值 再 加 上 y- p left. size 十 1 。 

终止 : 当 y=T. root 时 ,循环 终止 ， 此 时 以 y 为 根 的 子 树 是 一 棵 完整 树 。 因 此 ，r 的 值 就 是 
这 棵 完整 树 中 x. key 的 秩 。 

作为 一 个 例子 ， 当 我 们 在 图 14-1 的 顺序 统计 树 上 运行 OS-RANK， 以 确定 关键 字 为 38 的 结 
点 的 秩 时 ， 在 while 循环 的 开始 处 ，y. key 和 的 一 系列 值 如 下 : 


和 迭 R y. key 
38 


a U N- 
Y A Q 

Q = O 

~ 

NY =} IY 


该 过 程 返回 的 秩 为 17。 

因为 while 循环 的 每 次 迭代 耗费 O(1) 时 间 ， 且 y 在 每 次 迭代 中 沿 树 上 升 一 层 ， 所 以 最 坏 情况 
下 OS-RANK 的 运行 时 间 与 树 的 高 度 成 正比 : 在 nn 个 结 点 的 顺序 统计 树 上 为 OU gn). 

对 子 树 规模 的 维护 

给 定 每 个 结 点 的 size 属性 后 ，OS-SELECT 和 OS-RANK 能 迅速 计算 出 所 需 的 顺序 统计 信息 。 
然而 除非 能 用 红 黑 树 上 经 过 修改 的 基本 操作 对 size 属性 加 以 有 效 的 维护 ， 否 则 ， 我 们 的 工作 将 变 
得 没 意 义 。 下 面 就 来 说 明 在 不 影响 插入 和 删除 操作 的 渐 近 运行 时 间 的 前 提 下 ， 如 何 维护 子 树 规模 。 

由 13. 3 节 可 知 ， 红 黑 树 上 的 插入 操作 包括 两 个 阶段 。 第 一 阶段 从 根 开始 沿 树 下 降 ， 将 新 结 点 
插入 作为 某 个 已 有 结 点 的 孩子 。 第 二 阶段 沿 树 上 升 ， 做 一 些 变色 和 旋转 操作 来 保持 红 黑 树 性 质 。 

在 第 一 阶段 中 为 了 维护 子 树 的 规模 ， 对 由 根 至 叶子 的 路 径 上 遍历 的 每 一 个 结 点 xz， 都 增加 
x. size 属性 。 新 增加 结 点 的 size 为 1!。 由 于 一 条 遍历 的 路 径 上 共有 Ol(gn) 个 结 点 ， 故 维护 size JR 
性 的 额外 代价 为 Ol(lgn)。 

在 第 二 阶段 ， 对 红 黑 树 结构 上 的 改变 仅仅 是 由 旋转 所 致 ， 旋 转 次 数 至 多 为 2。 此 外 ， 旋 转 是 
一 种 局 部 操作 : 它 仅 会 使 两 个 结 点 的 size 属性 失效 ， 而 围绕 旋转 操作 的 链 就 是 与 这 两 个 结 点 关 
联 。 参 归 13. 2 节 的 LEFT-ROTATE(T，z) 人 代码， 增加 下 面 两 行 : 


13 ysize = x. size 


14 x. size = zx. left. size+ zx. right. size+1 


图 14-2 说 明了 size 属性 是 如 何 被 更 新 的 。 对 RIGHT-ROTATE 做 相应 的 改动 。 





图 14-2 在 旋转 过 程 中 修改 子 树 的 大 小 。 与 围绕 旋转 的 链 相 关联 的 两 个 结 
点 ,它们 的 size 属性 要 更 新 。 这 些 更 新 是 局 部 的 ， 仅 需要 存储 在 x 
Al y PH size 信息 ， 以 及 图 中 三 角形 子 树 的 根 中 的 size 信息 
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因为 在 红 黑 树 的 插入 过 程 中 至 多 进行 两 次 旋转 ， 所 以 在 第 二 阶段 更 新 size 属性 只 需要 O(1) 
的 额外 时 间 。 因 此 ， 对 一 棵 有 个 结 点 的 顺序 统计 树 插入 元 素 所 需要 的 总 时 间 为 Ol(lgn)， 从 浙 
近 意 义 上 看 ， 这 与 一 般 的 红 黑 树 是 一 样 的 。 

红 黑 树 上 的 删除 操作 也 包括 两 个 阶段 : 第 一 阶段 对 搜索 树 进行 操作 ， 第 二 阶段 做 至 多 三 次 
旋转 ， 其 他 对 结构 没有 任何 影响 ( 见 13.4 节 )。 第 一 阶段 中 ， 要 么 将 结 点 y 从 树 中 删除 ， 要 么 将 
它 在 树 中 上 移 。 为 了 更 新 子 树 的 规模 ,我 们 只 需要 遍历 一 条 由 结 点 y( 从 它 在 树 中 的 原始 位 置 开 
始 ) 至 根 的 简单 路 径 ， 并 减少 路 径 上 每 个 结 点 的 size 属性 的 值 。 因 为 在 7 个 结 点 的 红 黑 树 中 ， 这 
样 一 条 路 径 的 长 度 为 Ol(lgn)， 所 以 第 一 阶段 维护 size 属性 所 耗费 的 额外 时 间 为 Ol(lgn)。 第 二 阶 
段 采用 与 插入 相同 的 方式 来 处 理 删 除 操作 中 的 O(1) 次 旋转 。 所 以 对 有 个 结 点 的 顺序 统计 树 进 
行 插入 与 删除 操作 ， 包 括 维护 size 属性 ， 都 只 需要 O(lgz) 的 时 间 。 


练习 


14. 1-1 对 于 图 14-1 中 的 红 黑 树 T， 说 明 执行 OS-SELECT(T. root:，10) 的 过 程 。 

14.1-2 ”对 于 图 14-1 中 的 红 黑 树 T 和 关键 字 r. key 为 35 的 结 点 zx， 说 明 执行 OS-RANK(T, x) 
的 过 程 。 

14.1-3 写 出 OS-SELECT 的 非 递归 版 本 。 

14. 1-4 ” 写 出 一 个 递归 过 程 OSKEY-RANK(T,，&) ， 以 一 棵 顺序 统计 树 工 和 一 个 关键 字 有 作为 
输入 ， 要 求 返回 & 在 由 工 表示 的 动态 集合 中 的 秩 。 假 设 工 的 所 有 关键 字 都 不 相同 。 

14.1-5 ”给 定 n 个 元 素 的 顺序 统计 树 中 的 一 个 元 素 zx 和 一 个 自然 数 i， 如 何在 O(lgn) 的 时 间 内 确 
定 工 在 该 树 线性 序 中 的 第 i 个 后 继 ? 

14.1-6 在 OS-SELECT 或 OS-RANK 中 ,注意 到 无 论 什 么 时 候 引用 结 点 的 size 属性 都 是 为 了 计 
算 一 个 秩 。 相 应 地 ， 假 设 每 个 结 点 都 存储 它 在 以 自己 为 根 的 子 树 中 的 秩 。 试 说 明 在 插入 
和 删除 时 ， 如 何 维护 这 个 信息 。( 注 意 ， 这 两 种 操作 都 可 能 引起 旋转 。) 

14.1-7 说 明 如 何在 O(nlgn) 时 间 内 ， 利 用 顺序 统计 树 对 大 小 为 n 的 数组 中 的 逆序 对 ( 见 思考 题 
2-4) 进 行 计数 。 

*14.1-8 ” 现 有 一 个 圆 上 的 ?条 弦 ， 每 条 弦 都 由 其 端点 来 定义 。 请 给 出 一 个 能 在 OC Ign) HY I] A a 

定 圆 内 相交 弦 对 数 的 算法 。( 例 如 ， 如 果 n 条 弦 都 为 直径 ， 它 们 相交 于 圆心 ， 则 正确 的 


答案 为 (2?).) 假 设 任意 两 条 蓄 都 不 会 共享 端点 。 


14.2 如何 扩张 数据 结构 


对 基本 的 数据 结构 进行 扩张 以 支持 一 些 附 加 功能 ， 在 算法 设计 过 程 中 是 相当 常见 的 。 在 下 
一 节 中 ， 我 们 将 再 次 通过 对 数据 结构 进行 扩张 ， 来 设计 一 种 支持 区 间 操 作 的 数据 结构 。 本 节 先 来 
介绍 这 种 扩张 过 程 的 步 又 ， 同 时 证 明 一 个 定理 ， 在 许多 情况 下 ， 该 定理 使 得 我 们 可 以 很 容易 地 扩 
张 红 黑 树 。 

扩张 一 种 数据 结构 可 以 分 为 4 个 步骤 : 

1. 选择 一 种 基础 数据 结构 。 

2. 确定 基础 数据 结构 中 要 维护 的 附加 信息 。 

3. 检验 基础 数据 结构 上 的 基本 修改 操作 能 否 维 护 附加 信息 。 

4. 设计 一 些 新 操作 。 

以 上 仅 作 为 一 个 一 般 模式 ， 读 者 不 应 盲目 地 按照 上 面 给 定 的 次 序 来 执行 这 些 步骤 。 大 多 数 
的 设计 工作 都 包含 试探 和 纠 错 的 成 分 ， 过 程 中 的 所 有 步骤 通常 都 可 以 并 行进 行 。 例 如 ， 如 果 我 们 
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不 能 有 效 地 维护 附加 信息 ， 那 么 确定 附加 信息 以 及 设计 新 的 操作 (步骤 2 和 步骤 4) 就 没有 任何 意 
义 。 然 而 ， 这 个 4 步 法 可 以 使 读者 在 扩张 数据 结构 时 ， 目 标明 确 且 有 条 不 京 。 

在 14. 1 节 设 计 顺 序 统计 树 时 ， 我 们 就 依照 了 这 4 个 步骤 。 对 于 步骤 1， 选择 红 黑 树 作为 基 
础 数据 结构 。 红 黑 树 是 一 种 合适 的 选择 ， 这 源 于 它 能 有 效 地 支持 一 些 基于 全 序 的 动态 集合 操作 ， 
如 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR. 

对 于 步骤 2， 添 加 了 size 属性 ， 在 每 个 结 点 xz 中 的 size 属性 存储 了 以 z 为 根 的 子 树 的 大 小 。 
一 般 地 ， 附 加 信息 可 使 得 各 种 操作 更 加 有 效 。 例 如 ， 我 们 本 可 以 仅 用 树 中 存储 的 关键 字 来 实现 
OS-SELECT 和 OS-RANK， 但 它们 却 不 能 在 O(lgz) 运 行 时 间 内 完成 。 有 时 候 ， 附 加 信息 是 指针 
类 信息 ， 而 不 是 具体 的 数据 ， 如 练习 14. 2-1。 

对 于 步骤 3， 我 们 保证 了 插入 和 删除 操作 仍 能 在 Ol(lgn) 时 间 内 维护 size 属性 。 比 较 理 想 的 
是 ， 只 需要 更 新 该 数据 结构 中 的 几 个 元 素 就 可 以 维护 附加 人 信息。 例如， 如果 把 每 个 结 点 的 秩 存储 
在 树 中 ， 那 么 OS-SELECT 和 OS-RANK 能 够 较 快 运行 ， 但 是 当 插 入 一 个 新 的 最 小 元 素 时 ， 会 导 
致 树 中 每 个 结 点 的 秩 发 生变 化 。 如 果 我 们 存储 的 是 子 树 的 大 小 ， 则 插入 一 个 新 的 元 素 时 仅 会 使 
O(lg 台 个 结 点 的 信息 发 生 改变 。 

对 于 步骤 4， 我 们 设计 了 新 操作 OS-SELECT 和 OS-RANK。 归 根 结 底 ， 一 开始 考虑 去 扩张 
一 个 数据 结构 的 原因 就 是 为 了 满足 新 操作 的 需要 。 然 而 有 时 并 不 是 为 了 设计 一 些 新 操作 ， 而 是 
利用 附加 信息 来 加 速 已 有 的 操作 ， 如 练习 14. 2-1。 

对 红 黑 树 的 扩张 

当红 黑 树 作为 基础 数据 结构 时 ， 可 以 证 明 ， 某 些 类 型 的 附加 信息 总 是 可 以 用 插入 和 删除 操 
作 来 进行 有 效 的 维护 ， 从 而 使 步骤 3 非常 容易 做 到 。 下 面 定理 的 证 明 与 14. 1 节 用 顺序 统计 树 来 
维护 size 属性 的 论证 类 似 。 

定理 14. 1( 红 黑 树 的 扩张 ) 设 f 是 nn 个 结 点 的 红 黑 树 丁 扩张 的 属性 ， 且 假设 对 任 一 结 点 2, 
的 值 仅 依赖 于 结 点 xX、X. left fox. right 的 信息 ， 还 可 能 包括 工 . left. f fox. right. fs RMA, 我 
们 可 以 在 插入 和 删除 操作 期 间 对 工 的 所 有 结 点 的 三 值 进行 维护 ， 并 且 不 影响 这 两 个 操作 的 
Ol(lgn) 渐 近 时 间 性 能 。 

证 明 证 明 的 主要 思想 是 ， 对 树 中 某 结 点 工 的 也 属性 的 变动 只 会 影响 到 z 的 祖先 。 也 就 是 
说 ,修改 zx. f 只 需要 更 新 x. p f， 改 变 x. p. 了 的 值 只 需要 更 新 x. p. p f， 如 此 沿 树 向 上 。 一 旦 
更 新 到 T. root. f， 就 不 再 有 其 他 任何 结 点 依赖 于 新 值 ， 于 是 过 程 结 束 。 因 为 红 黑 树 的 高 度 为 
Ol(lgn)， 所 以 改变 某 结 点 的 了 属性 要 耗费 Ol(lgn) 时 间 ， 来 更 新 被 该 修改 所 影响 的 所 有 结 点 。 

一 个 结 点 工 插入 到 树 工 由 两 个 阶段 构成 ( 见 13. 3 节 )。 第 一 阶段 是 将 x 作为 一 个 已 有 结 点 zx.p 
的 孩子 被 插入 。x. f 的 值 可 以 在 O(1) 时 间 内 计算 出 。 因 为 根据 假设 ，z. 了 仅 依 赖 于 工本 身 的 其 他 
属性 信息 和 zz 的 子 结 点 中 的 信息 ， 而 此 时 2 的 子 结 点 都 是 哨兵 T. nil。 当 xz. 了 被 计算 出 时 ， 这 个 变 
化 就 沿 树 向 上 传播 。 这样 ， 插 入 第 一 阶段 的 全 部 时 间 为 O(lgz) 。 在 第 二 阶段 期 间 ， 树 结构 的 仅 有 
变动 来 源 于 旋转 操作 。 由 于 在 一 次 旋转 过 程 中 仅 有 两 个 结 点 发 生变 化 ， 所 以 每 次 旋转 更 新 f 属性 
的 全 部 时 间 为 Ol(lgn)。 又 因为 插入 操作 中 的 旋转 次 数 至 多 为 2， 所 以 插入 的 总 时 间 为 O(lgn)。 

与 插入 操作 类 似 ， 删 除 操作 也 由 两 个 阶段 构成 ( 见 13.4 节 )。 在 第 一 阶段 中 ， 当 被 删除 的 结 
点 从 树 中 移 除 时 ， 树 发 生变 化 。 如 果 被 删除 的 结 点 当时 有 两 个 孩子 ， 那 么 它 的 后 继 移 人 被 删除 结 
点 的 位 置 。 这 些 变化 引起 f 的 更 新 传播 的 代价 至 多 为 O(lgn)， 因 为 这 些 变化 对 树 的 修改 是 局 部 
的 。 第 二 阶段 对 红 黑 树 的 修复 至 多 需要 三 次 旋转 ， 且 每 次 旋转 至 多 需要 O(lgn) 的 时 间 就 可 完成 
的 更 新 传播 。 因 此 ， 和 插入 一 样 ， 删 除 的 总 时 间 也 是 Ogn). a 

在 很 多 情况 下 ， 比 如 维护 顺序 统计 树 的 size 属性 ， 一 次 旋转 后 更 新 的 代价 为 O(1) ， 而 并 不 
是 定理 14. 1 中 所 给 出 的 O(lgn)。 练 习 14. 2-3 就 给 出 这 样 的 一 个 例子 。 
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14.2-1 通过 为 结 点 增加 指针 的 方式 ， 试 说 明 如 何在 扩张 的 顺序 统计 树 上， 支持 每 一 动态 集合 查 


询 操作 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR 在 最 坏 时 间 O(1) 内 
完成 。 顺 序 统 计 树 上 的 其 他 操作 的 渐 近 性 能 不 应 受 影响 。 


14.2-2 能 否 在 不 影响 红 黑 树 任何 操作 的 渐 近 性 能 的 前 提 下 ， 将 结 点 的 黑 高 作为 树 中 结 点 的 一 个 


属性 来 维护 ? 说 明 如 何 做 ， 如 果 不 能 ， 请 说 明理 由 。 如 何 维护 结 点 的 深度 ? 


*14. 2-3” 设 的 为 一 个 满足 结合 律 的 二 元 运算 符 ，a 为 红 黑 树 中 每 个 结 点 上 的 一 个 要 维护 的 属性 。 假 


设 在 每 个 结 点 zx 上 增加 一 个 属性 f 使 x. f=. aRar. am a, EP a, ry os 
In 是 以 z 为 根 的 子 树 中 按 中 序 次 序 排列 的 所 有 结 点 。 说 明 在 一 次 旋转 后 ， 如 何在 O(1) 时 
间 内 更 新 了 属性 。 对 你 的 扩张 稍 做 修改 ， 使 得 它 能 够 应 用 到 顺序 统计 树 的 size 属性 中 。 


*14.2-4 希望 设计 一 个 操作 RB-ENUMERATE(z，a，5) ， 来 对 红 黑 树 进行 扩张 。 该 操作 输出 所 


有 的 关键 字 k， 使 得 在 以 z 为 根 的 红 黑 树 中 有 a 三 k 二 5。 描述 如 何在 BCm 十 lgn) 时 间 内 实 
现 RBENUMERATE， 其 中 汶 为 输出 的 关键 字数 目 ，n 为 树 中 的 内 部 结 点 数 。( 提 示 : 
不 需要 向 红 黑 树 中 增加 新 的 属性 。) 


14.3 区 间 树 


在 这 一 节 里 ， 我 们 将 扩张 红 黑 树 来 支持 由 区 间 构 成 的 动态 集合 上 的 一 些 操作 。 闭 区 间 


(closed interval) 是 一 个 实数 的 有 序 对 [aa ， tJ, HP t<i. KEC, 如 ] 表 示 了 集合 {tE R: t< 
tf 过)。 开 (open) 区 间 和 半 开 (half-open) 区 间 分 别 略 去 了 集合 的 两 个 或 一 个 端点 。 在 本 节 中 ， 我 
们 假设 区 间 都 是 闭 的 ， 将 结果 推广 至 开 和 半 开 区 间 上 是 自然 和 直接 的 。 


区 间 便 于 表示 占用 一 连续 时 间 段 的 一 些 事件 。 例 如 ， 查 询 一 个 由 时 间 区 间 数 据 构成 的 数据 


库 ， 去 找 出 给 定时 间 区 间 内 发 生 了 什么 事件 。 本 节 中 介绍 的 数据 结构 可 用 来 有 效 地 维护 这 样 一 
个 区 间 数 据 库 。 


RATT VIE — TP Kia Ca, te | AN M— PMA i, KR HE i low = t 为 低 端点 (low 


endpoint), JRE i. high=t, 为 高 端点 (high endpoint), FU] PK lal i Al i’ Æ Æ (overlap), MR 
i 门 i 关 多， 即 如 果 i. low<i’. high Hi’. low<i. high, WE 14-3 所 示 ， 任 何 两 个 区 间 i 和 i 满足 
Ki =4)# (interval trichotomy) ， 即 下 面 三 条 性 质 之 一 成 立 : 





a. i Ali’ WH, 
b.i 在 i 的 左边 (也 就 是 i. high<i’. low). 
c i HE i 的 右边 (也 就 是 1. high<i. low). 








i | i | i i 
(a) 
i I i’ i 
(b) Cc) 


图 14-3 KAAKE iA KEZE, (DMR A EA, LOA 4 PTL 每 种 情况 都 有 i. low’. 


high H č. loui. high。(b) 区 间 没 有 重合 且 i. high<i’. low, (©) KIARA. i. high<i. low 
K ia) # (interval tree) 是 一 种 对 动态 集合 进行 维护 的 红 黑 树 ， 其 中 每 个 元 素 x 都 包含 一 个 区 
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fa] x. int。 区 间 树 支持 下 列 操作 : 

INTERVAL-INSERT(T，z): 将 包含 区 间 属 性 int HICK x MASKER T P. 

INTERVAL-DELETE(T，z): 从 区 间 树 工 中 删除 元 素 zx. 

INTERVAL-SEARCH(T, i): 返回 一 个 指向 区 间 树 代 中 元 素 z 的 指针 ,使 zx. in 与 i 重合 ; 
若 此 元 素 不 存在 ， 则 返回 T. nil. 

图 14-4 说 明了 区 间 树 是 如 何 表达 一 个 区 间 集 合 的 。 我 们 将 按照 14. 2 节 中 的 4 步 法 ， 来 分 析 
区 间 树 以 及 区 间 树 上 各 种 操作 的 设计 。 


26126 


Ca) 


(b) 





图 14-4 一 棵 区 间 树 。(a)10 个 区 间 的 集合 ， 它 们 按 左 端点 自 底 向 上 顺序 示 出 。(b) 表 示 它 们 的 区 间 树 。 
每 个 结 点 工 包 含 一 个 区 间 ， 显 示 在 虚线 的 上 方 ; 一 个 以 为 根 的 子 树 中 所 包含 的 区 间 端 点 的 最 
大 值 ， 显 示 在 虚线 的 下 方 。 这 棵 树 的 中 序 遍 历 列 出 按 左 端点 顺序 排列 的 各 个 结 点 


步骤 1: 基础 数据 结构 

我 们 选择 这 样 一 棵 红 黑 树 ， 其 每 个 结 点 工 包含 一 个 区 间 属 性 z. int, H x 的 关键 字 为 区 间 的 
低 端 点 zx. int. low。 因 此 ， 该 数据 结构 按 中 序 遍 历 列 出 的 就 是 按 低 端点 的 次 序 排列 的 各 区 间 。 

步骤 2: 附加 信息 

每 个 结 点 x 中 除了 自身 区 间 信 息 之 外 ， 还 包含 一 个 值 x. raz， 它 是 以 z 为 根 的 子 树 中 所 有 
区 间 的 端点 的 最 大 值 。 

步骤 3: 对 信息 的 维护 

我 们 必须 验证 n 个 结 点 的 区 间 树 上 的 插入 和 删除 操作 能 否 在 Ol(lgn) 时 间 内 完成 。 通 过 给 定 
KE x. int 和 结 点 xz WEE max 值 ， 可 以 确定 x. max 值 : 

X. max = max(x. int. high, x. left. max, x. right. max) 

这 样 ， 根 据 定 理 14. 1 可 知 ， 插 入 和 删除 操作 的 运行 时 间 为 O(lgz)。 事 实 上 ， 在 一 次 旋转 
后 ， 更 新 max 属性 只 需 O(1) 的 时 间 ， 如 练习 14. 2-3 和 练习 14. 3-1 所 示 。 

步骤 4: 设计 新 的 操作 

这 里 我 们 仅 需 要 唯一 的 一 个 新 操作 INTERVAL-SEARCH(T，i)， 它 是 用 来 找 出 树 荆 中 与 
区 间 i 重合 的 那个 结 点 。 若 树 中 与 i 重合 的 结 点 不 存在 ， 则 下 面 过 程 返 回 指 向 哨兵 T. nil 的 
指针 。 


a 
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INTERVAL-SEARCH(T, i) 
1 z= T. root 

2 while zT. nil and i does not overlap x. int 
3 if x. le ftAT. nil and z. left. max>i. low 
4 zr=a.left 

5 else x = 2x. right 

6 return 工 


ERS i RAKKE 的 过 程 从 以 z 为 根 的 树 根 开 始 ， 逐 步 向 下 搜索 。 当 找到 一 个 重 耕 区 间 
或 者 工 指 向 T. nil 时 过 程 结束 。 由 于 基本 循环 的 每 次 迭代 耗费 O(1) 的 时 间 ， 又 因为 nn 个 结 点 的 
红 黑 树 的 高 度 为 Ol(lgn)， 所 以 INTERVAL-SEARCH 过 程 耗费 O(lgn) 的 时 间 。 

在 说 明 INTERVAL-SEARCH 的 正确 性 之 前 ， 先 来 看 一 下 这 个 过 程 在 图 14-4 所 示 的 区 间 树 
上 是 如 何 查 找 的 。 假 设 要 找 一 个 与 区 间 i 二 [22，25] 重 全 的 区 间 。 开 始 时 z 为 根 结 点 ， 它 包含 区 
E[16, 21], 5i REA., HF xz. left. max=23 KF i. low= 二 22， 所 以 这 时 以 这 棵 树 根 的 左 孩 子 
作为 继续 循环 。 现在 结 点 x 包含 区 间 [8，9]， 仍 不 与 i 重合。 此 时 ，x. left.max=10 小 于 
i. Low 一 22， 因 此 以 天 的 右 孩 子 作 为 新 的 z 继续 循环 。 现在， 由 于 结 点 x 所 包含 的 区 间 [15，23] 
与 i 重合， 过 程 结束 并 返回 这 个 结 点 。 

现在 来 看 一 个 查找 不 成 功 的 例子 。 假 设 要 在 图 14-4 所 示 的 区 间 树 中 找 出 与 二 [11，14] 重 全 的 
区 间 。 再 一 次 ， 开 始 时 z 为 根 。 因 为 根 包含 的 区 间 [16，21j 不 与 i 重合 ， 且 x. left.max=23 大 于 
i. low 王 11， 则 转向 左边 包含 区 间 [8，9j 的 结 点 。 区 间 [8，9j 仍 不 与 i 重 全 ， 且 x. left. max=10 小 
于 i.low 王 11， 因 此 我 们 转向 右 子 树 。( 注 意 ， 其 左 子 树 中 没有 一 个 区 间 与 i 重合。) 这 时 区 间 [15， 
23] 仍 不 与 i ne, HEWABFAT. nil, kA, ARAR, E T. nil, 

要 明白 INTERVAL-SEARCH 的 正确 性 ， 我 们 必须 理解 为 什么 该 过 程 只 需 检 查 一 条 由 根 开 
始 的 简单 路 径 即 可 。 该 过 程 的 基本 思想 是 在 任意 结 点 x 上 ， 如 果 z. int 不 与 i BB, WAR BE 
沿 着 一 个 安全 的 方向 进行 : 如 果树 中 包含 一 个 与 i 重合 的 区 间 ， 则 该 区 间 必 定 会 被 找到 。 下 面 的 
定理 更 精确 地 叙述 了 这 个 性 质 。 

定理 14.2 INTERVAL-SEARCH(T, 让 的 任意 一 次 执行 ， 或 者 返回 一 个 其 区 间 与 i 重 登 的 
结 点 ， 或 者 返回 T.nil， 此 时 树 本 中 没有 任何 结 点 的 区 间 与 i CR, 

证 明 当 zx=T.nil 或 i 与 x.int RRM, 第 2~5 行 的 while 循 环 终止 。 后 一 种 情况 ， 过 程 返 
回 z， 显 然 是 正确 的 。 因 此 ， 主 要 考虑 前 一 种 情况 ， 也 就 是 当 2 = T. nil 时 while 循环 终止 的 
情况 。 

对 第 2 一 5 行 的 while 循环 使 用 如 下 的 循环 不 变 式 : 

如 果树 全 包含 与 i 重 又 的 区 间 ， 那 么 以 工 为 根 的 子 树 必 包 含 此 区 间 。 

循环 不 变 式 使 用 如 下 : 

初始 化 : 在 第 一 次 迭代 之 前 ,第 1 行 置 z 为 工 的 根 ， 循 环 不 变 式 成 立 。 

保持 : 在 while 循环 的 每 次 迭代 中 ， 第 4 行 或 第 5 行 被 执行 。 下 面 将 证 明 循 环 不 变 式 在 这 两 
种 情况 下 都 能 成 立 。 

如 果 执 行 第 5 行 ， 则 由 于 第 3 行 的 分 支 条 件 ， 有 x. left=T. nil Kx. left. maxr<i. low。 如 果 
x. left=T. nil, WW x. left 为 根 的 子 树 显 然 不 包含 与 i BARAK, MAR xH x. right 以 保持 
这 个 不 变 式 。 因 此 ， 假 设 zx. le ftAT. nil H x. left. max<i. low, WA 14-5(a ta, MS x ETH 
的 任 一 区 间 i， 都 有 

i'. high <x. left. max < i. low 
根据 区 间 三 分 律 ，i 和 i RER., Alt, 的 左 子 树 不 包含 与 i RRM KM, H xH ax. right 
使 循环 不 变 式 保持 成 立 。 
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另外 ， 如 果 是 第 4 行 被 执行 ,我们 将 证 明 循环 不 变 式 的 对 等 情况 。 也 就 是 说 ， 如 果 在 以 
x. left 为 根 的 子 树 中 没有 与 i 重 肥 的 区 间 ， 则 树 的 其 他 部 分 也 不 会 包含 与 i 重 全 的 区 间 。 因 为 第 
4 行 被 执行 ， 是 由 于 第 3 行 的 分 支 条 件 导致 的 ， 所 以 有 x. left. maz 宇 i. low。 根 据 max 属性 的 定 
X, 在 工 的 左 子 树 中 必定 存在 某 区 间 2， 满 足 : 

i’. high = x. left. max > i. low 
(图 14-5(b) 显 示 了 这 种 情况 。) 因 为 i 和 i 不 重合， 又 因为 i. high<i. Low 不成立， 所 以 根据 区 间 
三 分 律 有 i.high<i. low。 区 间 树 是 以 区 间 的 低 端点 为 关键 字 的 ， 所 以 搜索 树 性 质 隐 含 了 对 工 右 
子 树 中 的 任意 区 间 i， 有 
i. high<i’. low<i”. low 


: wh MH 
F 1 | | | = i 
， SS 


图 14-5 在 定理 14. 2 的 证 明 中 用 到 的 各 个 区 间 。 在 每 种 情况 下 ，z. left. max 的 值 用 虚线 表示 。 
DHAHAR. Er 的 左 子 树 中 没有 与 之 重叠 的 区 间 亡 。(b) 向 左 查 找 。z 的 左 子 树 中 包 
含 与 i 重 碍 的 区 间 ( 此 状态 未 显示 )， 或 者 cAFMPA-TE i, WE i. high= 
z.left.max, AR iSi REAR, WHr 右 子 树 任意 区 间 六 都 不 重 琶 ， 因 为 让 .low 过 


M 
i . low 


根据 区 间 三 分 律 ，i AMi REA. RIELE KE, MRE zx 的 左 子 树 中 是 否 存 在 与 i 
重 登 的 区 间 ， 置 z 为 zx. Left 保持 循环 不 变 式 成 立 。 

终止 : WRM =T. nil 时 终止 ， 则 表明 在 以 zx 为 根 的 子 树 中 ， 没 有 与 RAM KI. 
循环 不 变 式 的 对 等 情况 说 明了 工 中 不 包含 与 i RAKKE, KORE x 二 T. nil 是 正确 的 。 a 

因此 ， 过 程 INTERVAL-SEARCH 是 正确 的 。 


练习 


14.3-1 写 出 作用 于 区 间 树 的 结 点 且 在 O(1) 时 间 内 更 新 max 属性 的 过 程 LEFT-ROTATE 的 伪 代 码 。 

14.3-2 改写 INTERVAL-SEARCH 的 代码 ， 使 得 当 所 有 区 间 都 是 开 区 间 时 ， 它 也 能 正确 地 
工作 。 

14.3-3 请 给 出 一 个 有 效 的 算法 ， 对 一 个 给 定 的 区 间 i,， 返 回 一 个 与 i 重合 且 具 有 最 小 低 端点 的 
KE; 或 者 当 这 样 的 区 间 不 存在 时 返回 T. nil. 

14.3-4 给 定 一 棵 区 间 树 荆 和 一 个 区 间 i， 请 描述 如 何在 O(mziz(z，Algz)) 时 间 内 列 出 工 中 所 有 
与 i 重 益 的 区 间 ， 其 中 为 输出 的 区 间 数 。( 提 示 : 一 种 简单 的 方法 是 做 若干 次 查询 ， 并 
且 在 这 些 查询 操作 中 修改 树 ， 另 一 种 略微 复杂 点 的 方法 是 不 对 树 进 行 修改 。) 

14.3-5 对 区 间 树 和 一 个 区 间 i， 请 修改 有 关 区 间 树 的 过 程 来 支持 新 的 操作 INTERVAL- 
SEARCH-EXACTLY(T, 1), 它 返 回 一 个 指向 全 中 结 点 xz 的 指针 ， 使 得 x. int. low= 
i. low Hx. int. high=i. high; 或 者 ， 如 果 工 不 包含 这 样 的 区 间 时 返回 T.nilz。 所 有 的 操 
作 ( 包 括 INTERVAL-SEARCH-EXACTLY) 对 于 包含 n 个 结 点 的 区 间 树 的 运行 时 间 都 应 
H OUgn). 

14.3-6 说 明 如 何 来 维护 一 个 支持 操作 MIN-GAP 的 一 些 数 的 动态 集 Q， 使 得 该 操作 能 给 出 Q 中 
两 个 最 接近 的 数 之 间 的 差 值 。 例 如 ，Q=(1，5，9，15，18，22}， 则 MIN-GAP 返回 
18—15=3, AA 15 和 18 是 Q 中 两 个 最 接近 的 数 。 要 使 得 操作 INSERT, DELETE, 
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SEARCH 和 MIN-GAP 尽 可 能 高 效 ， 并 分 析 它 们 的 运行 时 间 。 

*14.3-7 VLSI 数据 库 通常 将 一 块 集成 电路 表示 成 一 组 矩形 ， 假 设 每 个 矩形 的 边 都 平行 于 工 轴 或 
者 y 轴 ， 这 样 可 以 用 和 矩形 的 最 小 和 最 大 的 z 轴 与 y 轴 坐 标 来 表示 一 个 矩形 。 请 给 出 一 个 
Olnlgn) 时 间 的 算法 ， 来 确定 n 个 这 种 表示 的 矩形 集合 中 是 否 存 在 两 个 重合 的 矩形 。 你 
的 算法 不 一 定 要 输出 所 有 重合 的 矩形 ， 但 对 于 一 个 矩形 完全 覆盖 男 一 个 (即使 边界 线 不 
相交 )， 一 定 能 给 出 正确 的 判断 。( 提 示 : 移动 一 条 “扫描 ” 线 ， 穿 过 所 有 的 矩形 。) 


思考 题 
14-1 (RAKES) ”假设 我 们 希望 记录 一 个 区 间 集 合 的 最 大 重 难 点 (a point of maximum 
overlap) ， 即 被 最 多 数目 区 间 所 覆盖 的 那个 点 。 
354 a. 证 明 : 最 大 重合 点 一 定 是 其 中 一 个 区 间 的 端点 。 
b. 设计 一 个 数据 结构 ， 使 得 它 能 名 有效 地 支持 INTERVAL-INSERT, INTERVAL- 
DELETE, Wik eK RA AY FIND-POM 操作 。( 提 示 : 使 红 黑 树 记录 所 有 的 端 
点 。 左 端点 关联 十 1 值 ， 右 端点 关联 一 1 值 ， 并 且 给 树 中 的 每 个 结 点 扩张 一 个 额外 信息 
来 维护 最 大 重合 点 。) 
14-2 (Josephus 排列 ) 定义 Josephus 问题 如 下 : 假设 2 个 人 围 成 一 个 圆圈 ， 给 定 一 个 正 整 数 m 
且 mn。 从 某 个 指定 的 人 开始 ， 沿 环 将 遇 到 的 每 第 m 个 人 移出 队伍 。 每 个 人 移出 之 后 ， 
继续 沿 环 数 剩 下 来 的 人 。 这 个 过 程 直 到 所 有 的 n 个 人 都 被 移出 后 结束 。 每 个 人 移出 的 次 序 
定义 了 一 个 来 自 整 数 1，2，…， nn 的 (n，m)-Josephus 排列 。 例 如 ，(7，3)-Josephus 排列 
05 2h. 75.55. Bee dy: 
a. 假设 m 是 常数 ， 描 述 一 个 OGURA, HARMAN n, AEB H (Cn, m)- 
Josephus 排列 。 
b. 假设 m 不 是 常数 ， 描 述 一 个 O(nlgn) 时 间 的 算法 ， 使 得 对 于 给 定 的 nx， 能够 输出 (n，m)- 
Josephus 排列 。 


本 章 注 记 
在 Preparata 和 Shamos [282] 的 书 中 ， 描 述 了 出 现在 H. Edelsbrunner (1980) 和 


E. M. McCreight(1981) 所 引用 文献 内 的 一 些 区 间 树 。 该 书 详细 介绍 了 一 种 区 间 树 ， 给 定 包含 ”个 
区 间 的 静态 数据 库 ， 它 能 够 在 OC 十 lgn) 时 间 内 ， 列 出 所 有 与 指定 查询 区 间 重 公 的 个 区 间 。 
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这 一 部 分 介绍 了 设计 和 分 析 高 效 算法 的 三 种 重要 技术 : 动态 规划 (第 15 
章 ) 、 贪 心算 法 (第 16 章 ) 和 摊 还 分 析 ( 第 17 章 )。 本 书 前 三 部 分 介绍 了 其 他 
一 些 广泛 使 用 的 技术 ， 例 如 ， 分 治 策略 、 随 机 化 方法 和 递归 技术 。 这 一 部 
分 中 介绍 的 技术 在 某 种 程度 上 更 为 复杂 ， 但 可 以 帮助 我 们 解决 很 多 计算 问 
题 。 这 一 部 分 所 介绍 的 主题 在 本 书 随后 的 部 分 中 还 会 用 到 。 

动态 规划 通常 用 来 解决 最 优化 问题 ， 在 这 类 问题 中 ， 我 们 通过 做 出 一 
组 选择 来 达到 最 优 解 。 在 做 出 每 个 选择 的 同时 ， 通 常会 生成 与 原 问题 形式 
相同 的 子 问题 。 当 多 于 一 个 选择 子 集 都 生成 相同 的 子 问 题 时 ， 动 态 规划 技 
术 通 常 就 会 很 有 效 ， 其 关键 技术 就 是 对 每 个 这 样 的 子 问题 都 保存 其 解 ， 当 
其 重复 出 现时 即 可 避免 重复 求解 。 第 15 章 展示 这 种 简单 的 思想 有 时 可 以 
将 指数 时 间 的 算法 转换 为 多 项 式 时 间 的 算法 。 

与 动态 规划 算法 类 似 ， 贪 心算 法 通常 用 于 最 优化 问题 ， 我 们 做 出 一 组 
选择 来 达到 最 优 解 。 贪 心算 法 的 思想 是 每 步 选择 都 追求 局 部 最 优 。 一 个 简 
单 的 例子 是 找 零 问题 : 为 了 最 小 化 找 零 的 硬币 数量 ， 我 们 反复 选择 不 大 于 
剩余 金额 的 最 大 面额 的 硬币 。 贪 心 方法 对 很 多 问题 都 能 求 得 最 优 解 ， 而 且 
速度 比 动态 规划 方法 快 得 多 。 但 是 ， 我 们 并 不 总 能 简单 地 判断 出 贪心 算法 
是 否 有 效 。 第 16 章 介 绍 拟 阵 理论 ， 它 提供 了 相应 的 数学 基础 ， 可 以 帮助 
我 们 证 明 一 个 贪心 算法 生成 最 优 解 。 

我 们 使 用 摊 还 分 析 方 法 分 析 一 类 特定 的 算法 ， 这 类 算法 执行 一 组 相似 的 
操作 组 成 的 序列 。 摊 还 分 析 并 不 是 通过 分 别 分 析 每 个 操作 的 实际 代价 的 界 来 
分 析 操 作 序 列 的 代价 的 界 ， 而 是 直接 分 析 序 列 整体 的 实际 代价 的 界 。 这 种 方 
法 的 一 个 好 处 是 ， 虽然 某 些 操作 的 代价 可 能 很 高 ， 但 其 他 很 多 操作 的 代价 可 
能 很 低 。 换 名 话说， 很 多 操作 的 运行 时 间 都 会 在 最 坏 情况 时 间 之 内 。 挫 还 分 析 
并 不 仅仅 是 一 种 分 析 工 具 ， 它 还 是 一 种 思考 算法 设计 的 方式 ， 因 为 算法 设计 和 
算法 运行 时 间 的 分 析 常 常 是 交织 在 一 起 的 。 第 17 章 将 介绍 三 种 摊 还 分 析 方 法 。 
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动态 规划 


动态 规划 (dynamic programming) 与 分 治 方法 相似 ， 都 是 通过 组 合子 问题 的 解 来 求解 原 问题 (在 
这 里 ,“programming” 指 的 是 一 种 表格 法 ， 并 非 编写 计算 机 程序 )。 如 第 2 章 和 第 4 章 所 述 ， 分 治 方 
法 将 问题 划分 为 互 不 相交 的 子 问 题 ， 递 归 地 求解 子 问题 ， 再 将 它们 的 解 组 合 起 来 ， 求 出 原 问 题 的 
解 。 与 之 相反 ， 动 态 规划 应 用 于 子 问题 重 释 的 情况 ， 即 不 同 的 子 问题 具有 公共 的 子 子 问题 ( 子 问题 
的 求解 是 递归 进行 的 ， 将 其 划分 为 更 小 的 子 子 问题 ) 。 在 这 种 情况 下 ， 分 治 算法 会 做 许多 不 必要 的 
工作 ， 它 会 反复 地 求解 那些 公共 子 子 问 题 。 而 动态 规划 算法 对 每 个 子 子 问题 只 求解 一 次 ， 将 其 解 保存 
在 一 个 表格 中 ， 从 而 无 需 每 次 求解 一 个 子 子 问题 时 都 重新 计算 ， 避免 了 这 种 不 必要 的 计算 工作 。 

动态 规划 方法 通常 用 来 求解 最 优化 问题 (optimization problem) 。 这 类 问题 可 以 有 很 多 可 行 
解 ， 每 个 解 都 有 一 个 值 ， 我 们 希望 寻找 具有 最 优 值 ( 最 小 值 或 最 大 值 ) 的 解 。 我 们 称 这 样 的 解 为 问 
题 的 一 个 最 优 解 (an optimal solution), ， 而 不 是 最 优 解 (the optimal solution) ， 因 为 可 能 有 多 个 解 
都 达到 最 优 值 。 

我 们 通常 按 如 下 4 个 步骤 来 设计 一 个 动态 规划 算法 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采用 自 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

步骤 1 一 3 是 动态 规划 算法 求解 问题 的 基础 。 如 果 我 们 仅仅 需要 一 个 最 优 解 的 值 ， 而 非 解 本 
身 ， 可 以 忽略 步骤 4。 如 果 确 实 要 做 步骤 4， 有 时 就 需要 在 执行 步骤 3 的 过 程 中 维护 一 些 额外 信 
息 ， 以 便 用 来 构造 一 个 最 优 解 。 

下 面 我 们 将 展示 如 何 用 动态 规划 方法 来 求解 一 些 最 优化 问题 。15. 1 节 研 究 如 何 将 长 钢 条 切 
割 成 短 钢 条 ， 使 得 总 价值 最 高 。15. 2 节 解 决 如 何 用 最 少 的 标量 乘法 操作 完成 一 个 矩阵 链 相 乘 的 
运算 。 基 于 这 些 动 态 规划 求解 问题 的 例子 ，15. 3 节 讨 论 适 合用 动态 规划 方法 求解 的 问题 应 该 具 
备 的 两 个 关键 特征 。 接 下 来 ，15. 4 节 展 示 如 何 用 动态 规划 方法 找到 两 个 序列 的 最 长 公共 子 序 列 。 
最 后 ，15. 5 节 用 动态 规划 方法 解决 在 已 知 关键 字 分 布 的 前 提 下 ， 如 何 构造 最 优 二 又 搜索 树 。 


15.1 钢 条 切割 


我 们 第 一 个 应 用 动态 规划 的 例子 是 求解 一 个 如 何 切割 钢 条 的 简单 问题 。Serling 公司 购买 长 钢 
条 ， 将 其 切割 为 短 钢 条 出 售 。 切 割 工序 本 身 没有 成 本 支出 。 公 司 管理 层 希 望 知道 最 佳 的 切割 方案 。 





假定 我 们 知道 Serling 公司 出 售 一 段 长 度 为 i 英寸 的 钢 条 的 价格 为 p;(i 二 1，2，…， 单 位 为 美 
元 )。 钢 条 的 长 度 均 为 整 英寸 。 图 15-1 给 出 了 一 个 价格 表 的 样 例 。 
1 2 3 4 5 6 7 8 9 10 
| Mp | Ss SO 0 7 oo ee 
图 15-1 钢 条 价格 表 样 例 。 每 段 长 度 为 i 英寸 的 钢 条 为 公司 带 来 p: 美元 的 收益 
钢 条 切割 问题 是 这 样 的 : 给 定 一 段 长 度 为 n 英寸 的 钢 条 和 一 个 价格 表 p;(i==1，2,，…,， n), 


求 切割 钢 条 方案 ， 使 得 销售 收益 rn 最 大 。 注 意 ， 如 果 长 度 为 n 英寸 的 钢 条 的 价格 p, 足够 大 ， 最 
优 解 可 能 就 是 完全 不 需要 切割 。 
考虑 "一 4 的 情况 。 图 15-2 给 出 了 4 英寸 钢 条 所 有 可 能 的 切割 方案 ， 包 括 根 本 不 切割 的 方案 。 
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我 们 发 现 ， 将 一 段 长 度 为 4 英寸 的 钢 条 切割 为 两 段 各 长 2 英寸 的 钢 条 ， 将 产生 pe 十 pe 二 5 十 5 二 10 
的 收益 ， 为 最 优 解 。 


9 1 8 5 5 8 1 
BEZE 


Ca) (b) Ce) (d) 


iia ME tn il ee Dae ie ee 
Ce) (f) (g) a 


图 15-2 4 英寸 钢 条 的 8 种 切割 方案 。 根据 图 1-1 中 的 价格 表 ， 在 每 段 钢 条 之 上 标记 了 它 的 价 
格 。 最 优 策 略为 方案 (c) 一 一 将 钢 条 切割 为 两 段 长 度 均 为 2 英寸 的 钢 条 一 一 总 价值 为 10 


长 度 为 n 英 寸 的 钢 条 共有 2 一 种 不 同 的 切割 方案 ， 因 为 在 距离 钢 条 左 端 ii 一 1，2，…，7? 一 1) 英 
才 处 ， 我 们 总 是 可 以 选择 切割 或 不 切割 ?。 我 们 用 普通 的 加 法 符号 表示 切割 方案 ， 因 此 
7 三 2 十 2 十 3 表示 将 长 度 为 7 英寸 的 钢 条 切割 为 三 段 一 两 段 长 度 为 2 英寸 、 一 段 长 度 为 3 英寸 。 
如 果 一 个 最 优 解 将 钢 条 切割 为 k 段 (对 某 个 1<k<<n)， 那 么 最 优 切 割 方案 

n= iti teti 


HAA DA AKAN is is oy iy 的 小 段 ， 得 到 最 大 收益 
rs = b tp, teeth 360 
对 于 上 述 价格 表 样 例 ， 我 们 可 以 观察 所 有 最 优 收益 值 r; (i 二 1，2，…，10) 及 对 应 的 最 优 切 ane 
HAR: 


n=1, DRUK 1==1( 无 切割 ) 

rz 二 5， 切 割 方案 2 二 2( 无 切割 ) 

rs 二 8， 切 割 方 案 3 三 3( 无 切割 ) 

六 一 10， 切 割 方案 4 一 2 十 2 

rs 二 13， 切 制 方案 5 一 2 十 3 

rs 二 17， 切 割 方案 6=6 LWA) 

7 二 18， 切 割 方案 7==1 十 6 或 7=2 十 2 十 3 

ms 一 22， 切 割 方案 8 一 2 十 6 

为 一 25， 切 割 方案 9 一 3 十 6 

ro 一 30， 切 割 方案 10 王 10( 无 切割 ) 

更 一 般 地 ， 对 于 7,(n 宇 1)， 我 们 可 以 用 更 短 的 钢 条 的 最 优 切 割 收益 来 描述 它 : 

Ta = MAX Pg ory Hear Te Frezo rea HM) (15. 1) 

第 一 个 参数 p, 对 应 不 切割 ， 直 接 出 售 长 度 为 英寸 的 钢 条 的 方案 。 其 他 ”一 1 个 参数 对 应 另 
外 z 一 1 种 方案 : 对 每 个 i 二 1，2，…，n 一 1， 首 先 将 钢 条 切割 为 长 度 为 i 和 nn 一 i 的 两 段 ， 接 着 求 
解 这 两 段 的 最 优 切 割 收益 7; 和 xr,_;( 每 种 方案 的 最 优 收益 为 两 段 的 最 优 收益 之 和 )。 由 于 无 法 预知 
哪 种 方案 会 获得 最 优 收益 ， 我 们 必须 考察 所 有 可 能 的 i， 选取 其 中 收益 最 大 者 。 如 果 直 接 出 售 原 
钢 条 会 获得 最 大 收益 ， 我 们 当然 可 以 选择 不 做 任何 切割 。 

注意 到 ， 为 了 求解 规模 为 n 的 原 问 题 ， 我 们 先 求解 形式 完全 一 样 ， 但 规模 更 小 的 子 问 题 。 即 
当 完 成 首次 切割 后 ， 我 们 将 两 段 钢 条 看 成 两 个 独立 的 钢 条 切割 问题 实例 。 我 们 通过 组 合 两 个 相 


O ”如 果 我 们 要 求 按 长 度 非 递减 的 顺序 切割 小 段 钢 条 ， 可 能 的 切割 方案 会 少 得 多 。 例 如 ， 对 一 4， 我 们 只 需 考虑 5 
种 切割 方案 : 15-2 中 的 (a)、(b)、(c) 、(e) 和 (h)。 切 割 方案 的 数量 可 由 划分 函数 (partition function) 给 出 ， 


此 函数 近似 等 于 erYzws/4nzV3。 此 值 小 于 2"!1， 但 仍 远 远大 于 任何 的 多 项 式 。 我 们 将 不 再 探究 此 问题 。 
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关子 问题 的 最 优 解 ， 并 在 所 有 可 能 的 两 段 切割 方案 中 选取 组 合 收益 最 大 者 ， 构 成 原 问 题 的 最 优 
解 。 我 们 称 钢 条 切割 问题 满足 最 优 子 结构 (optimal substructure) 性 质 : 问题 的 最 优 解 由 相关 子 问 
题 的 最 优 解 组 合 而 成 ， 而 这 些 子 问题 可 以 独立 求解 。 
除了 上 述 求解 方法 外 ， 钢 条 切割 问题 还 存在 一 种 相似 的 但 更 为 简单 的 递归 求解 方法 : 我 们 将 
钢 条 从 左边 切割 下 长 度 为 i 的 一 段 ， 只 对 右边 剩 下 的 长 度 为 n 一 i 的 一 段 继续 进行 切割 (递归 求解 )， 
对 左边 的 一 段 则 不 再 进行 切割 。 即 问题 分 解 的 方式 为 : 将 长 度 为 的 钢 条 分 解 为 左边 开始 一 段 ， 
以 及 剩余 部 分 继续 分 解 的 结果 。 这 样 ， 不 做 任何 切割 的 方案 就 可 以 描述 为 : 第 一 段 的 长 度 为 zw WK 
AH p,， 剩 余部 分 长 度 为 0， 对 应 的 收益 为 ,二 0。 于 是 我 们 可 以 得 到 公式 (15. 1) 的 简化 版 本 : 
t= max( p; Fri) (15:29 
在 此 公式 中 ， 原 问题 的 最 优 解 只 包含 一 个 相关 子 问 题 ( 右 端 剩余 部 分 ) 的 解 ， 而 不 是 两 个 。 
自 顶 向 下 递归 实现 
下 面 的 过 程 实现 了 公式 (15. 2) 的 计算 ， 它 采用 的 是 一 种 直接 的 自 顶 向 下 的 递归 方法 。 
CUT-ROD(p,n) 
ifn == 0 
return 0 


人 


q=max(q, pli] +CUT-ROD(p,n—i)) 


1 

2 

3 

4 fori = 1lton 
5 

6 return q 


过 程 CUT-ROD 以 价格 数组 PCL. .nj 和 整数 为 输入 ， 返 回 长 度 为 n 的 钢 条 的 最 大 收益 。 若 
n=0, 不 可 能 有 任何 收益 ， 所 以 CUT-ROD 的 第 2 行 返回 0。 第 3 行将 最 大 收益 g 初始 化 为 一 cc， 
以 便 第 4 一 5 行 的 for 循环 能 正确 计算 q—=max(p,+CUT-ROD(p, n—i)), 第 6 行 返回 计算 结果 。 
利用 简单 的 归纳 法 ， 可 以 证 明 此 结果 与 公式 (15. 2) 计 算出 的 最 大 收益 x, 是 相等 的 。 

如 果 你 用 熟悉 的 编程 语言 实现 CUT-ROD， 并 在 你 的 计算 机 上 运行 它 ， 你 会 发 现 ， 一 旦 输入 
规模 稍微 变 大 ， 程 序 运行 时 间 会 变 得 相当 长 。 例 如 ， 对 zx 一 40， 程 序 至 少 运行 好 几 分钟 ， 很 可 能 
超过 一 小 时 。 实 际 上 ， 你 会 发 现 ， 每 当 将 n 增 大 1， 程 序 运行 时 间 差 不 多 就 会 增加 1 倍 。 

为 什么 CUT-ROD 的 效率 这 么 差 ? 原因 在 于 ，CUT-ROD 反复 地 用 相同 的 参数 值 对 自身 进行 
递归 调用 ， 即 它 反 复 求解 相同 的 子 问题 。 图 15-3 显示 了 n=4 时 的 调用 过 程 : CUT-ROD(p, n) 
对 i 二 1,2，…， nn 调用 CUT-ROD(p，n 一 i)， 等 价 于 对 j= 二 0，1，…，n 一 1 调用 CUT-ROD(p， 
7) 。 当 这 个 过 程 递归 展开 时 ， 它 所 做 的 工作 量 ( 用 n 的 函数 的 形式 描述 ) 会 爆炸 性 地 增长 。 





15-3 ”这 棵 递归 调用 树 显示 了 n=4 时，CUT-ROD(p，n) 的 递归 调用 过 程 。 每 个 结 点 的 标号 为 对 应 
子 问 题 的 规模 n， 因 此 ， 从 父 结 点 s 到 子 结 点 上 的 边 表示 从 钢 条 左 端 切 下 长 度 为 ;一 t 的 一 段 ， 
然后 继续 递归 求解 剩余 的 规模 为 1 的 子 问 题 。 从 根 结 点 到 叶 结 点 的 一 条 路 径 对 应 长 度 为 n 的 
钢 条 的 2 一 :种 切割 方案 之 一 。 一 般 来 说 ， 这 棵 递归 调用 树 共有 2" 个 结 点 ， 其 中 有 2 一 ! 个 
叶 结 点 
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为 了 分 析 CUR-ROD 的 运行 时 间 ， 令 T(n) 表 示 第 二 个 参数 值 为 n 时 CUT-ROD 的 调用 次 数 。 
此 值 等 于 递归 调用 树 中 根 为 n 的 子 树 中 的 结 点 总 数 ， 注 意 ， 此 值 包含 了 根 结 点 对 应 的 最 初 的 一 次 
调用 。 因 此 T(0)=1, H 


nl 
T(n) = 1+ >TO) (15. 3) 


第 一 项 “1 表示 函数 的 第 一 次 调用 (递归 调用 树 的 根 结 点 )，TG ) 为 调用 CUT-ROD(p, n—i) frr 
生 的 所 有 调用 (包括 递归 调用 ) 的 次 数 ， 此 处 j 二 n 一 i。 练 习 15. 1-1 要 求证 明 : 
T(n) = 2” (15. 4) 

即 CUT-ROD 的 运行 时 间 为 n 的 指数 函数 。 

回 过 头 看 ，CUT-ROD 的 指数 运行 时 间 并 不 令 人 惊讶 。 对 于 长 度 为 n 的 钢 条 ，CUT-ROD 显 
然 考 察 了 所 有 2"! 种 可 能 的 切割 方案 。 递 归 调 用 树 中 共有 2 一 :个 叶 结 点 ， 每 个 叶 结 点 对 应 一 种 可 
能 的 钢 条 切割 方案 。 对 每 条 从 根 到 叶 的 路 径 ， 路 径 上 的 标号 给 出 了 每 次 切割 前 右边 剩余 部 分 的 
长 度 ( 子 问题 的 规模 ) 。 也 就 是 说 ， 标 号 给 出 了 对 应 的 切割 点 (从 钢 条 右 端 测量 ) 。 

使 用 动态 规划 方法 求解 最 优 钢 条 切割 问题 

我 们 现在 展示 如 何 将 CUT-ROD 转换 为 一 个 更 高 效 的 动态 规划 算法 。 

动态 规划 方法 的 思想 如 下 所 述 。 我 们 已 经 看 到 ， 朴 素 递归 算法 之 所 以 效率 很 低 ， 是 因为 它 反 
复 求解 相同 的 子 问题 。 因 此 ， 动 态 规划 方法 仔细 安排 求解 顺序 ， 对 每 个 子 问题 只 求解 一 次 ， 并 将 
结果 保存 下 来 。 如 果 随 后 再 次 需要 此 子 问 题 的 解 ， 只 需 查找 保存 的 结果 ， 而 不 必 重 新 计算 。 因 
此 ， 动 态 规划 方法 是 付出 额外 的 内 存 空间 来 节省 计算 时 间 ， 是 典型 的 时 空 权衡 (time-memory 
trade-off) 的 例子 。 而 时 间 上 的 节省 可 能 是 非常 巨大 的 : 可 能 将 一 个 指数 时 间 的 解 转化 为 一 个 多 
项 式 时 间 的 解 。 如 果子 问题 的 数量 是 输入 规模 的 多 项 式 函 数 ， 而 我 们 可 以 在 多 项 式 时 间 内 求解 
出 每 个 子 问题 ， 那 么 动态 规划 方法 的 总 运行 时 间 就 是 多 项 式 阶 的 。 

动态 规划 有 两 种 等 价 的 实现 方法 ， 下 面 以 钢 条 切割 问题 为 例 展示 这 两 种 方法 。 

第 一 种 方法 称 为 带 备 忘 的 自 顶 向 下 法 (top-down with memoization)® 。 此 方法 仍 按 自然 的 递 
归 形 式 编写 过 程 ， 但 过 程 会 保存 每 个 子 问题 的 解 (通常 保存 在 一 个 数组 或 散 列表 中 ) 。 当 需要 一 个 
子 问题 的 解 时 ， 过 程 首先 检查 是 否 已 经 保存 过 此 解 。 如 果 是 ， 则 直接 返回 保存 的 值 ， 从 而 节省 了 
计算 时 间 ; 否则 ， 按 通常 方式 计算 这 个 子 问 题 。 我 们 称 这 个 递归 过 程 是 带 备 忘 的 (memoized)， 
因为 它 “ 记 住 ” 了 之 前 已 经 计算 出 的 结果 。 

第 二 种 方法 称 为 自 底 向 上 法 (bottom-up method) 。 这 种 方法 一 般 需 要 恰当 定义 子 问题 “规模 ” 
的 概念 ， 使 得 任何 子 问 题 的 求解 都 只 依赖 于 “更 小 的 ” 子 问 题 的 求解 。 因 而 我 们 可 以 将 子 问 题 按 规 
模 排 序 ， 按 由 小 至 大 的 顺序 进行 求解 。 当 求解 某 个 子 问 题 时 ， 它 所 依赖 的 那些 更 小 的 子 问题 都 已 
求解 完毕 ， 结 果 已 经 保存 。 每 个 子 问 题 只 需求 解 一 次 ， 当 我 们 求解 它 ( 也 是 第 一 次 遇 到 它 ) 时 ， 它 
的 所 有 前 提 子 问题 都 已 求解 完成 。 

两 种 方法 得 到 的 算法 具有 相同 的 渐 近 运行 时 间 ， 仅 有 的 差异 是 在 某 些 特殊 情况 下 ， 自 顶 向 
下 方法 并 未 真正 递归 地 考察 所 有 可 能 的 子 问题 。 由 于 没有 频繁 的 递归 函数 调用 的 开销 ， 自 底 向 
上 方法 的 时 间 复 杂 性 函数 通常 具有 更 小 的 系数 。 

下 面 给 出 的 是 自 顶 向 下 CUT-ROD 过 程 的 伪 代 码 ， 加 入 了 备 忘 机 制 : 


MEMOIZED-CUT-ROD(p,n) 


let r[0. . n]be a new array 


= 


2 fori = Oton 


日 ”此 处 并 不 是 拼写 错误 ， 确实 是 memoization， 而 非 memorization, memoization MA memo， 为 备 忘 之 意 ， 因 为 这 
种 方法 记录 子 问题 的 解 ， 以 备 随后 查找 。 


363 
364 


365 
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3 r[i]= 一 oo 
4 return MEMOIZED-CUT-ROD-AUX(p,n,7) 


MEMOIZED-CUT-ROD-AUX(p,n,7) 
if rin]>0 
return r[7] 
ifn == 0 


q=0 


fori = lton 
q=max(q, p[i]-++MEMOIZED-CUT-ROD-AUX(p,n—i,r)) 
r[n]=q 
return q 
这 里 ， 主 过 程 MEMOIZED-CUT-ROD 将 辅助 数组 rL0. .nj 的 元 素 均 初始 化 为 一 -2， 这 是 一 
种 常见 的 表示 “未 知 值 ” 的 方法 (已 知 的 收益 总 是 非 负 值 )。 然 后 它 会 调用 辅助 过 程 MEMOIZED- 
CUT-ROD-AUX, 
过 程 MEMOIZED-CUT-ROD-AUX 是 最 初 的 CUT-ROD 引入 备 忘 机 制 的 版 本 。 它 首先 检查 
所 需 值 是 否 已 知 (第 1 行 )， 如 果 是 ， 则 第 2 行 直 接 返回 保存 的 值 ; 否则 ， 第 3 一 7 行 用 通常 方法 
计算 所 需 值 a, 第 8 行将 g 存 人 r[Ln],， 第 9 行将 其 返回 。 
自 底 向 上 版 本 更 为 简单 : 
BOTTOM-UP-CUT-ROD(p,n) 
let r[0. . n]be a new array 


r[0]=0 


1 
2 
3 
4 
5 else q 一 一 co 
6 
7 
8 
9 


1 
2 
3 for; = lton 
4 9 一 一 co 
5 fori = 1 toj 
6 q=max(q, pli] +rLj—i]}) 
7 rLi]=4 
8 return r[n] 

自 底 向 上 版 本 BOTTOM-UP-CUT-ROD 采 用 子 问题 的 自然 顺序 . 若 i 二 ;}， 则 规模 为 i 的 子 
问题 比 规模 为 7 的 子 问题 “更 小 ”。 因 此 ， 过 程 依次 求解 规模 为 7 二 0，1，…，n 的 子 问 题 。 

过 程 BOTTOM-UP-CUT-ROD 的 第 1 行 创建 一 个 新 数组 LO. .nj 来 保存 子 问 题 的 解 ， 第 2 行 
将 rL0] 初 始 化 为 0， 因 为 长 度 为 0 的 钢 条 没有 收益 。 第 3 一 6 行 对 j 二 1，2，…，nn 按 升序 求解 每 
个 规模 为 7 的 子 问 题 。 求 解 规模 为 7 的 子 问题 的 方法 与 CUT-ROD 所 采用 的 方法 相同 ， 只 是 现在 
直接 访问 数组 元 素 rLj 一 让 来 获得 规模 为 j 一 i 的 子 问题 的 解 ( 第 6 行 )， 而 不 必 进 行 递归 调用 。 第 
7 行将 规模 为 j 的 子 问题 的 解 存 人 r[j]。 最 后 ， 第 8 行 返回 rLn]， 即 最 优 解 rno 

自 底 向 上 算法 和 自 项 向 下 算法 具有 相同 的 渐 近 运行 时 间 。 过 程 BOTTOM-UP-CUT-ROD 的 
主体 是 嵌 套 的 双重 循环 ， 内 层 for 循环 (第 5 一 6 行 ) 的 迭代 次 数 构 成 一 个 等 差 数 列 ， 不 难 分 析 过 
程 的 运行 时 间 为 OG”). A Wie FAY MEMOIZED-CUT-ROD 的 运行 时 间 也 是 B(x ) ， 其 分 析 略 
难 一 些 : 当 求解 一 个 之 前 已 计算 出 结果 的 子 问题 时 ， 递 归 调 用 会 立即 返回 ， 即 MEMOIZED- 
CUT-ROD 对 每 个 子 问题 只 求解 一 次 ， 而 它 求解 了 规模 为 0，1，…， 的 子 问题 ， 为 求解 规模 为 
n 的 子 问 题 ， 第 6 一 7 行 的 循环 会 迭代 nn 次 ; 因此 ，MEMOIZED-CUT-ROD 进行 的 所 有 递归 调用 
执行 此 for 循环 的 迭代 次 数 也 是 一 个 等 差 数 列 ， 其 和 也 是 O), = BOTTOM-UP-CUT-ROD 内 
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层 for 循环 的 迭代 总 次 数 一 样 (我们 在 这 里 实际 上 用 到 了 某 种 形式 的 聚合 分 析 (aggregate 
analysis) ， 聚 合 分 析 方 法 的 细节 将 在 17. 1 节 介 绍 ) 。 

子 问题 图 

当 思 考 一 个 动态 规划 问题 时 ， 我 们 应 该 弄 清 所 涉及 的 子 问 题 及 子 问题 之 间 的 依赖 关系 。 

问题 的 子 问题 图 准确 地 表达 了 这 些 信 息 。 图 15-4 显示 了 n= 4 时 钢 条 切割 问题 的 子 问题 图 。 
它 是 一 个 有 向 图 ， 每 个 顶点 唯一 地 对 应 一 个 子 问题 。 
若 求 子 问题 x 的 最 优 解 时 需要 直接 用 到 子 问题 > 的 最 
优 解 ， 那 么 在 子 问题 图 中 就 会 有 一 条 从 子 问题 x HTH 
点 到 子 问题 y 的 顶点 的 有 向 边 。 例 如 ， 如 果 自 顶 向 下 
过 程 在 求解 zx 时 需要 直接 递归 调用 自身 来 求解 ye HB 
么 子 问 题 图 就 包含 从 工 到 y 的 一 条 有 向 边 。 我 们 可 以 
将 子 问题 图 看 做 自 项 向 下 递归 调用 树 的 “简化 版 ”或 
“收缩 版 "， 因 为 树 中 所 有 对 应 相同 子 问题 的 结 点 合并 
为 图 中 的 单一 顶点 ， 相 关 的 所 有 边 都 从 父 结 点 指向 子 图 15-4 z 一 4 时 ， 钢 条 切割 问题 的 子 问题 





a eee 
iz e c] Ts IN 
自 底 向 上 的 动态 规划 方法 处 理子 问题 图 中 顶点 的 eat gp 
顺序 为 : 对 于 一 个 给 定 的 子 问题 x， 在 求解 它 之 前 求 实际 上 是 图 15-3 中 递归 调用 树 的 
解 邻接 至 它 的 子 问题 (回忆 B.4 节 ， 邻 接 关系 不 一 定 简化 版 一 - 树 中 标号 相同 的 结 点 收 
是 对 称 的 )。 用 第 22 章 中 的 术语 说 ， 自 底 向 上 动态 规 缩 为 图 中 的 单一 顶点 ， 所 有 边 均 从 
划算 法 是 按 “ 逆 拓扑 序 ”(reverse topological sort) 或 “ 反 父 结 点 指向 子 结 点 


序 的 拓扑 序 ”(topological sort of the transpose) (参见 22.4 节 ) 来 处 理子 问题 图 中 的 顶点 。 换 句 话 
说 ， 对 于 任何 子 问 题 ， 直 至 它 依赖 的 所 有 子 问题 均 已 求解 完成 ， 才 会 求解 它 。 类 似 地 ， 我 们 可 以 
用 第 22 章 中 的 术语 “深度 优先 搜索 ”(depth-first search) 来 描述 ( 带 备 忘 机 制 的 ) 自 顶 向 下 动态 规划 
算法 处 理子 问题 图 的 顺序 (参见 22. 3 节 )。 

子 问题 图 G 二 (V，E) 的 规模 可 以 帮助 我 们 确定 动态 规划 算法 的 运行 时 间 。 由 于 每 个 子 问 题 
只 求解 一 次 ， 因 此 算法 运行 时 间 等 于 每 个 子 问 题 求解 时 间 之 和 。 通 常 ， 一 个 子 问题 的 求解 时 间 与 
子 问题 图 中 对 应 顶点 的 度 ( 出 射 边 的 数目 ) 成 正比 ， 而 子 问题 的 数目 等 于 子 问题 图 的 顶点 数 。 因 
此 ， 通 常情 况 下 ， 动 态 规划 算法 的 运行 时 间 与 顶点 和 边 的 数量 呈 线 性 关系 。 

重 构 解 

前 文 给 出 的 钢 条 切割 问题 的 动态 规划 算法 返回 最 优 解 的 收益 值 ， 但 并 未 返回 解 本 身 ( 一 个 长 
度 列 表 ， 给 出 切割 后 每 段 钢 条 的 长 度 ) 。 我 们 可 以 扩展 动态 规划 算法 ， 使 之 对 每 个 子 问题 不 仅 保 
存 最 优 收益 值 ， 还 保存 对 应 的 切割 方案 。 利 用 这 些 信息 ， 我 们 就 能 输出 最 优 解 。 

下 面 给 出 的 是 BOTTOM-UP-CUT-ROD 的 扩展 版 本 ， 它 对 长 度 为 j 的 钢 条 不 仅 计算 最 大 收 
益 值 7;， 还 保存 最 优 解 对 应 的 第 一 段 钢 条 的 切割 长 度 5 : 


EXTENDED-BOTTOM-UP-CUT-ROD(p,n) 
let r[0. . n]and s[0. . n]be new arrays 
r[0]=0 
for j = 1 ton 


= ea 


if q < pli]+rL—i] 
a= plil+ri—i] 


1 
2 
3 
4 
5 fori = 1 toj 
6 
7 
8 sUj]=i 
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9 rLi]=4 

10 return r and s 
此 过 程 与 BOTTOM-UP-CUT-ROD 很 相似 ， 差 别 只 是 在 第 1 行 创建 了 数组 *， 并 在 求解 规模 为 7 
的 子 问题 时 将 第 一 段 钢 条 的 最 优 切 割 长 度 ; 保存 在 sL] 中 (第 8 行 )。 

下 面 的 过 程 接受 两 个 参数 : 价格 表 p 和 钢 条 长 度 nx， 然 后 调用 EXTENDED-BOTTOM-UP- 
CUT-ROD 来 计算 切割 下 来 的 每 段 钢 条 的 长 度 s[1..n]， 最 后 输出 长 度 为 n 的 钢 条 的 完整 的 最 优 
切割 方案 : 

PRINT-CUT-ROD-SOLUTION(p,n) 

1 (r,s)=EXTENDED-BOTTOM-UP-CUT-ROD(p,n) 

2 whilen>0 

3 print s[n] 

4 n=n— s[n] 


对 于 前 文 给 出 的 钢 条 切割 的 实例 ，EXTENDED-BOTTOM-UP-CUT-ROD(p，10) 会 返回 下 面 的 
数组 : 





对 此 例 调用 PRINT-CUT-ROD-SOLUTION(p，10) 只 会 输出 10, 但 对 n= 二 7， 会 输出 最 优 方 案 r 
切割 出 的 两 段 钢 条 的 长 度 1 和 6。 


练习 


15.1-1 由 公式 (15. 3) 和 初始 条 件 T(0) 二 1， 证 明 公 式 (15. 4) 成 立 。 

15.1-2 举 反例 证 明 下 面 的 “贪心 ”策略 不 能 保证 总 是 得 到 最 优 切割 方案 。 定 义 长 度 为 i 的 钢 条 的 
密度 为 p;/i， 即 每 英寸 的 价值 。 贪 心 策略 将 长 度 为 n 的 钢 条 切割 下 长 度 为 i ASi<n) H 
一 段 ， 其 密度 最 高 。 接 下 来 继续 使 用 相同 的 策略 切割 长 度 为 n 一 i 的 剩余 部 分 。 

15.1-3 ”我 们 对 钢 条 切割 问题 进行 一 点 修改 ， 除 了 切割 下 的 钢 条 段 具 有 不 同 价格 p; 外 ， 每 次 切 
割 还 要 付出 固定 的 成 本 c。 这 样 ， 切 割 方案 的 收益 就 等 于 钢 条 段 的 价格 之 和 减 去 切割 的 
成 本 。 设 计 一 个 动态 规划 算法 解决 修改 后 的 钢 条 切割 问题 。 

15.1-4 修改 MEMOIZED-CUT-ROD， 使 之 不 仅 返 回 最 优 收 益 值 ， 还 返回 切割 方案 。 

15. 1-5 ” 斐 波 那 契 数列 可 以 用 递归 式 (3. 22) 定 义 。 设 计 一 个 O(0z) 时 间 的 动态 规划 算法 计算 第 n 
个 斐 波 那 契 数 。 画 出 子 问题 图 。 图 中 有 多 少 顶 点 和 边 ? 


15.2 ”和 矩阵 链 乘法 


下 一 个 例子 是 求解 矩阵 链 相 乘 问题 的 动态 规划 算法 。 给 定 一 个 个 矩阵 的 序列 (和 矩阵 链 ) 
《Al，A,，…，A,)， 我 们 希望 计算 它们 的 乘积 
A, Az + A,n (15.5) 
为 了 计算 表达 式 (15. 5) ， 我 们 可 以 先 用 括号 明确 计算 次 序 ， 然 后 利用 标准 的 矩阵 相 乘 算法 进 
行 计算 。 由 于 和 矩阵 乘法 满足 结合 律 ， 因 此 任何 加 括号 的 方法 都 会 得 到 相同 的 计算 结果 。 我 们 称 有 
如 下 性 质 的 矩阵 乘积 链 为 完全 括号 化 的 (fully parenthesized) : 它 是 单一 矩阵 ， 或 者 是 两 个 完全 括 
号 化 的 矩阵 乘积 链 的 积 ， 且 已 外 加 括号 。 例 如 ， 如 果 和 矩阵 链 为 (A，A: As A), WA 5 种 
完全 括号 化 的 矩阵 乘积 链 : 
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(A; (A; (A; A,))) 
(A, ((A,A; )A,)) 
((A, A; )(A;A,)) 
((A, (A, A;))A,) 
(((A, Az) A;)A,) 

对 矩阵 链 加 括号 的 方式 会 对 乘积 运算 的 代价 产生 巨大 影响 。 我 们 先 来 分 析 两 个 矩阵 相 乘 的 
代价 。 下 面 的 伪 代 码 给 出 了 两 个 矩阵 相 乘 的 标准 算法 ， 它 是 4.2 节 SQUARE-MATRIX- 
MULTIPLY 过 程 的 推广 。 属 性 rows 和 columns 是 矩阵 的 行 数 和 列 数 。 

MATRIX-MULTIPLY(A, B) 

1 if A. columns¥B. rows 

2 error “incompatible dimensions” 

3 else let C be a new A. rows X B. columns matrix 

4 for i = 1 to A. rows 

5 for į = 1 to B. columns 

6 cyr 一 0 

7 for k = 1 to A. columns 
8 cy =c Han * bij 


9 return C 


两 个 矩阵 A 和 B RAK (compatible), BI A 的 列 数 等 于 B 的 行 数 时 ， 才 能 相 乘 。 如 果 A 
Æ p Xq 的 矩阵 ，B 是 gqXr 的 和 矩阵， 那么 乘积 C 是 p Xr 的 矩阵 。 计算 C 所 需 时 间 由 第 8 行 的 标 
量 乘法 的 次 数 决定 ， 即 pgr。 下 文中 我 们 将 用 标量 乘法 的 次 数 来 表示 计算 代价 。 

我 们 以 矩阵 链 (A, ，A: ，A: ) 相 乘 为 例 ， 来 说 明 不 同 的 加 括号 方式 会 导致 不 同 的 计算 代价 。 
假设 三 个 矩阵 的 规模 分 别 为 10X100、100X5 和 5X50。 如 果 按 ((A,A:)A:) 的 顺序 计算 ， 为 计算 
A, A; (规模 10X5)， 需 要 做 10 + 100 + 5=5 000 次 标量 乘法 ， 再 与 A 相 乘 又 需要 做 10 .， 5， 50= 
2 500 次 标量 乘法 ， 共 和 需 7 500 次 标量 乘法 。 如 果 按 (Ai(A,A;)) 的 顺序 ， 计算 ALA, (规模 100X 
50)， 需 100 + 5 + 50=25 000 次 标量 乘法 ，A, 再 与 之 相 乘 又 需 10。100。50= 50 000 次 标量 乘法 ， 
共 需 75 000 次 标量 乘法 。 因 此 ， 按 第 一 种 顺序 计算 矩阵 链 乘 积 要 比 第 二 种 顺序 快 10 倍 。 

和 矩阵 链 乘 法 问题 (matrixchain multiplication problem) 可 描述 如 下 : 给 定 半 个 矩阵 的 链 (A, ， 
A; 98°85 As HRE A, 的 规模 为 Bin Xp(l<i<n), 求 完 全 括号 化 方案 ， 使 得 计算 乘积 A, A2***A, 
所 需 标 量 乘 法 次 数 最 少 。 

注意 ,求解 矩阵 链 乘法 问题 并 不 是 要 真正 进行 矩阵 相 乘 运算 ， 我 们 的 目标 只 是 确定 代价 最 
低 的 计算 顺序 。 确 定 最 优 计算 顺序 所 花费 的 时 间 通 常 要 比 随后 真正 进行 矩阵 相 乘 所 节省 的 时 间 
(例如 仅 进行 7 500 次 标量 乘法 而 不 是 75 000 次 ) 要 少 。 

计算 括号 化 方案 的 数量 

在 用 动态 规划 方法 求解 矩阵 链 乘 法 问题 之 前 ， 我 们 先 来 说 服 自己 一 一 穷 举 所 有 可 能 的 括号 
化 方案 不 会 产生 一 个 高 效 的 算法 。 对 一 个 = 个 矩阵 的 链 ， 令 P(m) 表 示 可 供 选 择 的 括号 化 方案 的 
数量 。 当 zx 一 1 时 ， 由 于 只 有 一 个 矩阵 ， 因 此 只 有 一 种 完全 括号 化 方案 。 当 n 宇 2 时 ， 完 全 括号 化 
的 矩阵 乘积 可 描述 为 两 个 完全 括号 化 的 部 分 积 相 乘 的 形式 ， 而 两 个 部 分 积 的 划分 点 在 第 不 个 矩阵 
和 第 & 十 1 个 矩阵 之 间 , & 为 1，2，…，? 一 1 中 的 任意 一 个 值 。 因 此 ， 我 们 可 以 得 到 如 下 递归 


AR: 
1 如 果 n 二 1 
Pn) =4 m (15. 6) 
DPRP k) 如 果 n 宇 2 
k=l 
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思考 题 12-4 要 求证 明 一 个 相似 的 递归 公式 产生 的 序列 为 卡 塔 兰 数 (Catalan numbers)， 这 个 
序列 的 增长 速度 为 A/P). Y 15. 2-3 要 求证 明 递归 公式 (15. 6) 的 结果 为 0(2")。 因 此 ， 括 
号 化 方案 的 数量 与 呈 指 数 关系 ， 通 过 暴力 搜索 穷尽 所 有 可 能 的 括号 化 方案 来 寻找 最 优 方案 ， 是 
一 个 糟糕 的 策略 。 

应 用 动态 规划 方法 

下 面 用 动态 规划 方法 来 求解 矩阵 链 的 最 优 括号 化 方案 ， 我 们 还 是 按照 本 章 开 头 提出 的 4 个 步 
又 进行 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采用 自 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

我 们 按 顺 序 进行 这 几 个 步骤 ， 清 楚 地 展示 针对 本 问题 每 个 步骤 应 如 何 做 。 

步骤 1: 最 优 括号 化 方案 的 结构 特征 

动态 规划 方法 的 第 一 步 是 寻找 最 优 子 结构 ， 然 后 就 可 以 利用 这 种 子 结构 从 子 问题 的 最 优 解 
构造 出 原 问题 的 最 优 解 。 在 矩阵 链 乘法 问题 中 ， 此 步骤 的 做 法 如 下 所 述 。 为 方便 起 见 ， 我 们 用 符 
号 A, GSP) RM AA A 乘积 的 结果 和 矩阵。 可 以 看 出 ， 如 果 问 题 是非 平 凡 的 ， 即 ;<7 IA 
为 了 对 AA A; 进行 括号 化 ， 我 们 就 必须 在 某 个 A 和 At 之 间 将 矩阵 链 划分 开 ( ISR 
间 的 整数 ) 。 也 就 是 说 ， 对 某 个 整数 上， 我们 首先 计算 矩阵 A; .和 At1.;， 然 后 再 计算 它们 的 乘积 
得 到 最 终结 果 A;.;。 此 方案 的 计算 代价 等 于 矩阵 A.… 的 计算 代价 ， 加 上 和 矩阵 As 的 计算 代价 ， 
再 加 上 两 者 相 乘 的 计算 代价 。 

下 面 我 们 给 出 本 问题 的 最 优 子 结构 。 假 设 A;A;+,…A; 的 最 优 括号 化 方案 的 分 割 点 在 A 和 
Ai 之 间 。 那 么 ， 继 续 对 “前 级 ? 子 链 AA As 进行 括号 化 时 ， 我 们 应 该 直接 采用 独立 求解 它 
时 所 得 的 最 优 方案 。 这 样 做 的 原因 是 什么 呢 ? 如 果 不 采用 独立 求解 AA,+…Ax 所 得 的 最 优 方案 
来 对 它 进行 括号 化 ， 那 么 可 以 将 此 最 优 解 代入 A Ain …Ai 的 最 优 解 中 ， 代 替 原 来 对 子 链 
A; Ait1…A4 进 行 括号 化 的 方案 ( 比 AA Ar 最 优 解 的 代价 更 高 )， 显 然 ， 这 样 得 到 的 解 比 
A4,A;…Ai 原 来 的 “最 优 解 2 代 价 更 低 : 产生 矛盾 。 对 子 链 Arri Art Aj, 我 们 有 相似 的 结论 : 
在 原 问 题 A;Ai A; 的 最 优 括号 化 方案 中 ， 对 子 链 Ar+Ar+2* A; 进行 括号 化 的 方法 ， 就 是 它 自 
身 的 最 优 括 号 化 方案 。 

现在 我 们 展示 如 何 利用 最 优 子 结构 性 质 从 子 问题 的 最 优 解 构造 原 问 题 的 最 优 解 。 我 们 已 经 
看 到 ， 一 个 非 平凡 的 矩阵 链 乘 法 问题 实例 的 任何 解 都 需要 划分 链 ， 而 任何 最 优 解 都 是 由 子 问题 
实例 的 最 优 解构 成 的 。 因 此 ， 为 了 构造 一 个 矩阵 链 乘法 问题 实例 的 最 优 解 ， 我 们 可 以 将 问题 划分 
为 两 个 子 问 题 (AAA AA AtA; 的 最 优 括 号 化 问题 )， 求 出 子 问题 实例 的 最 优 解 ， 然 
后 将 子 问 题 的 最 优 解 组 合 起 来 。 我 们 必须 保证 在 确定 分 割 点 时 ， 已 经 考察 了 所 有 可 能 的 划分 点 ， 
这 样 就 可 以 保证 不 会 遗漏 最 优 解 。 

步骤 2: 一 个 递归 求解 方案 

下 面 用 子 问题 的 最 优 解 来 递归 地 定义 原 问 题 最 优 解 的 代价 。 对 和 矩阵 链 乘 法 问题 我们 可 以 
将 对 所 有 LSI j <n YE A Ani A; 的 最 小 代价 括号 化 方案 作为 子 问题 。 令 m[i， 门 表示 计算 
和 矩阵 A;.; 所 需 标量 乘法 次 数 的 最 小 值 ， 那 么 ， 原 问题 的 最 优 解 一 一 计算 A1.., 所 需 的 最 低 代价 就 
是 m[1, n]. 

我 们 可 以 递归 定义 m[i， 站 如 下 。 对 于 i 二 j 时 的 平凡 问题 ， 和 矩阵 链 只 包含 唯一 的 矩阵 A;.; 二 
A;， 因 此 不 需要 做 任何 标量 乘法 运算 。 所 以 ， 对 所 有 i 二 1，2，…，n，m[i, i]=0. Hi<j, R 
们 利用 步骤 1 中 得 到 的 最 优 子 结构 来 计算 mi jle RIRH AAA; 的 最 优 括号 化 方案 的 分 
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割 点 在 和 矩阵 A, Al Am Zia), 其 中 i<k<j。 那么 ， mis IIREFUEA As 和 At 的 代价 加 上 
两 者 相 乘 的 代价 的 最 小 值 。 由 于 矩阵 A; 的 大 小 为 p;_1 Xp;， 易 知 A: a A. ARRIRA Pii 
Pid; 次 标量 乘法 运算 。 因 此 ， 我 们 得 到 

mlisj] — mLi,k] +mLk+1,j] + pai Pb; 

此 递归 公式 假定 最 优 分 割 点 是 已 知 的 ， 但 实际 上 我 们 是 不 知道 的 。 不 过 ，& 只 有 7 一 ;种 可 
能 的 取 值 ， 即 =i，i 十 1，…，j 一 1。 由 于 最 优 分 割 点 必 在 其 中 ,我们 只 需 检查 所 有 可 能 情况 ， 
找到 最 优 者 即 可 。 因 此 ，AA, tA; 最 小 代价 括号 化 方案 的 递归 求解 公式 变 为 ; 

a 0 wRi=j 
有 in 二 mk 二 1 让 十 pnprpy) Ri <; oe 
mis jR TF OAR OT. ME SEAR EE YOR E Ak, 
我 们 用 Li, JRF AAAi 最 优 括号 化 方案 的 分 割 点 位 置 &， 即 使 得 mli, jJ=mli, kJ + 
m(UR+1, j]+ popb; RLH k tE. 

步骤 3: 计算 最 优 代 价 

现在 ， 我 们 可 以 很 容易 地 基于 递归 公式 (15. 7) 写 出 一 个 递归 算法 ,来 计算 AL ALA, 相 乘 的 
最 小 代价 mL1，nj]。 像 我 们 在 钢 条 切割 问题 一 节 中 所 看 到 的 ， 以 及 即将 在 15. 3 节 中 看 到 的 那样 ， 
此 递归 算法 是 指数 时 间 的 ， 并 不 比 检查 所 有 括号 化 方案 的 暴力 搜索 方法 更 好 。 

注意 到 ， 我 们 需要 求解 的 不 同 子 问题 的 数目 是 相对 较 少 的 : 每 对 满足 KSG Sn fy i Aj 


对 应 一 个 唯一 的 子 问题 ， 共 有 上 ) 上 + 一 6C2) 个 。 递归 算法 会 在 递归 调用 树 的 不 同 分 支 中 多 次 


遇 到 同一 个 子 问 题 。 这 种 子 问题 重合 的 性 质 是 应 用 动态 规划 的 另 一 个 标识 (第 一 个 标识 是 最 优 
子 结构 ) 。 

我 们 采用 自 底 向 上 表格 法 代替 基于 公式 (15. 7) 的 递归 算法 来 计算 最 优 代价 (我 们 将 在 15. 3 节 
中 给 出 对 应 的 带 备 忘 的 自 顶 向 下 方法 )。 下 面 给 出 的 过 程 MATRIX-CHAIN-ORDER 实现 了 自 底 
向 上 表格 法 。 此 过 程 假定 矩阵 A; 的 规模 为 pi X p; (i 二 1，2，…，n)。 它 的 输入 是 一 个 序列 
P=(Por Pis “ts Pads FUR BED p. length 二 n 十 1。 过 程 用 一 个 辅助 表 mr[1..n，1. .nj 来 保存 代 
价 mLi，7]， 用 另 一 个 辅助 表 s[1..n 一 1，2. .nj 记录 最 优 值 mL[i， 门 对 应 的 分 割 点 &。 我 们 就 可 以 
利用 表 s 构造 最 优 解 。 

为 了 实现 自 底 向 上 方法 ， 我 们 必须 确定 计算 [Li， 放 时 需要 访问 哪些 其 他 表 项 。 公 式 (15.7) 
显示 ，j 一 i 十 1 个 矩阵 链 相 乘 的 最 优 计算 代价 Li， 放 只 依赖 于 那些 少 于 j 一 i 十 1 个 矩阵 链 相 乘 的 
最 优 计算 代价 。 也 就 是 说 ， 对 k=i, itl, 0, j—1, RMA ER—i+1<j—i+1] PRN 
积 ， 矩阵 Ajeji itl 个 矩阵 的 积 。 因 此 ， 算 法 应 该 按 长 度 递 增 的 顺序 求解 矩阵 链 括 
号 化 问题 ， 并 按 对 应 的 顺序 填写 表 mx。 对 矩阵 链 AA. A 最 优 括号 化 的 子 问题 ， 我 们 认为 其 
规模 为 链 的 长 度 j 一 i 十 1。 


MATRIX-CHAIN-ORDER(z) 
n= p. length—1 
let m[1. . n,1. . n]and s[1..n—1,2..n]Jbe new tables 
for i = 1 ton 
ml[i,i]=0 
for 1 = 2 ton // Lis the chain length 
for i = 1 ton—J+1 
j=iti-1 
mi, j ]=0o 


for k = itoj—l 


O O NOON fF, ww ml 
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10 q=m[isk]+m[k+1,j]+ pi- Pb; 

11 if q < m[i,j] 

12 mli,jl=q 

13 s[i j]=k 

l4 return m and s 

算法 首先 在 第 3 一 4 行 对 所 有 i=1, 2, e, nit mLi， 训 三 0( 长 度 为 1 的 链 的 最 小 计算 代 
价 ) 。 接 着 在 第 5 一 13 ÍF for 循环 的 第 一 个 循环 步 中 ， 利 用 递归 公式 (15.7) 对 所 有 ;一 1，2，…， 
n 一 1 计算 m[i,， i 十 1]( 长 度 /=2 的 链 的 最 小 计算 代价 )。 在 第 二 个 循环 步 中 ,算法 对 所 有 i 二 1， 
2，…，7 一 2 计算 m[i, i 二 2]( 长 度 1=3 的 链 的 最 小 计算 代价 )， 依 此 类 推 。 在 每 个 循环 步 中 ， 第 
10~13 行 计算 代价 m[i， 四 时 仅 依赖 于 已 经 计算 出 的 表 项 m[i, &] 和 m[k 十 1，j]。 

图 15-5 展示 了 对 一 个 长 度 为 6 的 矩阵 链 执行 此 算法 的 过 程 。 由 于 我 们 定义 mli, GME i<j 
时 有 意义 ， 因 此 表 m 只 使 用 主 对 角 线 之 上 的 部 分 。 图 中 的 表 是 经 过 旋转 的 ， 主 对 角 线 已 经 旋转 
到 了 水 平方 向 。 和 矩阵 链 的 规模 列 在 了 图 的 下 方 。 在 这 种 布局 中 ， 我 们 可 以 看 到 子 矩 阵 链 AAG 
A; 相 乘 的 代价 z[i， 放 恰好 位 于 始 于 A 的 东北 至 西南 方向 的 直线 与 始 于 A, 的 西北 至 东南 方向 的 
直线 的 交点 上 。 表 中 同一 行 中 的 表 项 都 对 应 长 度 相同 的 矩阵 链 。MATRIX-CHAIN-ORDER 按 自 
下 而 上 、 自 左 至 右 的 顺序 计算 所 有 行 。 当 计算 表 项 mi, jit, SAIRE pipip; (k=i, i+ 
1，…，J 一 1)， 以 及 mm[Li， 放 西南 方向 和 东南 方向 上 的 所 有 表 项 。 





A, A, A, As As Ag 


图 15-5 4 n=6 和 矩阵 规模 如 下 表 时 ，MATRIXCHAIN-ORDER 计算 出 的 m 表 和 s 表 。 


规模 30X35 35X15 10X20 20X25 


我 们 将 两 个 表 进行 了 旋转 ， 使 得 主 对 角 线 方向 变 为 水 平方 向 。 表 m 只 使 用 主 对 角 线 和 
上 三 角 部 分 ， 表 s 只 使 用 上 三 角 部 分 。6 个 矩阵 相 乘 所 需 的 最 少 标量 乘法 运算 次 数 为 
m[L1，6] 王 15 125。 表 中 有 些 表 项 被 标记 了 深 色 阴影 ， 相 同 的 阴影 表示 过 程 在 第 10 行 
中 计算 mL2，5J 时 同时 访问 了 这 些 表 项 : 
m[2,2]+m[3,5] + pı pz ps = 0+2500+35+15+20 = 13000 
m[2,5]= vin +m[4,5]+ pi psps = 2625+1000+35+5+20 = 7125 
m[2,4]+m[5,5]+ pi pı ps 一 4375 十 0 十 35 .10。20 = 11375 
一 7125 


简单 分 析 MATRIX-CHAIN-ORDER 的 嵌 套 循环 结构 ， 可 以 看 到 算法 的 运行 时 间 为 OC’), 
循环 媒 套 的 深度 为 三 层 ， 每 层 的 循环 变量 (1、i 和 &) 最 多 取 n 一 1 个 值 。 练习 15. 2-5 要 求证 明 此 
算法 的 运行 时 间 实 际 上 是 Qn )。 算 法 还 需要 @(w) 的 内 存 空间 来 保存 表 m 和 s。 因 此 ， 
MATRIX-CHAIN-ORDER 比 起 穷 举 所 有 可 能 的 括号 化 方案 来 寻找 最 优 解 的 指数 阶 算法 要 高 效 
得 多 。 
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步骤 4: 构造 最 优 解 

虽然 MATRIX-CHAIN-ORDER 求 出 了 计算 矩阵 链 乘积 所 需 的 最 少 标 量 乘法 运算 次 数 ， 但 它 
并 未 直接 指出 如 何 进行 这 种 最 优 代价 的 矩阵 链 乘法 计算 。 表 [1. .n 一 1，2. . nj 记录 了 构造 最 优 解 
所 需 的 信息 。 每 个 表 项 s[i， 门 记录 了 一 个 值 ， 指 出 AA A; 的 最 优 括号 化 方案 的 分 割 点 应 
HEA, 和 Ai 之 间 。 因 此 ， 我 们 知道 A,,, 的 最 优 计算 方案 中 最 后 一 次 矩阵 乘法 运算 应 该 是 
Aj. cis) Acinitt ne 我们 可 以 用 相同 的 方法 递归 地 求 出 更 早 的 矩阵 乘法 的 具体 计算 过 程 ， 因 为 
s[1，s[1，njJ] 指 出 了 计算 Ai..a.w 时 应 进行 的 最 后 一 次 矩阵 乘法 运算 ; sLsL1，nj] 十 1，nj] 指 出 了 
计算 Ac,afx. 时 应 进行 的 最 后 一 次 矩阵 乘法 运算 。 下 面 给 出 的 递归 过 程 可 以 输出 (A，A ，…， 
Ai 的 最 优 括号 化 方案 ， 其 输入 为 MATRIX-CHAIN-ORDER 得 到 的 表 s 及 下 标 i 和 j。 调 用 
PRINT-OPTIMAL-PARENS(s，1，nn) 即 可 输出 (Al，A;，…，A,) 的 最 优 括号 化 方案 。 


PRINT-OPTIMAL-PARENS(s, i, j) 

1 ifi==j 

2 print “A”, 

3 else print “(” 

4 PRINT-OPTIMAL-PARENS(s, i, s[i,7]) 

5 PRINT-OPTIMAL-PARENS(s, sli,j]+1, j) 
6 


“yn 


print 


对 图 15-5 中 的 例子 ， 调 用 PRINT-OPTIMAL-PARENS(s，1，6) 输 出 括号 化 方案 
((Al (A,A;)) ((A,A; ) As )) 


练习 


15.2-1 ”对 和 矩阵 规模 序列 (5，10，3，12，5，50，6， ， 求 矩阵 链 最 优 括号 化 方案 。 

15.2-2 设计 递归 算法 MATRIX-CHAIN-MULTIPLY(A，s，i，j)， 实 现 和 矩阵 链 最 优 代价 乘法 
计算 的 真正 计算 过 程 ， 其 输入 参数 为 矩阵 序列 (Al，A;,,，…，A,),，MATRIX-CHAIN- 
ORDER 得 到 的 表 s， 以 及 下 标 i 和 j。( 初 始 调 用 应 为 MATRIX-CHAIN-MULTIPLY 
(As yi) 

15.2-3 ”用 代入 法 证 明 递 归公 式 (15. 6) 的 结果 为 202"). 

15.2-4 ”对 输入 链 长 度 为 n 的 矩阵 链 乘 法 问题 ， 描 述 其 子 问 题 图 : 它 包含 多 少 个 顶点 ?包含 多 少 
条 边 ? 这 些 边 分 别 连接 哪些 顶点 ? 

15.2-5 今 R(i,， 门 表示 在 一 次 调用 MATRIX-CHAIN-ORDER 过 程 中 ， 计 算 其 他 表 项 时 访问 表 
项 mli, GIR. 证 明 : 





5 ORG i ed 
i=1 jai 3 


(提示 : 证 明 中 可 用 到 公式 (A. 3)。) 
15.2-6 证 明 : 对 个 元 素 的 表达 式 进 行 完全 括号 化 ， 恰 好 需要 n 一 1 对 括号 。 


15. 3 动态 规划 原理 


虽然 我 们 已 经 用 动态 规划 方法 解决 了 两 个 问题 ,但 你 可 能 还 是 弄 不 清 应 该 在 何 时 使 用 动态 
规划 。 从 工程 角度 看 ， 在 什么 情况 下 应 该 寻求 用 动态 规划 方法 求解 问题 呢 ? 在 本 节 中 ， 我 们 关注 
适合 应 用 动态 规划 方法 求解 的 最 优化 问题 应 该 具备 的 两 个 要 素 : 最 优 子 结构 和 子 问题 重 倒 。 我 
们 还 会 再 次 讨论 备 忘 方法 ， 更 深入 地 讨论 在 自 顶 向 下 方法 中 如 何 借助 备 忘 机 制 来 充分 利用 子 问 
BERRE. 
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最 优 子 结构 

用 动态 规划 方法 求解 最 优化 问题 的 第 一 步 就 是 刻画 最 优 解 的 结构 。 如 前 文 所 述 ， 如 果 一 个 
问题 的 最 优 解 包含 其 子 问 题 的 最 优 解 ， 我 们 就 称 此 问题 具有 最 优 子 结构 性 质 。 因 此 ， 某 个 问题 
是 否 适合 应 用 动态 规划 算法 ， 它 是 否 具 有 最 优 子 结构 性 质 是 一 个 好 线索 (当然 ， 具 有 最 优 子 结 
构 性 质 也 可 能 意味 着 适合 应 用 贪心 策略 ， 参 见 第 16 章 )。 使 用 动态 规划 方法 时 ， 我 们 用 子 问题 
的 最 优 解 来 构造 原 问题 的 最 优 解 。 因 此 ， 我 们 必须 小 心 确保 考察 了 最 优 解 中 用 到 的 所 有 子 
问题 。 

本 章 到 目前 为 止 介绍 的 两 个 问题 都 具有 最 优 子 结构 性 质 。 在 15. 1 节 中 ， 我 们 观察 到 ， 长 度 
为 n 的 钢 条 的 最 优 切割 方案 是 由 第 一 次 切割 后 (如 果 最 优 切 割 方案 需要 进行 切割 ) 得 到 的 两 段 钢 条 
的 最 优 切割 方案 组 成 的 。 在 15.2 节 中 ， 我 们 看 到 AAW …A 的 最 优 括号 化 方案 首先 在 A 和 
At 之 间 进 行 划分 ， 然后 对 AAA AAAA; 继续 进行 最 优 括号 化 。 

你 会 发 现 ， 在 发 据 最 优 子 结构 性 质 的 过 程 中 ， 实 际 上 遵循 了 如 下 的 通用 模式 : 

1. 证 明 问 题 最 优 解 的 第 一 个 组 成 部 分 是 做 出 一 个 选择 ， 例 如， 选择 钢 条 第 一 次 切割 位 置 ， 
选择 矩阵 链 的 划分 位 置 等 。 做 出 这 次 选择 会 产生 一 个 或 多 个 待 解 的 子 问 题 。 

2. 对 于 一 个 给 定 问 题 ， 在 其 可 能 的 第 一 步 选择 中 ， 你 假定 已 经 知道 哪 种 选择 才 会 得 到 最 优 
解 。 你 现在 并 不 关心 这 种 选择 具体 是 如 何 得 到 的 ， 只 是 假定 已 经 知道 了 这 种 选择 。 

3. 给 定 可 获得 最 优 解 的 选择 后 ， 你 确定 这 次 选择 会 产生 哪些 子 问题 ， 以 及 如 何 最 好 地 刻画 
子 问 题 空间 。 

4. 利用 “ 剪 切 一 粘贴 ”cut-and-paste) 技 术 证 明 : 作为 构成 原 问题 最 优 解 的 组 成 部 分 ， 每 个 子 
问题 的 解 就 是 它 本 身 的 最 优 解 。 证 明 这 一 点 是 利用 反 证 法 : 假定 子 问 题 的 解 不 是 其 自身 的 最 优 
解 ， 那 么 我 们 就 可 以 从 原 问题 的 解 中 “ 剪 切 ” 掉 这 些 非 最 优 解 ， 将 最 优 解 “粘贴 ”进去 ， 从 而 得 到 原 
问题 一 个 更 优 的 解 ， 这 与 最 初 的 解 是 原 问 题 最 优 解 的 前 提 假 设 矛盾 。 如 果 原 问题 的 最 优 解 包含 
多 个 子 问题 ， 通 常 它们 都 很 相似 ,我 们 可 以 将 针对 一 个 子 问题 的 “前 切 一 粘贴 ”论证 方法 稍 加 修 
改 ， 用 于 其 他 子 问题 。 

一 个 刻画 子 问题 空间 的 好 经 验 是 : 保持 子 问题 空间 尽 可 能 简单 ， 只 在 必要 时 才 扩 展 它 。 例 
如 ， 我 们 在 求解 钢 条 切割 问题 时 ， 子 问题 空间 中 包含 的 问题 为 : 对 每 个 i 值 ， 长 度 为 i 的 钢 条 的 
最 优 切 割 问题 。 这 个 子 问题 空间 很 有 效 ， 因 此 我 们 不 必 尝 试 更 一 般 性 (从 而 也 更 大 ) 的 子 问 题 
空间 。 

与 之 相对 的 ， 假 定 我 们 试图 限制 矩阵 链 A AoA; 乘法 问题 的 子 问 题 空 间 。 如 前 所 述 ， 最 优 
括号 化 方案 必然 在 某 个 位 置 ASAE, BY A, 和 At 之 间 对 和 矩阵 链 进行 划分 。 除 非 我 们 能 保 
证 永远 等 于 j =h 否则 我 们 会 发 现 得 到 两 个 形 如 A, Az +A; AN Ais: Arrt A; 的 子 问题 ， 而 后 
者 的 形式 与 A1A，…A; 是 不 同 的 。 因 此 ， 对 矩阵 链 乘 法 问题 ， 我 们 必须 允许 子 问题 在 “两 端 ”都 可 
以 变化 ， 即 允许 子 问题 AAA A; 中 i Aly 都 可 变 。 

对 于 不 同 问题 领域 ， 最 优 子 结构 的 不 同体 现在 两 个 方面 : 

1. 原 问 题 的 最 优 解 中 涉及 多 少 个 子 问题 ， 以 及 

2. 在 确定 最 优 解 使 用 哪些 子 问题 时 ， 我 们 需要 考察 多 少 种 选择 。 

在 钢 条 切割 问题 中 ， 长 度 为 n 的 钢 条 的 最 优 切 割 方案 仅仅 使 用 一 个 子 问 题 (长 度 为 ni 的 钢 条 的 
最 优 切 割 )， 但 我 们 必须 考察 i 的 n 种 不 同 取 值 ， 来 确定 哪 一 个 会 产生 最 优 解 。A;A:1…A; AR 
阵 链 乘法 问题 中 ， 最 优 解 使 用 两 个 子 问题 ， 我 们 需要 考察 j 一 i 种 情况 。 对 于 给 定 的 矩阵 链 划分 
位 置 一 一 和 矩阵 A， 我 们 需要 求解 两 个 子 问题 一 一 AAA AN Ais: Art A; 的 括号 化 方案 一 一 
而 且 两 个 子 问题 都 必须 求解 最 优 方案 。 一 旦 我 们 确定 了 子 问 题 的 最 优 解 ， 就 可 以 在 7 一 ; 个 候选 
的 & 中 选取 最 优 者 。 
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我 们 可 以 用 子 问 题 的 总 数 和 每 个 子 问题 需要 考察 多 少 种 选择 这 两 个 因素 的 乘积 来 粗略 分 
析 动 态 规划 算法 的 运行 时 间 。 对 于 钢 条 切割 问题 ， 共 有 @(z) 个 子 问题 ， 每 个 子 问 题 最 多 需 
要 考察 nn 种 选择 ， 因 此 运行 时 间 为 O(02 )。 和 矩阵 链 乘 法 问题 共有 OG ) 个 子 问 题 ， 每 个 子 问 
题 最 多 需要 考察 n 一 1 种 选择 ， 因 此 运行 时 间 为 O(n )。( 练 习 15. 2-5 要 求证 明 运行 时 间 实际 
为 OG?) .) 

子 问 题 图 也 可 用 来 做 同样 的 分 析 。 图 中 每 个 顶点 对 应 一 个 子 问 题 ， 而 需要 考察 的 选择 对 应 
关联 至 子 问题 顶点 的 边 。 回 忆 一 下 ， 钢 条 切割 问题 的 子 问题 图 有 nn 个 顶点 ， 每 个 顶点 最 多 nn 条 
边 ， 因 此 运行 时 间 为 O(2) 。 对 于 矩阵 链 乘法 问题 ， 子 问题 图 会 有 OG ) 个 顶点 ， 而 每 个 顶点 最 
多 有 nn 一 1 条 边 ， 因 此 共有 OOF ) 个 顶点 和 边 。 

在 动态 规划 方法 中 ， 我 们 通常 自 底 向 上 地 使 用 最 优 子 结构 。 也 就 是 说 ， 首 先 求 得 子 问题 的 最 
优 解 ， 然 后 求 原 问题 的 最 优 解 。 在 求解 原 问题 过 程 中 ， 我们 需要 在 涉及 的 子 问题 中 做 出 选择 ， 选 
出 能 得 到 原 问 题 最 优 解 的 子 问题 。 原 问题 最 优 解 的 代价 通常 就 是 子 问 题 最 优 解 的 代价 再 加 上 由 
此 次 选择 直接 产生 的 代价 。 例 如 ， 对 于 钢 条 切割 问题 ， 我 们 首先 求解 子 问题 ， 确 定 长 度 为 ;一 0， 
1，…，7? 一 1 的 钢 条 的 最 优 切割 方案 ， 然 后 利用 公式 (15. 2) 确 定 哪个 子 问 题 的 解构 成 长 度 为 n 的 
钢 条 的 最 优 切割 方案 。 此 次 选择 本 身 所 产生 的 代价 就 是 公式 (15.2) 中 的 p;。 在 矩阵 链 乘 法 问题 
中 ， 我 们 先 确定 子 矩 阵 链 AA mA 的 最 优 括号 化 方案 ， 然 后 选择 划分 位 置 A;， 选 择 本 身 所 产 
生 的 代价 就 是 Pi PP; o 

在 第 16 章 中 ， 我 们 将 介绍 “贪心 算法 ”， 它 与 动态 规划 有 很 多 相似 之 处 。 特 别 是 ， 能 够 应 用 
贪心 算法 的 问题 也 必须 具有 最 优 子 结构 性 质 。 贪 心算 法 和 动态 规划 最 大 的 不 同 在 于 ， 它 并 不 是 
首先 寻找 子 问 题 的 最 优 解 ， 然 后 在 其 中 进行 选择 ， 而 是 首先 做 出 一 次 “贪心 ”选择 一 一 在 当时 (局 
部 ) 看 来 最 优 的 选择 一 一 然后 求解 选 出 的 子 问 题 ， 从 而 不 必 费 心 求解 所 有 可 能 相关 的 子 问题 。 令 
人 惊讶 的 是 ， 在 某 些 情况 下 这 一 策略 也 能 得 到 最 优 解 ! 

一 些微 妙 之 处 

在 尝试 使 用 动态 规划 方法 时 要 小 心 ， 要 注意 问题 是 否 具 有 最 优 子 结构 性 质 。 考 虑 下 面 两 个 
问题 ， 其 中 都 是 给 定 一 个 有 向 图 G=(V, DAP Du, veV. 

无 权 (unweighted) 最 短路 径 ? : 找到 一 条 从 u 到 w 的 边 数 最 少 的 路 径 。 这 条 路 径 必 然 是 简单 
路 径 ， 因 为 如 果 路 径 中 包含 环 ， 将 环 去 掉 显 然 会 减少 边 的 数量 。 

无 权 最 长 路 径 : 找到 一 条 从 u 到 wv 的 边 数 最 多 的 简单 路 径 。 这 里 必须 加 上 简单 路 径 的 要 求 ， 
因为 我 们 可 以 不 停 地 沿 着 环 走 ， 从 而 得 到 任意 长 的 路 径 。 

下 面 我 们 证 明 无 权 最 短路 径 问 题 具 有 最 优 子 结构 性 质 。 假 设 v 夭 vw， 则 问题 是 非 平凡 的 。 这 
样 ， 从 到 wv 的 任意 路 径 p 都 必须 包含 一 个 中 间 顶 点 ， 比 如 w( 注 意 ，w 可 能 是 Ro), Ae, 
我 们 可 以 将 路 径 x 心 分 解 为 两 条 子路 径 x hwe BR, pART pi 的 边 数 加 上 p: 的 边 
数 。 于 是 ， 我 们 断言 : WHE p 是 从 uw 到 w 的 最 优 ( 即 最 短 ) 路 径 ， 那 么 p 必须 是 从 到 ww 的 最 短 
路 径 。 为 什么 呢 ? 我 们 可 以 用 ”前 切 一 粘贴 ?方法 来 证 明 : 如 果 存 在 另 一 条 从 u Bl w 的 路 径 1, 
其 边 数 比 pi 少 ， 那 么 可 以 前 切 掉 p ， 将 如 粘贴 上 ， 构 造 出 一 条 比 p RENKA u wea, 
与 p 最 优 的 假设 了 矛盾。 对 称 地 ，p, 必须 是 从 w 到 w 的 最 短路 径 。 因 此 ， 我 们 可 以 通过 考察 所 有 
中 间 顶 点 wR u Blo 的 最 短路 径 ， 对 每 个 中 间 顶 点 w, R u P) w A w 到 w 的 最 短路 径 ， 然 后 
选择 两 条 路 径 之 和 最 短 的 顶点 w。 在 25. 2 节 中 ， 我 们 将 使 用 这 种 最 优 子 结构 的 一 个 变形 来 求解 
加 权 有 向 图 的 所 有 顶点 对 间 最 短路 径 问 题 。 

你 可 能 已 经 倾向 于 假设 无 权 最 长 简单 路 径 问 题 也 具有 最 优 子 结构 性 质 。 毕 竟 ， 如 果 我 们 将 





日 ”此 处 使 用 术语 “无 权 ”， 是 为 了 将 本 问题 与 加 权 图 最 短路 径 问 题 区 分 开 来 ， 加 权 图 最 短路 径 问 题 将 在 第 24 章 和 第 
25 章 中 介绍 。 我 们 可 以 使 用 第 22 章 中 介绍 的 宽度 优先 搜索 技术 来 求解 无 权 最 短路 径 问 题 。 
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最 长 简单 路 径 w 心 v 分 解 为 子路 径 x > we, WE pi 不 应 该 是 从 u Pw 的 最 长 简单 路 径 ，p 不 
应 该 是 从 多 到 wv 的 最 长 简单 路 径 吗 ? 但 答案 是 否定 的 ! 图 15-6 给 出 了 一 个 例子 。 考 虑 路 径 q> 


>t， 它 是 从 q Be 的 最 长 简单 路 径 。g>r 是 从 的 一 一 全 
qd 到 的 最 长 简单 路 径 吗 ? AEN. q>s>t>r | | 
是 一 条 更 长 的 简单 路 径 。r>t 是 从 ~ 到 z 的 最 长 
简单 路 径 吗 ? ERE, o 比 它 更 长 。 全 -一 多 

这 个 例子 说 明 ， 最 长 简单 路 径 问题 不 仅 缺 图 15-6 此 例 显示 了 无 权 有 向 图 最 长 简单 路 径 问 题 
乏 最 优 子 结构 性 质 ， 由 子 问题 的 解 组 合 出 的 其 不 具有 最 优 子 结构 性 质 。 路 径 gore 是 
至 都 不 是 原 问 题 的 “合法 ” 解 。 如 果 我 们 组 合 最 从 g Bc 的 一 条 最 长 简单 路 径 ， 但 gr 不 
长 简单 路 径 q>s>t>r 和 +r 一 gq 一 s 一 t:， 得 到 的 是 从 g 到 7 的 一 条 最 长 简单 路 径 ，r 一 t 同 


是 路 径 9 >y tr >g st， 并 不 是 简单 路 径 。 样 不 是 从 r Bl) 的 一 条 最 长 简单 路 径 

的 确 ， 无 权 最 长 简单 路 径 问 题 看 起 来 不 像 有 任何 形式 的 最 优 子 结构 。 对 此 问题 尚未 找到 有 效 的 
动态 规划 算法 。 实 际 上 ， 此 问题 是 NP 完全 的 ， 我们 在 第 34 章 中 将 会 看 到 ， 这 意味 着 我 们 不 太 
可 能 找到 多 项 式 时 间 的 求解 方法 。 

为 什么 最 长 简单 路 径 问 题 的 子 结构 与 最 短路 径 有 这 么 大 的 差别 ? 原因 在 于 ， 虽然 最 长 路 径 
问题 和 最 短路 径 问题 的 解 都 用 到 了 两 个 子 问题 ， 但 两 个 最 长 简单 路 径 子 问题 是 相关 的 ， 而 两 个 
最 短路 径 子 问题 是 无 关 的 (independent) 。 这 里 ， 子 问题 无 关 的 含义 是 ， 同 一 个 原 问 题 的 一 个 子 
问题 的 解 不 影响 另 一 个 子 问题 的 解 。 对 图 15-6 中 的 例子 ， 求 g 到 :的 最 长 简单 路 径 可 以 分 解 为 
两 个 子 问 题 : 求 g 到 7 的 最 长 简单 路 径 和 7 到 1 的 最 长 简单 路 径 。 对 于 前 者 ， 我 们 选择 路 径 gq 一 
st>r， 其 中 用 到 了 顶点 s 和 t。 由 于 两 个 子 问题 的 解 的 组 合 必须 产生 一 条 简单 路 径 ， 因 此 我 
们 在 求解 第 二 个 子 问题 时 就 不 能 再 用 这 两 个 顶点 了 。 但 如 果 在 求解 第 二 个 子 问 题 时 不 允许 使 用 
顶点 +， 就 根本 无 法 进行 下 去 了 ， 因 为 1 是 原 问 题解 的 路 径 终点 ， 是 必须 用 到 的 ， 还 不 像 子 问题 
解 的 “接合 ”顶点 7 那样 可 以 不 用 。 这样， 由 于 一 个 子 问题 的 解 使 用 了 顶点 s 和 t+， 在 男 一 个 子 问 
题 的 解 中 就 不 能 再 使 用 它们 ， 但 其 中 至 少 一 个 顶点 在 求解 第 二 个 子 问 题 时 又 必须 用 到 ， 而 获得 
最 优 解 则 两 个 都 要 用 到 。 因 此 ， 我 们 说 两 个 子 问题 是 相关 的 。 换 个 角度 来 看 ， 我 们 所 面临 的 困 
境 就 是 : 求解 一 个 子 问 题 时 用 到 了 某 些 资源 (在 本 例 中 是 顶点 )， 导 致 这 些 资源 在 求解 其 他 子 问 
题 时 不 可 用 。 

那么 ， 求 解 最 短路 径 的 子 问 题 间 又 为 什么 是 无 关 的 呢 ? 根本 原因 在 于 ， 最 短路 径 子 问题 间 是 
不 共享 资源 的 。 我 们 可 以 断言 : 如 果 一 个 顶点 多 出 现在 w 到 的 最 短路 径 上 ， 那么 可 以 通过 拼 
接任 意 的 最 短路 径 x 心 w 和 任意 的 最 短路 径 凤 各 w 来 构造 x 到 wv 的 最 短路 径 。 我 们 可 以 保证 ， 除 
T w， 其 他 任何 顶点 都 不 会 同时 出 现在 p 和 p 上 。 原 因 何在 ? 假定 某 个 顶点 x Aw 同时 出 现在 
KIZ pi 和 加 上， 我 们 就 可 以 将 pi DRH ur ow, H p DRH wortas, 根据 最 优 子 结构 
性 质 ， 路 径 p 的 边 数 等 于 加 和 ps 边 数 之 和 ， 假 定 为 e。 接 下 来 我 们 构造 一 条 u 到 vw 的 路 径 
p'=u'sx 二 ww。 由 于 已 经 删 掉 天 到 zw Aw Ble 的 路 径 ， 每 条 路 径 至 少 包含 一 条 边 ， 因 此 之 最 多 
包含 e 一 2 条 边 ， 与 p 为 最 短路 径 的 假设 矛盾 。 因 此 ， 我 们 可 以 保证 最 短路 径 问 题 的 子 问题 间 是 无 
关 的 。 

15.1 节 和 15. 2 节 讨 论 的 两 个 问题 都 具有 子 问题 无 关 性 质 。 在 矩阵 链 乘 法 问题 中 ， 子 问题 为 
子 链 A;A i tAr FAAA; 的 乘法 问题 。 子 链 是 互 不 相交 的 ， 因此 任何 矩阵 都 不 会 同时 包 
含 在 两 条 子 链 中 。 在 钢 条 切割 问题 中 ， 为 了 确定 长 度 为 n 的 钢 条 的 最 优 切 割 方案 ,我 们 考察 所 有 


长 度 为 i(i 二 0，1，…，n 一 1) 的 钢 条 的 最 优 切 割 方案 。 由 于 长 度 为 的 问题 的 最 优 解 只 包含 一 个 
子 问 题 的 解 (我 们 切 掉 了 第 一 段 )， 子 问题 无 关 性 显然 是 可 以 保证 的 。 
重叠 子 问题 


适合 用 动态 规划 方法 求解 的 最 优化 问题 应 该 具备 的 第 二 个 性 质 是 子 问题 空间 必须 足够 “小 ”， 
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即 问题 的 递归 算法 会 反复 地 求解 相同 的 子 问题 ， 而 不 是 一 直 生成 新 的 子 问题 。 一 般 来 讲 ， 不 同 子 
问题 的 总 数 是 输入 规模 的 多 项 式 函 数 为 好 。 如 果 递 归 算法 反复 求解 相同 的 子 问 题 ， 我 们 就 称 最 
$e AC fal LEAT BF M (overlapping subproblems) 性 质 S 。 与 之 相对 的 ， 适 合用 分 治 方法 求解 的 
问题 通常 在 递归 的 每 一 步 都 生成 全 新 的 子 问 题 。 动 态 规划 算法 通常 这 样 利用 重合 子 问题 性 质 : 
对 每 个 子 问题 求解 一 次 ， 将 解 存 人 一 个 表 中 ， 当 再 次 需要 这 个 子 问题 时 直接 查 表 ， 每 次 查 表 的 代 
价 为 常量 时 间 。 

在 15. 1 节 中 ， 我 们 简单 分 析 了 钢 条 切割 问题 的 递归 算法 是 如 何 通过 指数 次 的 递归 调用 来 求 
解 小 的 子 问 题 。 而 我 们 的 动态 规划 算法 将 运行 时 间 从 递归 算法 的 指数 阶 降 为 平方 阶 。 

为 了 详细 说 明 重 释 子 问题 性 质 ， 我 们 重新 考察 矩阵 链 乘法 问题 。 我 们 再 看 图 15-5， 发 现 
MATRIX-CHAIN-ORDER 在 求解 高 层 的 子 问题 时 ， 会 反复 查找 低层 上 子 问题 的 解 。 例 如 ， 算 法 
会 访问 表 项 m[3，4j4 次 : 分 别 在 计算 m[2，4]、m[1，4]、m[3，5] 和 mL3，6J] 时 。 如 果 我 们 每 
次 都 重新 计算 mL[3，4]， 而 不 是 简单 地 查 表 ， 那 么 运行 时 间 会 急剧 上 升 。 为 了 更 好 地 理解 ， 请 看 
下 面 的 递归 过 程 ， 它 计算 矩阵 链 乘法 A =A Ai A; 所 需 最 少 标量 乘法 运算 次 数 m[i，j]， 而 
计算 过 程 是 低 效 的 。 这 个 过 程 直接 基于 递归 式 (15. 7)。 

RECURSIVE-MATRIX-CHAIN(p,i,7) 

1 ifi==j 

return 0 
mLi,j ]=00 
fork = i toj—1 
q = RECURSIVE-MATRIX-CHAIN (p,i,k) 
+ RECURSIVE-MATRIX-CHAIN (p,k+1,3) 
+ pippi 

6 if g<mli,j) 

7 mij ]=q 

8 return m[i,j] 

图 15-7 显示 了 调用 RECURSIVE-MATRIX-CHAIN(p，1，4) 所 产生 的 递归 调用 树 。 每 个 结 
点 都 标记 出 了 参数 i 和 7。 可 以 看 到 ， 某 些 i、j 值 对 出 现 了 许多 次 。 


2 
3 
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15-7 RECURSIVE-MATRIX-CHAIN(p，1，4) 的 递归 调用 树 。 每 个 结 点 都 包含 参数 i 和 j。 每 
棵 阴影 子 树 的 计算 ， 在 MEMOIZED-MATRIX-CHAIN 中 被 一 次 查 表 操 作 代 替 


实际 上 ,我 们 可 以 证 明 此 过 程 计算 mOl, nj 的 时 间 至 少 是 n 的 指数 函数 。 令 T(n) 表 示 
RECURSIVE-MATRIX-CHAIN 计算 ?个 矩阵 的 矩阵 链 的 最 优 括号 化 方案 所 花费 的 时 间 。 由 于 第 


全 ”一 个 问题 是 否 适 合用 动态 规划 求解 同时 依赖 于 子 问题 的 无 关 性 和 重合 性 ， 这 看 起 来 很 奇怪 。 虽 然 这 两 个 要 求 听 
起 来 似乎 是 矛盾 的 ， 但 它们 描述 的 是 不 同 的 概念 ， 而 不 是 同一 个 坐标 轴 上 的 两 个 点 。 两 个 子 问题 如 果 不 共 享 资 
源 ， 它 们 就 是 独立 的 。 而 重 全 是 指 两 个 子 问题 实际 上 是 同一 个 子 问题 ， 只 是 作为 不 同 问题 的 子 问题 出 现 而 已 。 
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1 一 2 行 和 第 6 一 7 行 至 少 各 花费 单位 时 间 ， 第 5 行 的 加 法 运算 也 是 如 此 ， 因 此 我 们 得 到 如 下 递 
385] BHA: 
TD) S1 


rl 
Ti) >1+ DTR + Tn— bk) +1) 2 > 1 
k=l 


注意 ， 对 i 二 1，2，…， nn 一 1， 每 一 项 TCi) 在 公式 中 以 TCk) 的 形式 出 现 了 一 次 ,还 以 TCn 一 
忆 的 形式 出 现 了 一 次 ， 而 求 和 项 中 累加 了 n 一 1 个 1， 在 求 和 项 之 前 还 加 了 1， 因 此 公式 可 改 


nl 
Tin) > 25) TG) +n (15. 8) 
=1 


下 面 用 代入 法 证 明 TCD) 一 Q(2*)。 特 别 地 ， 我 们 将 证 明 ， 对 所 有 nl, TM> ARL. 
基本 情况 很 简单 ， 因 为 TCD) 三 1 一 2 ， 利 用 数学 归纳 法 ， 对 x 之 2， 我 们 有 


nl m2 
Ti) > 23.2 +n=2>) +n = 20-140 (由 公式 (A. 5)) 
i=l i=0 


= 2"—2+n>2"! 
因此 ,调用 RECURSIVE-MATRIX-CHAIN(p, 1, nn) 所 做 的 总 工作 量 至 少 是 n 的 指数 函数 。 

将 此 自 顶 向 下 的 递归 算法 (无 备 忘 ) 与 自 底 向 上 的 动态 规划 算法 进行 比较 ， 后 者 要 高 效 得 多 ， 
因为 它 利 用 了 重 符 子 问 题 性 质 。 和 矩阵 链 乘法 问题 只 有 B(x ) 个 不 同 的 子 问题 ， 动 态 规划 算法 对 每 
个 子 问题 只 求解 一 次 。 而 递归 算法 则 相反 ， 对 每 个 子 问 题 ， 每 当 在 递归 树 中 (递归 调用 时 ) 遇 到 
它 ， 都 要 重新 计算 一 次 。 凡 是 一 个 问题 的 自然 递归 算法 的 递归 调用 树 中 反复 出 现 相同 的 子 问题 ， 

386] ”而 不 同 子 问题 的 总 数 很 少时 ， 动 态 规划 方法 都 能 提高 (有 时 还 是 极 大 地 提高 ) 效 率 。 

重 构 最 优 解 

从 实际 考虑 ， 我 们 通常 将 每 个 子 问题 所 做 的 选择 存在 一 个 表 中 ， 这 样 就 不 必 根据 代价 值 来 
重 构 这 些 信息 。 

对 和 矩阵 链 乘法 问题 ， 利 用 表 sLi，j;]， 我 们 重 构 最 优 解 时 可 以 节省 很 多 时 间 。 假 定 我 们 没有 
维护 s[i, jR, REEK mLi， 站 中 记录 了 子 问 题 的 最 优 代价 。 当 我 们 确定 AAw A; 的 最 优 
括号 化 方案 用 到 了 哪些 子 问题 时 ， 就 需要 检查 所 有 j 一 i 种 可 能 ， 而 一 i 并 不 是 一 个 常数 。 因 此 ， 
对 一 个 给 定 问 题 的 最 优 解 ， 重 构 它 用 到 了 哪些 子 问题 就 需 花费 8(j 一 局 二 w(1) 的 时 间 。 而 通过 在 
Li， 站 j 中 保存 A Ai A; 的 划分 位 置 ， 我 们 重 构 每 次 选择 只 需 O(1) 时 间 。 

备 忘 

如 我 们 在 15. 1 节 钢 条 切割 问题 中 所 见 ， 我 们 可 以 保持 自 顶 向 下 策略 ， 同 时 达到 与 自 底 向 上 
动态 规划 方法 相似 的 效率 。 思 路 就 是 对 自然 但 低 效 的 递归 算法 加 入 备 忘 机 制 。 与 自 底 向 上 方法 
一 样 ， 我 们 维护 一 个 表 记 录 子 问题 的 解 ， 但 仍 保持 递归 算法 的 控制 流程 。 

带 备 忘 的 递归 算法 为 每 个 子 问题 维护 一 个 表 项 来 保存 它 的 解 。 每 个 表 项 的 初 值 设 为 一 个 特 
殊 值 ， 表 示 尚 未 填 人 子 问题 的 解 。 当 递归 调用 过 程 中 第 一 次 遇 到 子 问题 时 ， 计 算 其 解 ， 并 存 人 对 
应 表 项 。 随 后 每 次 遇 到 同一 个 子 问题 ， 只 是 简单 地 查 表 ， 返 回 其 解 2 。 

下 面 给 出 的 是 带 备 忘 的 RECURSIVE-MATRIX-CHAIN 版 本 。 注 意 它 与 带 备 忘 的 自 顶 向 下 

钢 条 切割 算法 的 相似 之 处 。 


MEMOIZED-MATRIX-CHAIN (p) 


O 这 种 方法 假定 我 们 预先 已 经 知道 所 有 可 能 的 子 问题 参数 ( 子 问题 空间 )， 并 已 在 表 项 和 子 问题 间 建 立 起 对 应 关系 。 
另 一 个 更 通用 的 备 忘 方法 是 使 用 散 列 技术 ， 以 子 问题 参数 为 关键 字 。 
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n=p. length—1 
let m[1..n,1..nl]be a new table 
fori = l ton 
for j = i ton 
m[i,j]=22 


return LOOKUP-CHAIN(m, p, l, n) 


a Oe WN 


LOOKUP-CHAIN(nm, p» i; j) 
1 if mli,j}<co 
2 return m([i,j 
3 if i==j 
4 m[i,j]=0 
5 else fork = i toj—1 
6 q = LOOKUP-CHAIN(m, p,» i, k) 
+ LOOKUP-CHAIN(m, p, k+1, j) + pi-1 Ped; 

7 if g < mli,j] 

8 mli,jJ=4 

9 return m{i,j } 

MEMOIZED-MATRIX-CHAIN 与 MATRIX-CHAIN-ORDER 一 样 维护 一 个 表 m[1..n, 
1..n]， 来 保存 计算 出 的 矩阵 A;.; 的 最 小 计算 代价 mLi， 站 ]。 每 个 表 项 被 初始 化 为 coO， 表 示 还 未 
存 人 过 值 。 调 用 LOOKUP-CHAIN(m, p, i, DH, WRH 1 行 发现 mLi， j<, PMA BGK bl 
之 前 已 经 计算 出 的 代价 m[i, jE 24); 否则 ， 像 RECURSIVE-MATRIX-CHAIN 一 样 计算 最 
小 代价 ， 存 人 m[i， 门 ， 并 返回 。 因 此 ， 虽 然 LOOKUP-CHAIN(m, p, i, j) MIKE mli, j] 
的 值 ， 但 只 在 第 一 次 (以 特定 的 参数 i 和 j) 调 用 时 才 真 正 计算 。 

图 15-7 说 明了 与 RECURSIVE-MATRIX-CHAIN 相 比 ，MEMOIZED-MATRIX-CHAIN 是 
如 何 节省 时 间 的 。 阴 影子 树 表 示 那 些 直接 查 表 获 得 而 非 重新 计算 的 值 。 

与 自 底 向 上 动态 规划 算法 MATRIX-CHAIN-ORDER 类 似 ，MEMOIZED-MATRIX-CHAIN 
的 运行 时 间 为 O). MEMOIZED-MATRIX-CHAIN 的 第 5 行 运行 了 B(x) 次。 我 们 可 以 将 对 
LOOKUP-CHAIN 的 调用 分 为 两 类 : 

1. 调用 时 mli, j]=co, FA 3~9 行 会 执行 。 

2. 调用 时 mCi, j<, Wk LOOKUP-CHAIN 执行 第 2 行 ， 简单 返回 值 。 

第 一 种 调用 会 发 生 B(x ) 次 ， 每 个 表 项 一 次 。 第 二 种 调用 均 为 第 一 种 调用 所 产生 的 递归 调用 。 而 
无 论 何 时 一 个 LOOKUP-CHAIN 的 调用 继续 进行 递归 调用 ， 都 会 产生 O(n) 次 递归 调用 。 因 此 ， 
第 二 种 调用 共有 OGY), REUTER O(1) 时 间 ， 而 第 一 种 调用 每 次 花费 O(n) 时 间 再 加 上 它 产 生 
的 递归 调用 的 时 间 。 因 此 ,算法 的 总 时 间 为 O(n )， 备 忘 技术 将 一 个 Q(2") 时 间 的 算法 转换 为 一 
个 Ol) 时 间 的 算法 。 

总 之 ， 为 求解 矩阵 链 乘 法 问题 ， 我 们 既 可 以 用 带 备 忘 的 自 顶 向 下 动态 规划 算法 ， 也 可 以 用 自 
底 向 上 的 动态 规划 算法 ， 时 间 复 杂 性 均 为 O0z )。 两 种 方法 都 利用 了 重 倒 子 问 题 性 质 。 不 同 的 子 
问题 一 共 只 有 B(x ) 个 ， 对 每 个 子 问题 ， 两 种 方法 都 只 计算 一 次 。 而 没有 备 丰 机 制 的 自然 递归 算 
法 的 运行 时 间 为 指数 阶 ， 因 为 它 会 反复 求解 相同 的 子 问题 。 

通常 情况 下 ， 如 果 每 个 子 问题 都 必须 至 少 求 解 一 次 ， 自 底 向 上 动态 规划 算法 会 比 自 顶 向 下 
备 忘 算法 快 (都 是 OC02 ) 时 间 ， 相 差 一 个 常量 系数 ) ， 因 为 自 底 向 上 算法 没有 递归 调用 的 开销 ， 表 
的 维护 开销 也 更 小 。 而 且 ， 对 于 某 些 问题 ， 我 们 可 以 利用 表 的 访问 模式 来 进一步 降低 时 空 代 价 。 
相反 ， 如 果子 问题 空间 中 的 某 些 子 问题 完全 不 必 求 解 ， 备 忘 方法 就 会 体现 出 优势 了 ， 因 为 它 只 会 
求解 那些 绝对 必要 的 子 问题 。 
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练习 

15.3-1 对 于 和 矩阵 链 乘法 问题 ， 下 面 两 种 确定 最 优 代 价 的 方法 哪 种 更 高 效 ? 第 一 种 方法 是 穷 举 所 
有 可 能 的 括号 化 方案 ,对 每 种 方案 计算 乘法 运算 次 数 ， 第 二 种 方法 是 运行 
RECURSIVE-MATRIX-CHAIN。 证 明 你 的 结论 。 

15.3-2 ”对 一 个 16 个 元 素 的 数组 ， 画 出 2. 3. 1 节 中 MERGE-SORT 过 程 运 行 的 递归 调用 树 。 解 
释 备 忘 技术 为 什么 对 MERGE-SORT 这 种 分 治 算法 无 效 。 

15.3-3 ”考虑 矩阵 链 乘法 问题 的 一 个 变形 : 目标 改 为 最 大 化 矩阵 序列 括号 化 方案 的 标量 乘法 运算 
次 数 ， 而 非 最 小 化 。 此 问题 具有 最 优 子 结构 性 质 吗 ? 

15.3-4 ”如 前 所 述 ， 使 用 动态 规划 方法 ， 我 们 首先 求解 子 问题 ， 然 后 选择 哪些 子 问题 用 来 构造 原 
问题 的 最 优 解 。Capulet 教授 认为 ， 我 们 不 必 为 了 求 原 问题 的 最 优 解 而 总 是 求解 出 所 有 
子 问题 。 她 建议 ， 在 求 矩 阵 链 乘法 问题 的 最 优 解 时 ， 我 们 总 是 可 以 在 求解 子 问题 之 前 选 
E A Ain A; 的 划分 位 置 A,( 选 定 的 使 得 p;_1pip; 最 小 )。 请 找 出 一 个 反例 ， 证 明 这 
个 贪心 方法 可 能 生成 次 优 解 。 

15.3-5 对 15.1 节 的 钢 条 切割 问题 加 入 限制 条 件 : 假定 对 于 每 种 钢 条 长 度 iG=1, 2, +, n—-1), 
最 多 允许 切割 出 上 段 长 度 为 i 的 钢 条 。 证 明 : 15. 1 节 所 描述 的 最 优 子 结构 性 质 不 再 成 立 。 

15.3-6 假定 你 希望 兑换 外 汇 ， 你 意识 到 与 其 直接 兑换 ， 不 如 进行 多 种 外 币 的 一 系列 兑换 ， 最 后 
兑换 到 你 想 要 的 那 种 外 币 ， 可 能 会 获得 更 大 收益 。 假 定 你 可 以 交易 种 不 同 的 货币 ， 编 
号 为 1，2，…，7m， 竞 换 从 1 号 货币 开始 ， 最 终 兑换 为 n 号 货币 。 对 每 两 种 货币 i 和 j， 
给 定 汇 率 r; ， 意 味 着 你 如 果 有 4 个 单位 的 货币 i， 可 以 兑换 dz 个 单位 的 货币 7。 进行 一 
系列 的 交易 需要 支付 一 定 的 佣金 ， 金 额 取 决 于 交易 的 次 数 。 令 c 表示 上 次 交易 需要 支付 
的 佣金 。 证 明 : 如 果 对 所 有 & 二 1]，2，…，n，c4 二 0， 那 么 寻找 最 优 兑换 序列 的 问题 具 
有 最 优 子 结构 性 质 。 然 后 请 证 明 : 如 果 佣 金 c 为 任意 值 ， 那 么 问题 不 一 定 具 有 最 优 子 结 
构 性 质 。 


15.4 最 长 公共 子 序列 


在 生物 应 用 中 ， 经 常 需要 比较 两 个 (或 多 个 ) 不 同 生 物体 的 DNA。 一 个 DNA 串 由 一 串 称 为 碱 基 
(base) 的 分 子 组 成 ， 碱 基 有 腺 味 叭 、 鸟 味 叭 、 胞 喀 喧 和 胸腺 喀 啶 4 种 类 型 。 我 们 用 英文 单词 首 字 母 表 
示 4 种 碱 基 ， 这 样 就 可 以 将 一 个 DNA 串 表示 为 有 限 集 {A，C，G，T} 上 的 一 个 字符 串 (参见 附录 C 中 
对 字符 串 的 定义 )。 例 如 ， 某 种 生物 的 DNA 可 能 为 S$ 王 ACCOGGTCGAGTGCGCGGAAGCCGGCCGAA， 
另 一 种 生物 的 DNA 可 能 为 S: = GTCGTTCGGAATGCCGTTGCTCTGTAAA。 我 们 比较 两 个 
DNA 串 的 一 个 原因 是 希望 确定 它们 的 “相似 度 ”， 作 为 度量 两 种 生物 相近 程度 的 指标 。 我 们 可 以 用 
很 多 不 同 的 方式 来 定义 相似 度 ， 实 际 上 也 确实 已 经 出 现 了 很 多 相似 度 的 定义 。 例 如 ， 如 果 一 个 
DNA 串 是 另 一 个 DNA 串 的 子 串 ， 那 么 可 以 说 它们 是 相似 的 (第 32 章 讨 论 了 如 何 求解 此 问题 ) 。 但 
在 我 们 的 例子 中 ，S 和 S 都 不 是 对 方 的 子 串 。 我 们 还 可 以 这 样 来 定义 相似 性 : 如 果 将 一 个 串 转换 
为 另 一 个 串 所 需 的 操作 很 少 ， 那 么 可 以 说 两 个 串 是 相似 的 (思考 题 15-5 讨论 了 此 概念 ) 。 另 一 种 衡 
HBS, ALS, 的 相似 度 的 方式 是 : 寻找 第 三 个 串 S; ， 它 的 所 有 碱 基 也 都 出 现在 S AS, 中 ， 且 在 三 
个 串 中 出 现 的 顺序 都 相同 ， 但 在 S 和 S 中 不 要 求 连续 出 现 。 可 以 找到 的 S 越 长 ， 就 可 以 认为 S 
和 S 的 相似 度 越 高 。 在 我 们 的 例子 中 ， 最 长 的 S, 为 GTCGTCGGAAGCCGGCCGAA。 

我 们 将 最 后 一 种 相似 度 的 概念 命名 为 最 长 公共 子 序列 问题 。 一 个 给 定 序列 的 子 序列 ， 就 是 将 给 定 
序列 中 零 个 或 多 个 元 素 去 掉 之 后 得 到 的 结果 。 其 形式 化 定义 如 下 : 给 定 一 个 序列 KS, m 
Zn)， 男 一 个 序列 Z= z2, vets TLR PALER X 的 子 序列 (subsequence) ， 即 存在 一 个 
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严格 递增 的 X 的 下 标 序列 人 mn， ay tr fa 对 所 有 7 一 1， 2, srry ks 满足 x; = zje 例如 ， Z=(B, 
C, D, Bf X=(A, B, C, B, D, A, BF FFF, SMA PRA ACZ, 3, 5, 7). 

给 定 两 个 序列 X ALY, WR ZB X 的 子 序列 ， 也 是 了 的 子 序 列 ， 我 们 称 它 是 X AY 的 公 
共 子 序列 (common subsequence) 。 例 如 ， 如 果 X=<A, B, C, B, D, A, B), Y=(B, D, C, 
A,，B，A)， 那 么 序列 (B，C，A) 就 是 X MY 的 公共 子 序列 。 但 它 不 是 六 和 YY 的 最 长 公共 子 序 
列 (LCS) ， 因 为 它 长 度 为 3， 而 (B，C，B，A) 也 是 X MY 的 公共 子 序列 ， 其 长 度 为 4。(B, C, 
了 B，A4) 是 X 和 Y 的 最 长 公共 子 序 列 ，(B，D，A4A，B) 也 是 ， 因 为 X 和 站 不 存在 长 度 大 于 等 于 5 
的 公共 子 序列 。 

最 长 公共 子 序列 问题 (longest-commonr-subsequence problem) 给 定 两 个 序列 X= (tis Tz, 0s 
Zn 和 Y 一 (，y，…，)， 求 X 和 了 长 度 最 长 的 公共 子 序列 。 本 节 将 展示 如 何 用 动态 规划 方 
法 高 效 地 求解 LCS 问题 。 

步骤 1: 刻画 最 长 公共 子 序列 的 特征 

如 果 用 暴力 搜索 方法 求解 LCS 问题 ， 就 要 穷 举 X 的 所 有 子 序列 ， 对 每 个 子 序列 检查 它 是 否 
也 是 Y 的 子 序列 ， 记录 找 到 的 最 长 子 序列 。X 的 每 个 子 序列 对 应 X 的 下 标 集 合 
和，2，…，m} 的 一 个 子 集 ， 所 以 匀 有 2” 个 子 序列， 因此 暴力 方法 的 运行 时 间 为 指数 阶 ， 对 较 
长 的 序列 是 不 实用 的 。 

但 是 ， 如 下 面 的 定理 所 示 ，LCS 问题 具有 最 优 子 结构 性 质 。 我 们 将 看 到 ， 子 问题 的 自然 分 
类 对 应 两 个 输入 序列 的 “前 级” 对 。 前 级 的 严谨 定义 如 下 : 给 定 一 个 序列 A=, T, y La) 
X} i=0, 1, =, m, UM XWP i 前 缀 为 X; 二 (zl，xz;，…，Z;)。 例 如 , 4# X=<A, B, C, B, 
D, A, B), 则 X= 二 (A，B，C，B)，X。 为 空 串 。 

定理 15. 1(LCS 的 最 优 子 结构 ) A XST, Try °**s Lm) fo Y=(y, na ea | yn) ARF 
Fil, Z=(zy5 z2, ts AX Fe Y HEX LCS, 

le HOR n= yas M Zi =p =n 1 ZA Xm F? Y,-1 49 — 4 LCS, 

2. HOR mA yns MA yA, 意味 着 Z XX, 1 和 了 的 一 个 LCS。 

3. HOR mA Yn» MBA uA, 意味 着 Z XX 和 Yi 的 一 个 LCS, 

证 明 (1) MMR aA, BAM £n = y 追加 到 2 的 末尾 ， 得 到 X MY 的 一 个 长 度 为 
十 1 的 公共 子 序列 ,与 Z 是 X MY 的 最 长 公共 子 序 列 的 假设 了 矛盾。 因此， 必然 有 a= an= Yno 
RH, BR Zd X 和 了 ,的 一 个 长 度 为 & 一 1 的 公共 子 序列 。 我 们 希望 证 明 它 是 一 个 LCS, 
利用 反 证 法 ,假设 存在 X,-! 和 YY,-1 的 一 个 长 度 大 于 一 1 的 公共 子 序列 W， 则 将 z, = y, 追加 到 
W 的 末尾 会 得 到 X AY 的 一 个 长 度 大 于 k 的 公共 子 序列 ， FI. 

(2) WMR Atn, IA ZEX MY 的 一 个 公共 子 序列 。 如 果 存 在 X,_! 和 YY 的 一 个 长 度 大 
于 上 的 公共 子 序 列 W， 那 么 W EEX., 和 YY 的 公共 子 序列 , 与 Z 是 X 和 YY 的 最 长 公共 子 序列 的 
假设 矛盾 。 

(3) 与 情况 (2) 对 称 。 a 

定理 15. 1 告诉 我 们 ， 两 个 序列 的 LCS 包含 两 个 序列 的 前 缀 的 LCS。 因 此 ，LCS 问题 具有 最 
优 子 结构 性 质 。 我 们 马上 还 会 看 到 ， 其 递归 算法 也 具有 重 和 至 子 问题 性 质 。 

步骤 2: 一 个 递归 解 

定理 15. 1 意味 着 ， TER X= <ar, Tap ey Lm? M Y=(y, y，…，) 的 一 个 LCS 时 ， 我 
们 需要 求解 一 个 或 两 个 子 问题 。 如 果 z,, 二 y,， 我 们 应 该 求解 Xni A Yn HA LCS, 将 dn = yn 
追加 到 这 个 LCS 的 末尾 ， 就 得 到 X 和 了 的 一 个 LCS。 如 果 z, 隆 y,， 我 们 必须 求解 两 个 子 问题 : 
R Xm 和 了 的 一 个 LCS 与 X 和 了 -的 一 个 LCS。 两 个 LCS 较 长 者 即 为 X 和 了 的 一 个 LCS。 由 
于 这 些 情况 覆盖 了 所 有 可 能 性 ， 因 此 我 们 知道 必然 有 一 个 子 问题 的 最 优 解 出 现在 X 和 了 的 
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LCS 中 。 

我 们 可 以 很 容易 看 出 LCS 问题 的 重 秋子 问题 性 质 。 为 了 求 X 和 工 的 一 个 LCS， 我 们 可 能 需 
要 求 X 和 也 -的 一 个 LCS & X,_! 和 YY 的 一 个 LCS。 但 是 这 几 个 子 问题 都 包含 求解 Xna M Yna 
的 LCS 的 子 子 问题 。 很 多 其 他 子 问 题 也 都 共享 子 子 问题 。 

与 矩阵 链 乘法 问题 相似 ， 设 计 LCS 问题 的 递归 算法 首先 要 建立 最 优 解 的 递归 式 。 我 们 定义 
cli, jR X ALY; 的 LCS 的 长 度 。 如 果 i 二 0 或] 二 0， 即 一 个 序列 长 度 为 0， 那 么 LCS 的 长 度 
AAO. 根据 LCS 问题 的 最 优 子 结构 性 质 ， 可 得 如 下 公式 : 


0 #Hi=OKRj=0 
tn #ij>0hz=y; (15. 9) 
max(cli,j—1l],cli—1,j]) #ij>0H 243, 

WHE BY ZEB VAR, FRAT EB i ARE BR eT ER AB HE fH. May, 时， 我 们 
可 以 而 且 应 该 求解 子 问 题 ，X;_ 1 和 Yj 的 一 个 LCS。 否 则 ， 应 该 求解 两 个 子 问题 ，X; MY, 
一 个 LCS 及 X- 和 六 的 一 个 LCS。 在 之 前 讨论 过 的 钢 条 切割 问题 和 和 矩阵 链 乘法 问题 的 动态 规划 
算法 中 ， 根 据 问题 的 条 件 ， 我 们 没有 排除 任何 子 问题 。 不 过 ，LCS 问题 并 非 唯一 根据 条 件 排除 
子 问题 的 动态 规划 算法 。 例 如 ， 编 辑 距离 问题 ( 见 思考 题 15-5) 也 具有 这 种 特点 。 

步骤 3: 计算 LCS 的 长 度 

根据 公式 (15. 9)， 我 们 可 以 很 容易 地 写 出 一 个 指数 时 间 的 递归 算法 来 计算 两 个 序列 的 LCS 
的 长 度 。 但是， 由 于 LCS 问题 只 有 9(zz) 个 不 同 的 子 问 题 ， 我 们 可 以 用 动态 规划 方法 自 底 向 上 
地 计算 。 

过 程 LCS-LENGTH 接受 两 个 序列 X= (ZT1, Lrs **s Tn) 和 Y=(y,, 和 °°" W HMA. 
它 将 cLi， 放 的 值 保 存在 表 cLO..m, 0..n]H, HITER (row-major order) 计 算 表 项 ( 即 首先 
由 左 至 右 计算 c 的 第 一 行 ， 然 后 计算 第 二 行 ， 依 此 类 推 )。 过 程 还 维护 一 个 表 OL1..m, 1.7], 
帮助 构造 最 优 解 。4Li， 放 指向 的 表 项 对 应 计算 c[i， 门 时 所 选择 的 子 问题 最 优 解 。 过 程 返回 表 b 
和 表 c，cLm， nRT XAY 的 LCS 的 长 度 。 


LCS-LENGTH(X,Y) 
1 m=X. length 
2 n=Y. length 

3 let 6[1..m,1..nJand cl0..m,0..n]be new tables 

4 for: = ltom 

5 cli,0J=0 

6 forj = O0ton 

7 cL0,j]=0 

8 for i=1 tom 

9 for j=1 ton 

10 if z,==y, 

ll cli,jJ=cli-—1,j—1]+1 

12 blij J=? 

13 elseif c[i—1, j ]>c[ij—1] 

14 cli j]=c[i—1,j] 

15 bli j]=“ 4” 

16 else c[i, j J=cli,j—1] 

17 b[i,j]="“<—” 

18 return c and b 
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A，B，A) 生 成 的 结果 。 过 程 的 运行 时 间 为 @(mn) ， 因 为 每 个 表 项 的 计算 时 间 为 8(1)。 





15-8 ”图 中 给 出 了 LCS-LENGTH 对 X=(A, B, C, B, D, A, By 和 Y=(B, D, C, A, B, A) 
计算 出 的 表 c 和 表 65。 第 i 行 和 第 j 列 的 方 格 包 含 了 cLi， 门 的 值 和 红 i:， 门 记录 的 箭头 。 表 
项 cL[7，6]( 表 的 右 下 角 ) 中 的 4 即 为 X 和 YY 的 一 个 LCS(B，C，B，A) 的 长 度 。 对 所 有 is 
j>0, BM c[i， 门 仅 依赖 于 是 否 r= y 以 及 c[i 一 1， 门 、c[i,，j 一 1j 和 c[i 一 1，j 一 1] 的 
值 ， 这 些 值 都 会 在 cLi， 门 之 前 计算 出 来 。 为 了 构造 LCS 中 的 元 素 ， 从 右 下 角 开 始 沿 着 
bLi，j] 的 箭头 前 进 即 可 ， 如 图 中 阴影 方 格 序 列 。 阴 影 序列 中 每 个 “人 ”对 应 的 表 项 (高 亮 
显示 ) 表 示 =y 是 LCS 的 一 个 元 素 


步骤 4: 构造 LCS 

我 们 可 以 用 LCS-LENGTH 返回 的 表 6 快速 构造 X= laz, zz，…，xzn》 和 Y 一 (和 ，y，…， 
yo AY LCS， 只 需 简 单 地 从 bLmx，nj] 开 始 ， 并 按 往 头 方向 追踪 下 去 即 可 。 当 在 表 项 Oli, jPA 
AN R, 意味 着 r= y 是 LCS 的 一 个 元 素 。 按 照 这 种 方法 ， 我 们 可 以 按 逆序 依次 构造 出 
LCS 的 所 有 元 素 。 下 面 的 递归 过 程 会 按 正确 的 顺序 打印 出 X ALY 的 一 个 LCS。 对 它 的 起 始 调用 
为 PRINT-LCS(6, X, X. length, Y. length). 


PRINT-LCS(,X, i, j) 
1 if i==0 or j==0 

2 return 

3 if i,j J==“K.” 

4 PRINT-LCS(,X, i—1, j—1) 
5 print 2; 

6 elseif b[i,j; ==“ 4” 

7 PRINT-LCS(, X, i—1, j) 

8 else PRINT-LCS(4,X, i, 7 一 1) 


对 图 15-8 中 的 表 6， 此 过 程 会 打印 出 BCBA。 过 程 的 运行 时 间 为 O(m 十 z) ， 因 为 每 次 递归 调用 i 
和 j 至 少 有 一 个 会 减少 1。 

算法 改进 

一 且 设 计 出 一 个 算法 ， 通 常情 况 下 你 都 会 发 现 它 在 时 空 开销 上 有 改进 的 余地 。 一 些 改进 可 
以 简化 代码 ， 将 性 能 提高 常数 倍 ， 但 除 此 之 外 不 会 产生 性 能 方面 的 渐 近 性 提升 。 而 另 一 些 改 进 可 
以 带 来 时 空 上 巨大 的 渐 近 性 提升 。 

例如 ,对 LCS 算法 ， 我 们 完全 可 以 去 掉 表 5。 每 个 c[i， 门 项 只 依赖 于 表 c 中 的 其 他 三 项 : 
cli-1, jl, cli, j 一 1 和 cL[i 一 1，j 一 1]。 给 定 cli, FIA, 我 们 可 以 在 0(1) 时 间 内 判断 出 在 
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计算 Li, 四 时 使 用 了 这 三 项 中 的 哪 一 项 。 因此， 我 们 可 以 用 一 个 类 似 PRINT-LCS 的 过 程 在 
Olm 十 n) 时 间 内 完成 重 构 LCS 的 工作 ， 而 且 不 必 使 用 表 b BE, 虽然 这 种 方法 节省 了 BCmn) 的 
空间 ,但 计算 LCS 所 需 的 辅助 空间 并 未 渐 近 减少 ， 因 为 无 论 如 何 表 c 都 需要 Blmn) 的 空间 。 

不 过 ，LCS-LENGTH 的 空间 需求 是 可 以 渐 近 减少 的 ， 因 为 在 任何 时 刻 它 只 需要 表 < 中 的 两 
行 : 当前 正在 计算 的 一 行 和 前 一 行 (实际 上 ,练习 15. 4-4 要 求 设计 一 个 算法 ， 只 使 用 一 行 多 一 点 
的 空间 来 计算 LCS 的 长 度 )。 如 果 我 们 只 需 计算 LCS 的 长 度 ， 这 一 改进 是 有 效 的 。 但 如 果 需 要 重 
构 LCS 中 的 元 素 ， 这 么 小 的 表 空间 所 保存 的 信息 不 足以 在 Om 十 时 间 内 完成 重 构 工作 。 


练习 

15.4-1 Rls 0, 0, 1, 0, 1, 0, TO 1, 0, 1, 1, 0, 1, Lr 的 二 个 LCS; 

15.4-2 ”设计 伪 代 码 ， 利 用 完整 的 表 c 及 原始 序列 和 X= 二 《zi 22s ts mD MYS yrs yoo tts 
y,) 来 重 构 LCS， 要 求 运行 时 间 为 OGn+n), ， 不 能 使 用 表 b. 

15. 4-3 设计 LCSLENGTH 的 带 备 忘 的 版 本 ， 运 行 时 间 为 Onn). 

15.4-4 ”说 明 如 何 只 使 用 表 c 中 2Xmin(mx，7) 个 表 项 及 O(1) 的 额外 空间 来 计算 LCS 的 长 度 。 然 

396 后 说 明 如 何 只 用 minm, MARMER O(1) 的 额外 空间 完成 相同 的 工作 。 

15.4-5 设计 一 个 Ox ) 时 间 的 算法 ， 求 一 个 个 数 的 序列 的 最 长 单调 递增 子 序列 。 

*15.4-6 ”设计 一 个 Olnlgn) 时 间 的 算法 ， 求 一 个 个 数 的 序列 的 最 长 单调 递增 子 序 列 。( 提 示 : TE 
意 到 ， 一 个 长 度 为 i 的 候选 子 序列 的 尾 元 素 至 少 不 比 一 个 长 度 为 i 一 1 候选 子 序 列 的 尾 元 
素 小 。 因 此 ， 可 以 在 输入 序列 中 将 候选 子 序列 链接 起 来 。) 


15.5 ”最 优 二 叉 搜索 树 


假定 我 们 正在 设计 一 个 程序 ， 实 现 英语 文本 到 法 语 的 翻译 。 对 英语 文本 中 出 现 的 每 个 单词 ， 
我 们 需要 查找 对 应 的 法 语 单词 。 为 了 实现 这 些 查 找 操作 ， 我 们 可 以 创建 一 棵 二 又 搜 索 树 ， 将 nn 个 
英语 单词 作为 关键 字 ， 对 应 的 法 语 单词 作为 关联 数据 。 由 于 对 文本 中 的 每 个 单词 都 要 进行 搜索 ， 
我 们 希望 花费 在 搜索 上 的 总 时 间 尽 量 少 。 通 过 使 用 红 黑 树 或 其 他 平衡 搜索 树 结构 ， 我 们 可 以 假 
定 每 次 搜索 时 间 为 Ol(lgn)。 但 是 ， 单 词 出 现 的 频率 是 不 同 的 ， 像 “the” 这 种 频繁 使 用 的 单词 有 可 
能 位 于 搜索 树 中 远离 根 的 位 置 上 ， 而 像 *machicolation” 这 种 很 少 使 用 的 单词 可 能 位 于 靠近 根 的 位 
置 上 。 这 样 的 结构 会 减 慢 翻译 的 速度 ， 因 为 在 二 叉 树 搜索 树 中 搜索 一 个 关键 字 需 要 访问 的 结 点 
数 等 于 包含 关键 字 的 结 点 的 深度 加 1。 我 们 希望 文本 中 频繁 出 现 的 单词 被 置 于 靠近 根 的 位 置 。 
而 且 ， 文 本 中 的 一 些 单词 可 能 没有 对 应 的 法 语 单词 >， 这 些 单词 根本 不 应 该 出 现在 二 叉 搜索 树 
中 。 在 给 定单 词 出 现 频率 的 前 提 下 ， 我 们 应 该 如 何 组 织 一 棵 二 叉 搜 索 树 ， 使 得 所 有 搜索 操作 访问 
的 结 点 总 数 最 少 呢 ? 

这 个 问题 称 为 最 优 二 叉 搜 索 树 (optimal binary search tree) 问 题 。 其 形式 化 定义 如 下 : 给 定 一 
个 个 不 同 关键 字 的 已 排序 的 序列 KK 二 (kl ，k。，…，k,)( 因 此 二 二 … 二 k,)， 我 们 希望 用 这 
些 关 键 字 构造 一 棵 二 又 搜索 树 。 对 每 个 关键 字 &;， 都 有 一 个 概率 p 表示 其 搜索 频率 。 有 些 要 搜 

索 的 值 可 能 不 在 K 中 ， 因 此 我 们 还 有 十 1 SKE" d di, dzs +, d, 表示 不 在 KK 中 的 
fh. do 表示 所 有 小 于 名 的 值 ，d 表示 所 有 大 于 有 , 的 值 ， 对 i 二 1，2,，…, nn 一 1， 伪 关 键 字 di K 
WAHE k: 和 ki 之 间 的 值 。 对 每 个 伪 关 键 字 d;， 也 都 有 一 个 概率 p; 表示 对 应 的 搜索 频率 。 
图 15-9 显 示 了 对 一 个 n=5 个 关键 字 的 集合 构造 的 两 棵 二 又 搜 索 树 。 每 个 关键 字 &; 是 一 个 内 部 结 
点 ， 而 每 个 伪 关键 字 di 是 一 个 叶 结 点 。 每 次 搜索 要 么 成 功 (找到 某 个 关键 字 k;) 要 么 失败 (找到 某 


日 ”如 果 文 本 的 主题 是 城堡 建筑 ， 我 们 可 能 希望 machicolation 出 现在 靠近 根 的 位 置 。 
© 是 的 ，machicolation 有 对 应 的 法 语 单 词 : mâchicoulis, 
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个 伪 关 键 字 d;)， 因 此 有 如 下 公式 : 
(15. 10) 








pi 0.15 0.10 0.05 0.10 0.20 
0.05 0. 10 0.05 0.05 0.05 0.10 


(a) 期 望 搜索 代价 为 2. 80 的 二 叉 搜 索 树 。(b) 期 望 搜索 代价 为 2.75( 最 优 ) 的 二 叉 搜 索 树 


由 于 我 们 知道 每 个 关键 字 和 伪 关键 字 的 搜索 概率 ， 因 而 可 以 确定 在 一 棵 给 定 的 二 叉 搜 索 树 T 
中 进行 一 次 搜索 的 期 望 代价 。 假 定 一 次 搜索 的 代价 等 于 访问 的 结 点 数 ， 即 此 次 搜索 找到 的 结 点 
在 工 中 的 深度 再 加 1。 那 么 在 工 中 进行 一 次 搜索 的 期 望 代 价 为 : 


E[T 中 搜索 代价 ]= > (depth (k) +1) + p: + >) Cdepthr(d,) +1) + q: 
i=l im0 


= 1+ >) depth; (k;) + p; + >) depthr(d,) + q; (15.11) [398 
i=] i=0 


其 中 depthr 表示 一 个 结 点 在 树 工 中 的 深度 。 最 后 一 个 等 式 是 由 公式 (15. 10) 推 导 而 来 。 在 图 15-9(a) 
中 ， 我 们 逐 结 点 计算 期 望 搜 索 代 价 : 














E a 
ko 0.10 0. 10 
k3 0. 05 0.15 
ky 0.10 0. 20 
do 0.05 0.15 

a 


对 于 一 个 给 定 的 概率 集合 ， 我 们 希望 构造 一 棵 期 望 搜 索 代价 最 小 的 二 叉 搜 索 树 ， 我 们 称 
之 为 最 优 二 叉 搜 索 树 。 图 15-9(b) 所 示 的 二 叉 搜 索 树 就 是 给 定 概率 集合 的 最 优 二 叉 搜 索 树 ， 
其 期 望 代 价 为 2.75。 这 个 例子 显示 ， 最 优 二 又 搜 索 树 不 一 定 是 高 度 最 矮 的 。 而且 ， 概率 最 
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高 的 关键 字 也 不 一 定 出 现在 二 又 搜索 树 的 根 结 点 。 在 此 例 中 ， 关 键 字 ks 的 搜索 概率 最 高 ， 
但 最 优 二 叉 搜 索 树 的 根 结 点 为 (在 所 有 以 为 根 的 二 叉 搜索 树 中 ， 期 望 搜索 代价 最 小 者 为 
2.85). 

与 矩阵 链 乘法 问题 相似 ， 对 本 问题 来 说 ， 穷 举 并 检查 所 有 可 能 的 二 又 搜索 树 不 是 一 个 高 效 
的 算法 。 对 任意 一 棵 nn 个 结 点 的 二 又 树 ， 我 们 都 可 以 通过 对 结 点 标记 关键 字 kis kos o ka 构造 
出 一 棵 二 叉 搜索 树 ， 然 后 向 其 中 添加 伪 关 键 字 作为 叶 结 点 。 在 思考 题 12-4 中 ， 我 们 会 看 到 ?个 
结 点 的 二 又 树 的 数量 为 Q0(4"/n”)， 因 此 穷 举 法 需要 检查 指数 棵 二 又 搜索 树 。 不 出 意外 ， 我 们 将 
使 用 动态 规划 方法 求解 此 问题 。 

步骤 1: 最 优 二 叉 搜索 树 的 结构 

为 了 刻画 最 优 二 又 搜 索 树 的 结构 ， 我 们 从 观察 子 树 特征 开始 。 考 虑 一 棵 二 又 搜索 树 的 任意 子 


树 。 它 必须 包含 连续 关键 字 &，…， 铝 ，1 志 二) 二 n， 而 且 其 叶 结 点 必然 是 伪 关 键 字 di, +, djo 
我 们 现在 可 以 给 出 二 叉 搜 索 树 问题 的 最 优 子 结构 : 如 果 一 棵 最 优 二 又 搜索 树 工 有 一 棵 包含 
KES kis ee k; 的 子 树 Ts 那么 下 必然 是 包含 关键 字 二 ae k; 和 伪 关键 字 d, -19 °*%9 d; 的 


子 问 题 的 最 优 解 。 我 们 依旧 用 剪 切 一 粘贴 法 来 证 明 这 一 结论 。 如 果 存 在 子 树 大 ， 其 期 望 搜 索 代 
WHET, 那么 我 们 将 TA THAR, Ki TT 粘 贴 到 相应 位 置 ， 从 而 得 到 一 棵 期 望 搜索 代价 低 于 
的 二 又 搜 索 树 ， 与 工 最 优 的 假设 矛盾 。 

我 们 需要 利用 最 优 子 结构 性 质 来 证 明 ， 我 们 可 以 用 子 问 题 的 最 优 解 构造 原 问 题 的 最 优 解 。 给 
定 关 键 字 序列 有，…， 铝 ， 其 中 某 个 关键 字 ， 比 如 说 (ir<7)， 是 这 些 关 键 字 的 最 优 子 树 的 根 结 


点 。 那么 k, 的 左 子 树 就 包含 关键 字 &;， bead , k (和 伪 关 键 字 dar ds 而 右 子 树 包 含 关 键 
F kmis RY k; Fh KES d,, ai dj). 只 要 我 们 检查 所 有 可 能 的 根 结 点 k, GrSj), 并 对 每 
种 情况 分 别 求解 包含 k，…，k,_1 及 包含 kt+1，…，& 的 最 优 二 叉 搜 索 树 ， 即 可 保证 找到 原 问 题 
的 最 优 解 。 


这 里 还 有 一 个 值得 注意 的 细节 一 一 “空子 树 ”。 假 定 对 于 包含 关键 字 ko oe, ki 的 子 问题 ， 我 
们 选 定 k: 为 根 结 点 。 根 据 前 文 论证 ，&; 的 左 子 树 包 含 关键 字 k;，…，k;_! 。 我 们 将 此 序列 解释 为 
不 包含 任何 关键 字 。 但 请 注意 ， 子 树 仍然 包含 伪 关 键 字 。 按 照 惯例 ， 我 们 认为 包含 关键 字 序列 
k;，…，k;-1 的 子 树 不 含 任何 实际 关键 字 ， 但 包含 单一 伪 关 键 字 diio XER, WREE k 为 根 
结 点 ， 那 么 的 右 子 树 包含 关键 字 &j+;，…，& 一 一 些 右 子 树 不 包含 任何 实际 关键 字 ， 但 包含 伪 
关键 字 dj. 

步骤 2: 一 个 递归 算法 

我 们 已 经 准备 好 给 出 最 优 解 值 的 递归 定义 。 我 们 选取 子 问 题 域 为 : 求解 包含 关键 字 ko eo 
ki 的 最 优 二 又 搜索 树 ， 其 中 iS, j<n 且 j 宇 i 一 1( 当 j=i 一 1 时 ， 子 树 不 包含 实际 关键 字 ， 只 包 
含 伪 关键 字 di). HM eli, 站 为 在 包含 关键 字 kio o ki 的 最 优 二 又 搜索 树 中 进行 一 次 搜索 的 
期 望 代价 。 最 终 ， 我 们 希望 计算 出 ell, n] 

J 三 i 一 1 的 情况 最 为 简单 ， 由 于 子 树 只 包含 伪 关 键 字 d;, ， 期 望 搜索 代价 为 e[i, i 一 1]==g;_1。 

当 j 宇 i 时， 我 们 需要 从 有，…，k 中 选择 一 个 根 结 点 &,， 然 后 构造 一 棵 包含 关键 字 kio oo, 
-1 的 最 优 二 又 搜索 树 作为 其 左 子 树 ， 以 及 一 棵 包含 关键 字 kis oo, ki 的 二 叉 搜索 树 作为 其 右 
子 树 。 当 一 棵 子 树 成 为 一 个 结 点 的 子 树 时 ， 期 望 搜索 代价 有 何 变化 ? 由 于 每 个 结 点 的 深度 都 增加 
了 1， 根 据 公 式 (15. 11)， 这 棵 子 树 的 期 望 搜索 代价 的 增加 值 应 为 所 有 概率 之 和 。 对 于 包含 关键 
Fko co 的 子 树 ， 所 有 概率 之 和 为 


wi,j)) = D pi+ da (15. 12) 
l=i 1 一 一 1 


Ak, Æ k WSK. 0, ki 的 最 优 二 又 搜索 树 的 根 结 点 ， 我 们 有 如 下 公式 : 
elisj] = p, + (eli,r—1] + wi,r—1)) + Celr+1.j]+wirt+1,j)) 
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注意 
wli j) = wi,r—1)+p,+0(r+1,7) 
因此 eli, 站 可 重 写 为 
eli j] = efiyr—1j 二 +e[r 二 1,j] 十 w(i,j) (15. 13) 
递归 公式 (15. 13) 假 定 我 们 知道 哪个 结 点 应 该 作为 根 结 点 。 如 果 选 取 期 望 搜索 代价 最 低 者 
作为 根 结 点 ， 可 得 最 终 递归 公式 : 
afi Ge #j=i-1 
ei] = ee 1] 十 e[r 十 1;) 门 十 wi 站 ) #i<j 


e[i， 站 的 值 给 出 了 最 优 二 又 搜索 树 的 期 望 搜索 代价 。 为 了 记录 最 优 二 又 搜 索 树 的 结构 ， 对 
于 包含 关键 字 &，…，k(1 志 i 过 jn) 的 最 优 二 又 搜索 树 ， 我 们 定义 rooli, j RRA & 的 
下 标 >。 虽 然 我 们 将 看 到 如 何 计算 roo:[i， 门 的 值 ， 但 是 利用 这 些 值 来 构造 最 优 二 又 搜索 树 的 问 
题 将 留 作 练习 (练习 15. 5-1)。 

步骤 3: 计算 最 优 二 叉 搜索 树 的 期 望 搜 索 代 价 

现在 ， 你 可 能 已 经 注意 到 我 们 求解 最 优 二 叉 搜 索 树 和 矩阵 链 乘法 的 一 些 相似 之 处 。 它 们 的 
子 问题 都 由 连续 的 下 标 子 域 组 成 。 而 公式 (15. 14) 的 直接 递归 实现 ， 也 会 与 矩阵 链 乘法 问题 的 直 
接 递归 算法 一 样 低 效 。 因 此 ， 我 们 设计 替代 的 高 效 算法 ,我们 用 一 个 表 e[L1..n 十 1，0. .nj 来 保 
HF e[i,， 门 值 。 第 一 维 下 标 上 界 为 n 十 1 而 不 是 nw， 原因 在 于 对 于 只 包含 伪 关 键 字 d, 的 子 树 ， 我 们 
需要 计算 并 保存 e[n 十 1，nj]。 第 二 维 下 标 下 界 为 0， 是 因为 对 于 只 包含 伪 关 键 字 do HFM, R 
们 需要 计算 并 保存 e[1，0]。 我 们 只 使 用 表 中 满足 j 三 i 一 1 HARM eLi，j]。 我 们 还 使 用 一 个 表 
root， 表 项 root[i， 站 记录 包含 关键 字 ko o ki 的 子 树 的 根 。 我 们 只 使 用 此 表 中 满足 IKin 
的 表 项 root[i, j]. 

我 们 还 需要 另 一 个 表 来 提高 计算 效率 。 为 了 避免 每 次 计算 elis IRER wG, j), 我 
们 将 这 些 值 保存 在 表 w[L1. .nn 十 1，0. .nj 中， 这 样 每 次 可 节省 8(j 一 收 次 加 法 。 对 基本 情况 ， 令 
wli, i 一 1 二 qi (lin 十 1)。 对 ji 的 情况 ， 可 如 下 计算 : 

uli j] = ulisj—1]+ p; +g (15. 15) 

RR, MOG) Li, i], BHAA OC). 

下 面 的 伪 代码 接受 概率 列表 pi ees Pn 和 4g。，…，g, 及 规模 n 作为 输入 ， 返 回 表 e Fl root. 

OPTIMAL-BST(p,q,n) 

let e[1..n+1,0..n],w{l..n+1,0..n],and root[1..n,1..n]be new tables 
for i=1 ton+1 


(15. 14) 


1 

2 

3 eli,i—1J=q-1 

4 w[i,i—1]=gi 

5 for/=1ton 

6 for i = 1 ton—/+1 

7 j =itl-1 

8 eli,j J=00 

9 wLi,j]=wLi,j—1]+p;+g; 
10 for r =i toj 

11 t =eli,r—1]+elr+1,j]+uli j] 
12 if <<eLi,j] 

13 eli j]=t 

14 rootli,j J=r 


15 return e and root 


根据 前 文 的 描述 ， 以 及 与 15. 2 节 的 算法 MATRIX-CHAIN-ORDER 的 相似 性 ， 很 容易 理解 
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此 算法 。 第 2 一 4 行 的 for 循环 初始 化 e[i，i 一 1 和 wLi，;i 一 菇 的 值 。 第 5 一 14 行 的 for 循环 利用 
递归 式 (15. 14) 和 递归 式 (15. 15) 来 对 所 有 lSi<j<nttH eli, 站 和 w[Li，jj]。 在 第 一 个 循环 步 
中 ,l=1， 循环 对 所 有 ;一 1， 25 tty nit eli, 和 wi, i]. 第 二 个 循环 步 中 ， /一 2， 对 所 有 
i=1, 2, +, n—1 H4 eli, i+1]Mwli, i+1], KKH. E 10~14 行 的 内 层 for 循环 ， 逐 
个 尝试 下 标 r+， 确 定 哪 个 关键 字 k 作为 根 结 点 可 以 得 到 包含 关键 字 ;，…，& 的 最 优 二 又 搜索 
树 。 这 个 for 循环 在 找到 更 好 的 关键 字 作 为 根 结 点 时 ， 会 将 其 下 标 rE rooli, jP. 

图 15-10 给 出 了 OPTIMAL-BST 输 入 图 15-9 中 的 关键 字 分 布 后 计算 出 的 表 eli, j] uli, JJA 
root[i, j]. Sj PE 15-5 中 和 矩阵 链 乘 法 问题 的 输出 结果 一 样 ， 本 图 中 的 表 也 进行 了 旋转 ， 对 角 线 
旋转 到 了 水 平方 向 。OPTIMAL-BST 按 自 底 向 上 的 顺序 逐 行 计 算 ， 在 每 行 中 由 左 至 右 计 算 每 个 
表 项 。 





15-10 对 图 15-9 中 的 关键 字 分 布 ，OPTIMAL-BST 计算 出 的 表 elis j] w[i, j] 
和 rootL[i， 站 ]。 表 进行 了 旋转 ， 使 得 对 角 线 旋转 到 水 平方 向 
与 MATRIX-CHAIN-ORDER 一 样 ，OPTIMAL-BST 的 时 间 复 杂 度 也 是 O), FEBS 
三 重 for 循环 ， 而 每 层 循环 的 下 标 最 多 取 个 值 ， 因 此 很 容易 得 出 其 运行 时 间 为 O(n )。 
OPTIMAL-BST 的 循环 下 标的 范围 与 MATRIX-CHAIN-ORDER 不 完全 一 样 ， 但 每 个 方向 最 多 相 
221. lt, 与 MATRIX-CHAIN-ORDER 一 样 ，OPTIMAL-BST 的 运行 时 间 为 Cn )( 从 而 得 出 
运行 时 间 为 @(n))。 


练习 
15.5-1 设计 伪 代 码 CONSTRUCT-OPTIMAL-BST (root), AHK root， 输 出 是 最 优 二 又 搜索 
树 的 结构 。 例 如 ， 对 图 15-10 中 的 root 表 ， 应 输出 
k: HAR 
ki Ake 的 左 孩子 
do Hk, 的 左 孩 子 
di Ak, 的 右 孩 子 
ks Hk, 的 右 孩 子 
ki H ks 的 左 孩 子 
ks Hk, 的 左 孩 子 
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d: Ak, 的 左 孩 子 
d; Ak, 的 右 孩子 
ds Ak, 的 右 孩 子 
d; Ak; 的 右 孩 子 
与 图 15-9(b) 中 的 最 优 二 又 搜索 树 对 应 。 
15.5-2 A7 个 关键 字 的 概率 如 下 所 示 ， 求 其 最 优 二 又 搜索 树 的 结构 和 代价 。 










0. 02 
0. 05 


0. 10 
0. 05 


0. 08 
0. 06 





0. 06 


15.5-3 ”假设 OPTIMAL-BST 不 维护 表 uli, jl MEER 9 行 利用 公式 (15. 12) 直 接 计算 wh, j), 
然后 在 第 11 行使 用 此 值 。 如 此 改动 会 对 渐 近 时 间 复 杂 性 有 何 影响 ? 
*15.5-4 Knuth[212] 已 经 证 明 ， 对 所 有 1 二 i 三 x， 存在 最 优 二 叉 搜 索 树 ， 其 根 满足 root[i，j 一 
1]<rootli, j]<rootli+1, j]. AARE OPTIMAL-BST， 使 得 运行 时 
ERDA OOF). 


思考 题 


15-1 〈《 有 向 无 环 图 中 的 最 长 简单 路 径 ) 给 定 一 个 有 向 无 环 图 G 二 (V，E)， 边 权重 为 实数 ， 给 
定 图 中 两 个 顶点 * 和 上。 设计 动态 规划 算法 ， 求 从 到 :+ 的 最 长 加 权 简单 路 径 。 子 问题 图 是 
怎样 的 ? 算法 的 效率 如 何 ? 404 

15-2 (最 长 回 文子 序 列 )” 回 文 (palindrome) 是 正 序 与 逆序 相同 的 非 空 字 符 串 。 例 如 ， 所 有 长 度 
为 1 的 字符 串 、civic、racecar、aibohphobia( 害 怕 回 文 之 意 ) 都 是 回 文 。 

设计 高 效 算法 ， 求 给 定 输 入 字符 串 的 最 长 回 文子 序列 。 例 如 ， 给 定 输入 character, W 
法 应 该 返回 carac。 算 法 的 运行 时 间 是 怎样 的 ? 

15-3 〈 双 调 欧 几 里 得 旅行 商 问 题 ) 在 欧 几 里 得 旅行 商 问题 中 ， 给 定 平面 上 ?个 点 作为 输入 ， 和 希 
望 求 出 连接 所 有 2 个 点 的 最 短 巡 游 路 线 。 图 15-11(a) 给 出 了 一 个 7 点 问题 的 解 。 此 问题 是 
NP 难 问 题 ， 因 此 大 家 相信 它 并 不 存在 多 项 式 时 间 的 求解 算法 (参见 第 34 章 )。 

J. L. Bentley 建议 将 问题 简化 ， 限 制 巡游 路 线 为 双 调 巡游 (bitonic tours)， 即 从 最 左边 的 
点 开始 ， 严 格 向 右前 进 ， 直 至 最 右边 的 点 ， 然 后 调头 严格 向 左前 进 ， 直 至 回 到 起 始点 。 
图 15-11(b) 给 出 了 相同 7 个 点 的 最 短 双 调 巡游 路 线 。 问 题 简化 之 后 ， 存 在 一 个 多 项 式 时 间 的 
算法 。 





图 15-11 给 定 平面 上 7 个 点 ， 显 示 在 一 个 单位 网 格 中 。(a) 最 短 闭 合 巡 游 路 线 ， 长 度 约 为 
24. 89， 此 路 线 不 是 双 调 的 。(b) 同 样 点 集 的 最 短 双 调 巡 游 路 线 ， 长 度 约 为 25. 58 


设计 一 个 OG) 时 间 的 最 优 双 调 巡 游 路 线 算法 。 你 可 以 认为 任何 两 个 点 的 z 坐标 均 不 
同 ， 且 所 有 实数 运算 都 花费 单位 时 间 。( 提 示 : 由 左 至 右 扫 描 ， 对 巡游 路 线 的 两 个 部 分 分 
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15-4 


15-5 
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别 维护 可 能 的 最 优 解 。) 

(整齐 打印 ) 考虑 整齐 打印 问题 ， 即 在 打印 机 上 用 等 宽 字 符 打印 一 段 文本 。 输 入 文本 为 n 
个 单词 的 序列 ， 单 词 长 度 分 别 为 ，l;，…，4 个 字符 。 我 们 希望 将 此 段 文本 整齐 打印 在 
若干 行 上 ， 每 行 最 多 M 个 字符 。“ 整 齐 ” 的 标准 是 这 样 的 。 如 果 某 行 包 含 第 i 到 第 j GS) 


个 单词 ， 且 单词 间隔 为 一 个 空格 符 ， 则 行 尾 的 额外 空格 符 数 量 为 M 一 j 十 i 一 Ss ， 此 值 


必须 为 非 负 的 ， 否 则 一 行内 无 法 容纳 这 些 单词 。 我 们 希望 能 最 小 化 所 有 行 的 ( 除 最 后 一 行 
外 ) 额 外 空格 数 的 立方 之 和 。 设 计 一 个 动态 规划 算法 ， 在 打印 机 上 整齐 打印 一 段 ”个 单词 
的 文本 。 分 析 算 法 的 时 间 和 空间 复杂 性 。 
(编辑 距离 ) 为 了 将 一 个 文本 串 x[1.. mj] 转换 为 目标 串 yL1. .nj]， 我 们 可 以 使 用 多 种 变换 
操作 。 我 们 的 目标 是 ， 给 定 x 和 >y， 求 将 工 转换 为 y 的 一 个 变换 操作 序列 。 我 们 使 用 一 个 
数组 z 保存 中 间 结 果 ， 假 定 它 足 够 大 ， 可 存 下 中 间 结 果 的 所 有 字符 。 初 始 时 ，z 是 空 的 ， 
结束 时 ， 应 有 z[ 门 =y[]，j 二 1，2，…，n。 我 们 维护 两 个 下 标 i 和 jj， 分 别 指 向 z 中 位 
置 和 z 中 位 置 ， 变 换 操作 人 允许 改变 z 的 内 容 和 这 两 个 下 标 。 初 始 时 ，;i 王 ) 王 1。 在 转换 过 程 
中 应 处 理 z 的 所 有 字符 ， 这 意味 着 在 变换 操作 结束 时 ， 应 有 ;一 mm 十 1。 

我 们 可 以 使 用 如 下 6 种 变换 操作 : 

复制 (copy) 一 一 从 工 复制 一 个 字符 到 =， 即 进行 赋值 ckj] rli], SERPS Fe i Mj 
都 增 1。 此 操作 处 理 了 Li]. 

替换 (replace) 一 一 将 中 一 个 字符 替换 为 男 一 个 字符 <，z[ 站 二 c， 并 将 两 个 下 标 i 和 j 
都 增 1。 此 操作 处 理 了 x[ 疏 。 

删除 (delete) 一 一 删除 z 中 一 个 字符 ， 即 将 i 增 1，j 不 变 。 此 操作 处 理 了 z[ 门 。 

插入 (insert) 一 一 将 字符 c 插 入 zx 中，z[jj==c, 将 7 增 1，i 不 变 。 此 操作 未 处 理 z 中 








字符 


旋转 (twiddle， 即 交换 ) 一 一 将 x 中 下 两 个 字符 复制 到 xz 中 ,但 交换 顺序 ，z[j] = 
Zz[i 十 1j 且 zLj 十 1]==x[ 记 ,将 i 和 j 都 增 2。 此 操作 处 理 了 clilM litl]. 

终止 (kil) 一 一 删除 x 中 剩余 字符 ， 令 i 二 m 十 1。 此 操作 处 理 了 xz 中 所 有 尚未 处 理 的 字 
符 。 如 果 执 行 此 操作 ， 则 转换 过 程 结束 。 

下 面 给 出 了 将 源 字符 串 algorithm 转换 为 目标 字符 串 altruistic 的 一 种 变换 操作 序列 ， 
下 划 线 指出 执行 一 个 变换 操作 后 两 个 下 标的 位 置 : 







z 
















初始 字符 串 algorithm 

复制 algorithm A. 

复制 algorithm al_ 

替换 为 t algorithm alt 

删除 algorithm alt 

复制 algorithm altr_ 

HA u algorithm altru_ 
HA i algorithm altrui_ 
HA s algorithm altruis_ 
旋转 algorithm altruisti_ 
插入 c algorithm altruistic_ 









终止 algorithm altruistic_ 





15-6 


15-7 
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注意 ， 还 有 其 他 方法 将 algorithm 转换 为 altruistic。 
每 个 变换 操作 都 有 相应 的 代价 。 具 体 的 代价 依赖 于 特定 的 应 用 ， 但 我 们 假定 每 个 操作 
的 代价 是 一 个 已 知 的 常量 。 我 们 还 假定 复制 和 替换 的 代价 小 于 删除 和 插入 的 组 合 代价 ， 和 否 
则 复制 和 替换 操作 就 没有 意义 了 。 一 个 给 定 的 变换 操作 序列 的 代价 为 其 中 所 有 变换 操作 的 
代价 之 和 。 在 上 例 中 ， 将 algorithm 转换 为 altruistic 的 代价 为 
(3 。cost( 复 制 )) + cost( 替 换 ) 十 cost( 删 除 ) 十 (4。cost( 插 入 )) 十 cost( 旋 转 ) 十 cost( 终 止 ) 
a. 给 定 两 个 字符 串 xz[1..mj] 和 y[1..nj 以 及 变换 操作 的 代价 ，z 到 y 编辑 距离 (edit 
distance) EEKi 工 转换 为 y 的 最 小 代价 的 变换 操作 序列 的 代价 值 。 设 计 动 态 规划 算法 ， 求 
ZX[1. .mj 到 y[1. .nj 的 编辑 距离 并 打印 最 优 变 换 操作 序列 。 分 析 算法 的 时 间 和 空间 复 
杂 度 。 
编辑 距离 问题 是 DNA 序列 对 齐 问 题 的 推广 (参考 其 他 文献 ， 如 Setubal 和 Meidanis 
[310，3.2 节 ])。 已 有 多 种 方法 可 以 通过 对 齐 两 个 DNA 序列 来 衡量 它们 的 相似 度 。 有 
一 种 对 齐 方法 是 将 空格 符 插入 到 两 个 序列 zx 和 >y 中 ， 可 以 插 和 人 到 任何 位 置 (包括 两 端 )， 
使 得 结果 序列 zx 和 y 具有 相同 的 长 度 ， 但 不 会 在 相同 的 位 置 出 现 空格 符 ( 即 不 存在 位 置 
5 使 得 x '[ 门 和 y'[ 门 都 是 空格 符 )。 然 后 为 每 个 位 置 “打分 ”， 位 置 j 的 分 数 为 : 
。 十 1， 如 果 zx [ 门 =y'[ 门 且 不 是 空格 符 。 
。 一 1， 如 果 zx'[ 门 疼 y'[j] 且 都 不 是 空格 符 。 
。 —2, TUIR y [站 是 空格 符 。 
对 齐 方案 的 分 数 为 每 个 位 置 的 分 数 之 和 。 例 如 ， 给 定 序列 = Garccccar 和 y= 
CAATGTGAATC， 一 种 对 齐 方案 为 


G ATCG GCAT 
CAAT GTGAATC 
一 本 十 十 大 十 湾 十 一 十 十 * 


十 表示 该 位 置 分 数 为 十 1， 一 表示 分 数 为 一 1，* 表示 分 数 为 一 2， 因 此 此 方案 的 总 分 数 

为 6。1 一 2。1 一 4。2 一 一 4。 

解释 如 何 将 最 优 对 齐 问题 转换 为 编辑 距离 问题 ， 使 用 的 操作 为 变换 操作 复制 、 替 换 、 

删除 、 插 入 、 旋 转 和 终止 的 子 集 。 

(公司 聚会 计划 ) 一 位 公司 主席 正在 向 Stewart 教授 咨询 公司 聚会 的 计划 。 公 司 的 内 部 结 

构 关 系 是 层次 化 的 ， 即 员工 按 主 管 一 下 属 关系 构成 一 棵 树 ， 根 结 点 为 公司 主席 。 人 事 部 按 

“宴会 交际 能 力 ” 为 每 个 员工 打分 ， 分 值 为 实数 。 为 了 使 所 有 参加 聚会 的 员工 都 感到 愉快 ， 

主席 不 希望 员工 及 其 直接 主管 同时 出 席 。 

公司 主席 向 Stewart 教授 提供 公司 结构 树 ， 采 用 10. 4 节 介绍 的 左 孩子 右 兄 弟 表示 法 描 

述 。 书 中 每 个 结 点 除了 保存 指针 外 ， 还 保存 员工 的 名 字 和 宴会 交际 评分 。 设 计算 法 ， 求 宴 

会 交际 评分 之 和 最 大 的 宾客 名 单 。 分 析 算 法 的 时 间 复 杂 度 。 

( 译 码 算法 ) 我 们 可 以 通过 在 有 向 图 G 二 (V，E) 上 使 用 动态 规划 方法 来 实现 语音 识别 。 

对 每 条 边 (u，v) EE 打上 一 个 声音 标签 o(u，v)， 该 声音 来 自 于 有 限 声音 集 。 这 样 的 标 

签 图 就 成 为 一 个 特定 人 说 限定 语言 的 形式 化 模型 。 图 中 从 特定 顶点 w EV 开始 的 每 条 路 径 

都 对 应 模型 产生 的 一 个 可 能 的 声音 序列 。 对 于 一 条 有 向 路 径 ， 我 们 定义 其 标签 为 路 径 中 边 

的 标签 的 简单 连结 。 

a 设计 高 效 算 法 ， 对 给 定 的 带 边 标签 的 图 C、 特 定 顶 点 w 及 屋 上 的 声音 序列 :一 (am o e 
o), BE GPA w 开始 的 一 条 路 径 ，; 为 该 路 径 的 标签 (如 果 存 在 这 样 的 路 径 )。 否 则 ， 
算法 应 返回 NO-SUCH-PATH 。 分 析 算 法 的 时 间 复 杂 度 (提示 : 你 可 能 发 现 第 22 章 中 的 概 
念 可 以 用 于 此 题 )。 


234 


15-8 


15-9 


15-10 


第 四 部 分 “高 级 设计 和 分 析 技 术 


现在 ,假定 每 条 边 (u，v) EE 都 关联 一 个 非 负 概 率 p (u，v)， 它 表示 从 顶点 开始 ， 

经 过 边 (x，z ， 产 生 对 应 的 声音 的 概率 。 任 何 顶 点 的 出 射 边 的 概率 之 和 均 为 1。 一 条 路 径 

的 概率 定义 为 路 径 上 边 的 概率 之 积 。 对 于 从 w 开始 的 一 条 路 径 ， 我 们 可 以 将 其 概率 看 做 

从 up 开始 进行 “随机 游 走 ”(random walk)， 最 后 恰巧 经 过 这 条 路 径 的 概率 。 所 谓 “ 随 机 游 

走 ”， 是 指 当 位 于 顶点 xx 时， 随机 选择 一 条 出 射 边 前 进 ， 每 条 边 被 选中 的 概率 就 是 它 所 关 

联 的 概率 。 

b. 扩展 (a) 中 的 算法 ， 使 得 返回 的 路 径 是 从 w 开始 且 标 签 为 s 的 路 径 中 概率 最 大 者 。 分 析 
算法 的 时 间 复 杂 人 性 。 

(基于 接 缝 裁剪 (seam carving) 的 图 像 压 缩 ) ”给 定 一 幅 彩 色 图 像 ， 它 由 一 个 mXn 的 像素 数 

组 A[1..m，1..nj] 构 成， 每 个 像素 是 一 个 红 绿 蓝 (RGB) 亮 度 的 三 元 组 。 假 定 我 们 希望 轻 度 

压缩 这 幅 图 像 。 具 体 地 ， 我 们 希望 从 每 一 行 中 删除 一 个 像素 ， 使 得 图 像 变 窗 一 个 像素 。 但 

为 了 避免 影响 视觉 效果 ， 我 们 要 求 相 邻 两 行 中 删除 的 像素 必须 位 于 同一 列 或 相 邻 列 。 也 就 

是 说 ， 删 除 的 像素 构成 从 顶端 行 到 底 端 行 的 一 条 ”" 接 颖 >"(seam) ， 相 邻 像素 均 在 垂直 或 对 角 

线 方向 上 相 邻 。 

a. 证 明 : 可 能 的 接 颖 的 数量 是 m 的 指数 函数 ， 假 定 n>1. 

b. 假定 现在 对 每 个 像素 ALi， 放 我 们 都 已 计算 出 一 个 实 型 的 “破坏 度 "aLi， 旋 ， 表 示 删 除 像 
素 ALi， 门 对 图 像 可 视 效果 的 破坏 程度 。 直 观 地 ， 一 个 像素 的 破坏 度 越 低 ， 它 与 相 邻 像 
素 的 相似 度 越 高 。 再 假定 一 条 接 缝 的 破坏 度 定 义 为 它 包 含 的 像素 的 破坏 度 之 和 。 设 计 
算法 ， 寻 找 破 坏 度 最 低 的 接 缝 。 分 析 算 法 的 时 间 复 杂 度 。 

(FH BAD) ” 某 种 字符 串 处 理 语 言 允许 程序 员 将 一 个 字符 串 拆 分 为 两 段 。 由 于 此 操作 需 

要 复制 字符 串 ， 因 此 要 花费 nn 个 时 间 单 位 来 将 一 个 n 个 字符 的 字符 串 拆 为 两 段 。 假 定 一 个 

程序 员 希 望 将 一 个 字符 串 拆 分 为 多 段 ， 拆 分 的 顺序 会 影响 所 花费 的 总 时 间 。 例 如 ， 假 定 这 

个 程序 员 希 望 将 一 个 20 个 字符 的 字符 串 在 第 2 个 、 第 8 个 以 及 第 10 个 字符 后 进行 拆 分 

(字符 由 左 至 右 ， 从 1 开始 升序 编号 ) 。 如 果 她 按 由 左 至 右 的 顺序 进行 拆 分 ， 则 第 一 次 拆 分 

花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 18 个 时 间 单 位 (在 第 8 个 字符 处 拆 分 3 一 20 间 的 字符 

串 ) ， 而 第 三 次 拆 分 花费 12 个 时 间 单 位 ， 共 花费 50 个 时 间 单 位 。 但 如 果 她 按 由 右 至 左 的 

顺序 进行 拆 分 ， 第 一 次 拆 分 花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 10 个 时 间 单 位 ， 而 第 三 

次 拆 分 花费 8 个 时 间 单 位 ， 共 花费 38 个 时 间 单 位 。 还 可 以 按 其 他 顺序 ， 比 如 ， 她 可 以 首 

先 在 第 8 个 字符 处 进行 拆 分 (时 间 20)， 接 着 在 左边 一 段 第 2 个 字符 处 进行 拆 分 (时 间 8)， 

最 后 在 右边 一 段 第 10 个 字符 处 进行 拆 分 (时 间 12) ， 总 时 间 为 40。 

设计 算法 ， 对 给 定 的 拆 分 位 置 ， 确 定 最 小 代价 的 拆 分 顺序 。 更 形式 化 地 ， 给 定 一 个 

个 字符 的 字符 串 S 和 一 个 保存 m 个 拆 分 点 的 数组 L[1..m]， 计算 拆 分 的 最 小 代价 ， 以 及 

最 优 拆 分 序列 。 

(投资 策略 规划 ) 你 所 掌握 的 算法 知识 帮助 你 从 Acme 计算 机 公司 获得 了 一 份 令 人 兴奋 

的 工作 ， 签 约 奖金 1 万 美元 。 你 决定 利用 这 笔 钱 进 行 投资 ， 目 标 是 10 年 后 获得 最 大 回 

报 。 你 决定 请 Amalgamated 投资 公司 管理 你 的 投资 ， 该 公司 的 投资 回报 规则 如 下 。 该 公 

司 提供 ”种 不 同 的 投资 ， 从 1 一 ?编号 。 在 第 7 年， 第 i 种 投资 的 回报 率 为 r; 。 换 句 话 说 ， 

如 果 你 在 第 j 年 在 第 i 种 投资 投入 d 美元 ， 那 么 在 第 j 年 年 底 ， 你 会 得 到 dr; 美 元。 回报 

率 是 有 保证 的 ， 即 未 来 10 年 每 种 投资 的 回报 率 均 已 知 。 你 每 年 只 能 做 出 一 次 投资 决定 。 

在 每 年 年 底 ， 你 既 可 以 将 钱 继续 投入 到 上 一 年 选择 的 投资 种 类 中 ， 也 可 以 转移 到 其 他 投 

资中 (转移 到 已 有 的 投资 种 类 ， 或 者 新 的 投资 种 类 ) 。 如 果 跨 年 时 你 不 做 投资 转移 ， 需 要 

支付 fi 美元 的 费用 ， 否则 ， 需 要 支付 fo 美元 的 费用 ， 其 中 f. 二 i。 
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a. 如 上 所 述 ， 本 问题 允许 你 每 年 将 钱 投入 到 多 种 投资 中 。 证 明 : 存在 最 优 投资 策略 ， 每 
年 都 将 所 有 钱 投入 到 单一 投资 中 ( 记 住 最 优 投资 策略 只 需 最 大 化 10 年 的 回报 ， 无 需 关 
心 任何 其 他 目标 ， 如 最 小 化 风险 )。 

b. 证 明 : 规划 最 优 投资 策略 问题 具有 最 优 子 结构 性 质 。 

e 设计 最 优 投资 策略 规划 算法 ， 分 析 算 法 时 间 复 杂 度 。 

d. 假定 Amalgamated 投资 公司 在 上 述 规则 上 又 加 入 了 新 的 限制 条 款 ， 在 任何 时 刻 你 都 不 
能 在 任何 单一 投资 种 类 中 投入 15 000 美元 以 上 。 证 明 : 最 大 化 10 年 回报 问题 不 再 具 
有 最 优 子 结构 性 质 。 

(库存 规划 ) Rinky Dink 公司 是 一 家 制造 溜冰 场 冰 面 修整 设备 的 公司 。 这 种 设备 每 个 月 

的 需求 量 都 在 变化 ， 因 此 公司 希望 设计 一 种 策略 来 规划 生产 ,需求 是 给 定 的 ， 即 它 虽然 

是 波动 的 ,但 是 可 预测 的 。 公 司 希 望 设 计 接 下 来 n 个 月 的 生产 计划 。 对 第 i 个 月 ， 公 司 知 


道 需求 d;:， 即 该 月 能 够 销售 出 去 的 设备 的 数量 。 令 D= dd 为 后 n 个 月 的 总 需求 。 公 司 


雇用 的 全 职员 工 ， 可 以 提供 一 个 月 制造 m 台 设备 的 劳动 力 。 如 果 公 司 希 望 一 个 月 内 制造 
多 于 m 台 设 备 ， 可 以 雇用 额外 的 兼职 劳动 力 ， 雇 用 成 本 为 每 制造 一 台 机 器 付出 c 美元 。 
而 且 ， 如 果 在 月 末 有 设备 尚未 售 出 ， 公 司 还 要 付出 库存 成 本 。 保 存 7 台 设 备 的 成 本 可 描 
述 为 一 个 函数 h(j),，j 二 1，2，…，D， 其 中 对 所 有 ISD, hkOZ0, X ISjKD—1, 
AG<AGt+). 

设计 库存 规划 算法 ， 在 满足 所 有 需求 的 前 提 下 最 小 化 成 本 。 算 法 运行 时 间 应 为 n 和 
D 的 多 项 式 函 数 。 

(签约 棒球 自由 球员 ) 假设 你 是 一 支 棒球 大 联盟 球 队 的 总 经 理 。 在 赛季 休 季 期 间 ， 你 需 
要 签 人 一 些 自由 球员 。 球 队 老板 给 你 的 预算 为 X 美元 ， 你 可 以 使 用 少 于 X 美元 来 签 人 球 
员 ， 但 如 果 超 支 ， 球 队 老 板 就 会 解雇 你 。 

你 正在 考虑 在 N 个 不 同位 置 签 人 球员 ， 在 每 个 位 置 上 ， 有 已 个 该 位 置 的 自由 球员 供 
你 选择 8 。 由 于 你 不 希望 任何 位 置 过 于 腾 肿 ， 因 此 每 个 位 置 最 多 签 人 一 名 球员 (如 果 在 某 
个 特定 位 置 上 你 没有 签 人 任何 球员 ， 则 意味 着 计划 继续 使 用 现 有 球员 ) 。 

为 了 确定 一 名 球员 的 价值 ， 你 决定 使 用 一 种 称 为 “VORP”， 或 “球员 替换 价值 ”(value 
over replacement player) 的 统计 评价 指标 (sabermetric)S 。 球 员 的 VORP 值 越 高 ， 其 价值 
越 高 。 但 VORP 值 高 的 球员 的 签约 费用 并 不 一 定 比 VORP 值 低 的 球员 高 ， 因 为 还 有 球员 
价值 之 外 的 因素 影响 签约 费用 。 

对 于 每 个 可 选择 的 自由 球员 ， 你 知道 他 的 三 方面 信息 : 

。 他 打 哪 个 位 置 。 

。 他 的 签约 费用 。 

。 他 的 VORP. 

设计 一 个 球员 选择 算法 ， 使 得 总 签约 费用 不 超过 X 美元 ， 而 球员 的 总 VORP 最 大 。 
你 可 以 假定 每 位 球员 的 签约 费用 是 10 万 美元 的 整数 倍 。 算 法 应 输出 签约 球员 的 总 VORP 
值 、 总 签约 费用 ， 以 及 球员 名 单 。 分 析 算 法 的 时 间 和 空间 复杂 度 。 


虽然 一 支 棒球 队 有 9 个 位 置 ， 但 N 不 一 定 等 于 9， 因为 一 些 总 经 理 可 能 对 场 上 位 置 有 特殊 的 考虑 。 例 如 ， 某 位 
总 经 理 可 能 将 右手 投手 和 左手 投手 当做 不 同 的 “位 置 "， 类 似 地 ， 他 还 可 能 将 开局 投手 、 长 打 后 援 投手 (可 以 打 多 
局 的 后 援 投手 ) 以 及 短 后 援 投手 (通常 最 多 打 一 局 的 后 援 投手 ) 也 都 作为 不 同 的 位 置 。 


© sabermetric 指 将 统计 分 析 方法 应 用 于 棒球 技术 统计 。 它 提供 了 多 种 评价 球员 个 体 的 相对 价值 的 方法 。 
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本 章 注 记 

R. Bellman 从 1955 年 开始 系统 地 研究 动态 规划 方法 。 此 处 以 及 线性 规划 中 的 “规划 ” 
(programming) 一 词 指 的 是 一 种 表格 法 。 虽 然 在 这 之 前 就 已 经 有 利用 动态 规划 思想 的 优化 技术 ， 

但 Bellman[37] 给 这 个 领域 建立 了 坚实 的 数学 基础 。 

Galil 和 Park[125] 根 据 表格 的 大 小 和 每 个 表 项 所 依赖 的 其 他 表 项 的 数量 对 动态 规划 算法 进行 
了 分 类 。 如 果 一 个 动态 规划 算法 的 表格 大 小 为 O(n')， 每 个 表 项 依赖 其 他 O(Cxz ) 个 表 项 ， 则 称 这 
是 一 个 上 D/eD 的 动态 规划 算法 。 例 如 ，15. 2 节 的 矩阵 链 乘法 算法 是 2D/1D 的 ， 而 15.4 节 的 最 
长 公共 子 序列 算法 是 2D/0D 的 。 

Hu 和 ShingL182，183] 给 出 了 和 矩阵 链 乘法 问题 的 一 个 O(nlgn) 时 间 的 算法 。 

最 长 公共 子 序 列 问题 的 OCmn) 时 间 的 算法 看 起 来 像 个 民间 算法 。Knuth[70] 提 出 了 LCS 问题 
是 否 存在 次 平方 时 间 算 法 的 讨论 。Masek 和 Paterson[L244] 给 出 了 肯定 的 回答 ， 他 们 给 出 了 一 个 
Olmn/lgn) 时 间 的 算法 ， 其 中 nm 且 序 列 是 从 一 个 有 限 集中 选取 的 。 对 于 元 素 不 会 在 一 个 输入 
序列 中 重复 出 现 的 特殊 情况 ，SzymanskiL326J] 给 出 了 一 个 O(n 十 m)lg(n 十 m)) 时 间 的 算法 。 很 多 
这 种 结果 都 可 以 扩展 到 字符 串 编辑 距离 问题 (思考 题 15-5) 。 

Gilbert 和 Moore[133] 早 期 的 一 篇 关于 变 长 二 进 制 编码 的 论文 已 经 被 用 来 对 所 有 概率 p; 均 为 
0 的 情况 构造 最 优 二 又 搜索 树 ， 算 法 的 时 间 复 杂 性 为 Ol )。Aho、Hopcroft 和 Ullman[5j 提 出 了 
15.5 节 的 算法 。 练 习 15. 5-4 则 是 Knuth[212] 提 出 的 。Hu 和 Tucker[184] 设 计 了 一 个 算法 ， 可 以 
用 Ol) 的 时 间 和 O(n) 的 空间 求解 所 有 概率 p; 均 为 0 的 情况 。 最 终 ，Knuth 将 此 算法 的 时 间 降 
为 O(nlgn)。 

思考 题 15-8 是 Avidan 和 Shamir[27] 提 出 的 ， 他 们 在 Web 上 发 布 了 一 个 精彩 的 视频 ， 来 演 

示 这 种 图 像 压缩 技术 。 
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贪心 算法 


求解 最 优化 问题 的 算法 通常 需要 经 过 一 系列 的 步 又， 在 每 个 步 又 都 面临 多 种 选择 。 对 于 许 
多 最 优化 问题 ， 使 用 动态 规划 算法 来 求 最 优 解 有 些 杀 鸡 用 牛刀 了 ， 可 以 使 用 更 简单 、 更 高 效 的 算 
法 。 贪 心算 法 (greedy algorithm) 就 是 这 样 的 算法 ， 它 在 每 一 步 都 做 出 当时 看 起 来 最 佳 的 选择 。 也 
就 是 说 ， 它 总 是 做 出 局 部 最 优 的 选择 ， 寄 希望 这 样 的 选择 能 导致 全 局 最 优 解 。 本 章 介 绍 一 些 贪心 
算法 能 找到 最 优 解 的 最 优化 问题 。 在 学 习 本 章 之 前 ， 你 应 该 学 习 第 15 章 动 态 规划 ， 特 别 是 应 认 
真 学 习 15.3 节 。 

贪心 算法 并 不 保证 得 到 最 优 解 ， 但 对 很 多 问题 确实 可 以 求 得 最 优 解 。 我 们 首先 在 16. 1 节 介 
绍 一 个 简单 但 非 平凡 的 问题 一 一 活动 选择 问题 ， 这 是 一 个 可 以 用 贪心 算法 求 得 最 优 解 的 问题 。 
首先 考虑 用 动态 规划 方法 解决 这 个 问题 ， 然 后 证 明 一 直 做 出 贪心 选择 就 可 以 得 到 最 优 解 ， 从 而 
得 到 一 个 贪心 算法 。16. 2 节 会 回顾 贪心 方法 的 基本 要 素 ， 并 给 出 一 个 直接 的 方法 ， 可 用 来 证 明 
贪心 算法 的 正确 性 。16. 3 节 提 出 贪心 技术 的 一 个 重要 应 用 : 设计 数据 压缩 编码 (Huffman 编码 ) 。 
在 16.4 节 中 ， 我们 讨论 一 种 称 为 “ 拟 阵 ”(matroid) 的 组 合 结构 的 理论 基础 ， 贪 心算 法 总 是 能 获得 
这 种 结构 的 最 优 解 。 最 后 ，16. 5 节 将 拟 阵 应 用 于 单位 时 间 任 务 调度 问题 ， 每 个 任务 均 有 截止 时 
间 和 超时 惩罚 。 

贪心 方法 是 一 种 强 有 力 的 算法 设计 方法 ， 可 以 很 好 地 解决 很 多 问题 。 在 后 面 的 章节 中 ， 我 们 
会 提出 很 多 利用 贪心 策略 设计 的 算法 ， 包 括 最 小 生成 树 (minimum-spanning-tree) 算 法 (第 23 章 )、 
单 源 最 短路 径 的 Dijkstra 算 法 (第 24 章 )， 以 及 集合 覆盖 问题 的 Chvátal 贪心 启发 式 算法 (第 35 
章 )。 最 小 生成 树 算 法 提供 了 一 个 经 典 的 贪心 方法 的 例子 。 虽 然 可 以 独立 学 习 本 章 和 第 23 章 ， 但 
你 会 发 现 两 章 结合 学 习 ， 效 果 更 好 。 


16. 1 活动 选择 问题 


我 们 的 第 一 个 例子 是 一 个 调度 竞争 共享 资源 的 多 个 活动 的 问题 ， 目 标 是 选 出 一 个 最 大 的 互 
相 兼 容 的 活动 集合 。 假 定 有 一 个 2 个 活动 (activity) 的 集合 S={a ，as，…，a,}， 这 些 活动 使 用 
同一 个 资源 (例如 一 个 阶梯 教室 )， 而 这 个 资源 在 某 个 时 刻 只 能 供 一 个 活动 使 用 。 每 个 活动 a; 都 
有 一 个 开始 时 间 * 和 一 个 结束 时 间 f;， 其 中 O<s,< foo, WR BGP, FER a, 发 生 在 半 开 时 
间 区 间 [s;， f) 期 间 。 如 果 两 个 活动 a; Ala; 满足 [s;， SOILS; » MERER, 则 称 它们 是 兼容 的 。 
也 就 是 说 , As Sf, Ms Sf. Wa, Ma; 是 兼容 的 。 在 活动 选择 问题 中 ， 我 们 希望 选 出 一 个 最 
大 兼容 活动 集 。 假 定 活 动 已 按 结束 时 间 的 单调 递增 顺序 排序 : 
AShShovShai sh (16. 1) 
〈 稍 后 ， 我 们 会 看 到 这 一 假设 的 好 处 )。 例 如 ， 考 虑 下 面 的 活动 集合 S: 





对 于 这 个 例子 ， 子 集 {a;，as。，au) 由 相互 兼容 的 活动 组 成 。 但 它 不 是 一 个 最 大 集 ， 因 为 子 集 {a， 
Ags Ags ans BRK, 实际 上 ， {a， ds, Ags al } 是 一 个 最 大 兼容 活动 子 集 ， 另 一 个 最 大 子 集 是 


(az， ais Ags an}. 
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下 面 分 几 个 步骤 来 解决 这 个 问题 。 我 们 可 以 通过 动态 规划 方法 将 这 个 问题 分 为 两 个 子 问题 ， 
然后 将 两 个 子 问题 的 最 优 解 整合 成 原 问题 的 一 个 最 优 解 。 在 确定 该 将 哪些 子 问题 用 于 最 优 解 时 ， 
要 考虑 几 种 选择 。 读 者 稍 后 会 发 现 ， 贪 心算 法 只 需 考虑 一 个 选择 ( 即 贪心 的 选择 )， 在 做 贪心 选择 
时 ， 子 问题 之 一 必 是 空 的 ， 因 此 ， 只 留 下 一 个 非 空 子 问题 。 基 于 这 些 观察 ， 我 们 将 找到 一 种 递归 
贪心 算法 来 解决 活动 调度 问题 ， 并 将 递归 算法 转化 为 迭代 算法 ， 以 完成 贪心 方法 的 过 程 。 虽 然 本 
节 介绍 的 步骤 比 典型 的 贪心 算法 的 设计 过 程 更 为 复杂 ， 但 它们 说 明了 贪心 算法 和 动态 规划 之 间 
的 关系 。 

活动 选择 问题 的 最 优 子 结构 

我 们 容易 验证 活动 选择 问题 具有 最 优 子 结构 性 质 。 令 3 表示 在 a; 结束 之 后 开始 ， 且 在 w 开 
始 之 前 结束 的 那些 活动 的 集合 。 假 定 我 们 希望 求 S 的 一 个 最 大 的 相互 兼容 的 活动 子 集 ， 进 一 步 
假定 Ay 就 是 这 样 一 个 子 集 ， 包 含 活动 w。 由 于 最 优 解 包含 活动 w， 我 们 得 到 两 个 子 问题 : 寻找 
Sa 中 的 兼容 活动 (在 a 结束 之 后 开始 且 ax 开始 之 前 结束 的 那些 活动 ) 以 及 寻找 Si 中 的 兼容 活动 
(在 a 结束 之 后 开始 且 在 a; 开始 之 前 结束 的 那些 活动 ) o $ An 一 Ai N Sa Al Ay =A; N Sy ， 这 样 
Aa fa Ay 中 那些 在 ax 开始 之 前 结束 的 活动 ，Aij 包含 A; 中 那些 在 a 结束 之 后 开始 的 活动 。 因 
此 ， 我们 有 A; SAn U {a} UA; » MH. Sa 中 最 大 兼容 任务 子 集 A; 包含 | Ay | = | Aa | aN | Ay | +1 
个 活动 。 

我 们 仍然 用 剪 切 一 粘贴 法 证 明 最 优 解 A; 必然 包含 两 个 子 问 题 S4 和 Su 的 最 优 解 。 和 否则， 如 果 
可 以 找到 Sy 的 一 个 兼容 活动 子 集 As ， 满 足 | As | >| As | ， 则 可 以 将 AL 而 不 是 A 作为 Sy 的 最 优 
AKI — PBA). OPEL Pe HH — TARAS TE HSE, SEAN | Aa | + | AG | +1> | Aa | +1 Ag | +1= 
[As |， 与 人 是 最 优 解 的 假设 矛盾 。 对 子 问题 sx 类 似 可 证 。 

这 样 刻画 活动 选择 问题 的 最 优 子 结构 ， 意 味 着 我 们 可 以 用 动态 规划 方法 求解 活动 选择 问题 。 
WRH cLz， 旋 表示 集合 Si 的 最 优 解 的 大 小 ， 则 可 得 递归 式 

cLi,j] = cLi,kj 二 c[k,j] 十 1 
当然 ， 如 果 不 知道 Si 的 最 优 解 包含 活动 we ， 就 需要 考查 S; 中 所 有 活动 ， 寻 找 哪 个 活动 可 获 
得 最 优 解 ， 于 是 
Per 0 # S; =Ø 
asd) max(clik]telkjJ+1) #5, # as 
于 是 接 下 来 可 以 设计 一 个 带 备 忘 机 制 的 递归 算法 ， 或 者 使 用 自 底 向 上 法 填写 表 项 。 但 我 们 可 能 
忽略 了 活动 选择 问题 的 另 一 个 重要 性 质 ， 而 这 一 性 质 可 以 极 大 地 提高 问题 求解 速度 。 

贪心 选择 

假如 我 们 无 需求 解 所 有 子 问题 就 可 以 选择 出 一 个 活动 加 入 到 最 优 解 ， 将 会 怎样 ? 这 将 使 我 
们 省 去 递归 式 (16. 2) 中 固有 的 考查 所 有 选择 的 过 程 。 实 际 上 ， 对 于 活动 选择 问题 ， 我 们 只 需 考虑 
一 个 选择 : 贪心 选择 。 

对 于 活动 选择 问题 ， 什 么 是 贪心 选择 ?” 直观 上 ， 我 们 应 该 选择 这 样 一 个 活动 ， 选 出 它 后 剩 下 
的 资源 应 能 被 尽量 多 的 其 他 任务 所 用 。 现 在 考虑 可 选 的 活动 ， 其 中 必然 有 一 个 最 先 结束 。 因 此 ， 
直 党 告诉 我 们 ， 应 该 选择 S 中 最 早 结束 的 活动 ， 因 为 它 剩 下 的 资源 可 供 它 之 后 尽量 多 的 活动 使 
用 。( 如 果 S 中 最 早 结束 的 活动 有 多 个 ， 我 们 可 以 选择 其 中 任意 一 个 ) 。 换 名 话说， 由 于 活动 已 按 
结束 时 间 单 调 递增 的 顺序 排序 ， 贪 心 选择 就 是 活动 wm 。 选 择 最 早 结束 的 活动 并 不 是 本 问题 唯一 
的 贪心 选择 方法 ， 练 习 16. 1-3 要 求 设计 其 他 贪心 选择 方法 。 

当做 出 贪心 选择 后 ， 只 剩 下 一 个 子 问题 需要 我 们 求解 : 寻找 在 wm 结束 后 开始 的 活动 。 为 什 
么 不 需要 考虑 在 a, 开始 前 结束 的 活动 呢 ? 因 为 5 二 i AA 是 最 早 结束 的 活动 ， 所 以 不 会 有 活动 
的 结束 时 间 早 于 so A, MAS a 兼容 的 活动 都 必须 在 w 结束 之 后 开始 。 
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而 且 ， 我 们 已 经 证 明 活 动 选择 问题 具有 最 优 子 结构 性 质 。 令 Si 二 {a;€5S: s 宇 所 ) 为 在 a 结 
束 后 开始 的 任务 集合 。 当 我 们 做 出 贪心 选择 ， 选 择 了 a. 后 ， 剩 下 的 S 是 唯一 需要 求解 的 子 问 
题 S 。 最 优 子 结构 性 质 告诉 我 们 ， 如 果 a 在 最 优 解 中 ， 那 么 原 问题 的 最 优 解 由 活动 wm 及 子 问题 
S, 中 所 有 活动 组 成 。 

现在 还 剩 下 一 个 大 问题 : 我 们 的 直觉 是 正确 的 吗 ? 贪心 选择 一 一 最 早 结束 的 活动 一 一 总 是 
最 优 解 的 一 部 分 吗 ? 下 面 的 定理 证 明了 这 一 点 。 

定理 16.1 考虑 任意 非 空 子 问题 Ss， 令 an 2S, 中 结束 时 间 最 早 的 活动 ， 则 an ES, HEF 
最 大 兼容 活动 子 集中 。 

证 明 A, BS, 的 一 个 最 大 兼容 活动 子 集 ， 且 w 是 A 中 结束 时 间 最 早 的 活动 。 若 a 二 
an， 则 已 经 证 明 an ES, 的 某 个 最 大 兼容 活动 子 集中 。 若 ww 天 co， 令 集合 At=A 一 {w)U{an)， 
即将 A, 中 的 a; 替换 为 a,。At 中 的 活动 都 是 不 相交 的 ， 因 为 A 中 的 活动 都 是 不 相交 的 ，w SEA, 
中 结束 时 间 最 早 的 活动 ， 而 f, 硅 f;。 由 于 |Ai | 二 1Ai|， 因 此 得 出 结论 At 也 是 St 的 一 个 最 大 兼 
容 活动 子 集 ， 且 它 包含 ov 。 a 

因此 ， 我 们 看 到 虽然 可 以 用 动态 规划 方法 求解 活动 选择 问题 ,但 并 不 需要 这 样 做 (此 外 ,我 
们 并 未 检查 活动 选择 问题 是 否 具 有 重合 子 问 题 性 质 )。 相 反 ， 我 们 可 以 反复 选择 最 早 结束 的 活动 ， 
保留 与 此 活动 兼容 的 活动 ， 重 复 这 一 过 程 ， 直 至 不 再 有 剩余 活动 。 而 且 ， 因 为 我 们 总 是 选择 最 早 
结束 的 活动 ， 所 以 选择 的 活动 的 结束 时 间 必 然 是 严格 递增 的 。 我 们 只 需 按 结束 时 间 的 单调 递增 
顺序 处 理 所 有 活动 ， 每 个 活动 只 考查 一 次 。 

求解 活动 选择 问题 的 算法 不 必 像 基 于 表格 的 动态 规划 算法 那样 自 底 向 上 进行 计算 。 相 反 ， 
可 以 自 顶 向 下 进行 计算 ， 选择 一 个 活动 放 入 最 优 解 ， 然 后 ， 对 剩余 的 子 问题 (包含 与 已 选择 的 活 
动 兼容 的 活动 ) 进 行 求解 。 贪 心算 法 通常 都 是 这 种 自 顶 向 下 的 设计 : 做 出 一 个 选择 ， 然 后 求解 剩 
下 的 那个 子 问 题 ， 而 不 是 自 底 向 上 地 求解 出 很 多 子 问 题 ， 然 后 再 做 出 选择 。 

递归 贪心 算法 

我 们 已 经 看 到 如 何 绕 过 动态 规划 方法 而 使 用 自 顶 向 下 的 贪心 算法 来 求解 活动 选择 问题 ， 现 
在 我 们 可 以 设计 一 个 直接 的 递归 过 程 来 实现 贪心 算法 。 过 程 RECURSIVE-ACTIVITY- 
SELECTOR 的 输入 为 两 个 数组 s 和 六 ， 表 示 活 动 的 开始 和 结束 时 间 ， 下 标 & 指 出 要 求解 的 子 问 
题 S;:， 以 及 问题 规模 n。 它 返回 S 的 一 个 最 大 兼容 活动 集 。 我 们 假定 输入 的 个 活动 已 经 按 结 
束 时 间 的 单调 递增 顺序 排列 好 (公式 (16. 1))。 如 果 未 排 好 序 ， 我 们 可 以 在 On lgn) 时 间 内 对 它们 
进行 排序 ， 结 束 时 间 相 同 的 活动 可 以 任意 排列 。 为 了 方便 算法 初始 化 ， 我 们 添加 一 个 虚拟 活动 
ao， 其 结束 时 间 /二 0， 这 样子 问题 S 就 是 完整 的 活动 集 S。 求 解 原 问 题 即 可 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s, f, 0, n). 

RECURSIVE-ACTIVITY-SELECTOR(s, f, k, n) 

1 m=k+1 

2 while m<n and s[m]< f[k] // find the first activity in S, to finish 
3 m=m+1 

4 ifm<n 

5 return {a»} URECURSIVE-ACTIVITY-SELECTOR(s, f, m, n) 

6 else return Ø 


Al 16-1 显示 了 算法 的 执行 过 程 。 在 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s, 
O RMANA S 表示 子 问题 而 不 是 活动 集合 。 根 据 上 下 文 ， 可 以 很 清楚 地 判定 S 表示 一 个 活动 集 还 是 以 该 活动 


集 为 输入 的 子 问题 。 
O ”因为 伪 代 码 把 * 和 上 作为 数组 ， 所 以 用 方 括号 而 不 是 下 标 来 指向 它们 。 
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fs k, n) 的 过 程 中 ， 第 2 一 3 FF while 循环 查找 S, 中 最 早 结束 的 活动 。 循环 检查 Aptis Artes ”9 
as ， 直 至 找到 第 一 个 与 a 兼容 的 活动 a, ， 此 活动 满足 5 宇 f:。 如 果 循 环 因为 查找 成 功 而 结束 ， 
第 5 行 返回 {a,) 与 RECURSIVE-ACTIVITY-SELECTOR(s，f，m，n) 返 回 的 S, 的 最 大 子 集 的 
并 集 。 循 环 也 可 能 因为 m>n 而 终止 ， 这 意味 着 我 们 已 经 检查 了 S 中 所 有 活动 ， 未 找到 与 a FH 
容 者 。 在 此 情况 下 ，S; 二 名， 因此 第 6 行 返回 多 。 

k os. US, 
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图 16-1 对 前 文 给 出 的 11 个 活动 执行 RECURSIVE-ACTIVITY-SELECTOR 的 过 程 。 每 次 递归 调用 中 处 
理 的 活动 位 于 水 平 线 之 间 。 虚 拟 活动 a。 于 时 刻 0 结束 ， 因 此 第 一 次 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s，f，0，11) 会 选择 活动 a1 。 在 每 次 递归 调用 中 ， 被 选择 的 活动 用 阴 
影 表示 ， 而 白 底 方 框 表示 正在 处 理 的 活动 。 如 果 一 个 活动 的 开始 时 间 早 于 最 近 选 中 的 活动 的 结 
束 时 间 ( 两 者 间 的 箭头 是 指向 左 侧 的 ) ， 它 将 被 丢弃 。 否 则 (箭头 指向 右 侧 ) ， 将 选择 该 活动 。 最 
后 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s，F，11，11) 返 回 凶 。 选 择 的 活动 的 
最 终结 果 集 为 {fa ， A4s Ags ay} 


假定 活动 已 经 按 结束 时 间 排 好 序 ， 则 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s, f, 
0，7z) 的 运行 时 间 为 9(z) ， 我 们 稍 后 证 明 这 个 结论 。 在 整个 递归 调用 过 程 中 ， 每 个 活动 被 且 只 被 





第 16 章 贪心 算法 + 241 


第 2 行 的 while 循环 检查 一 次 。 特 别 地 ， 活 动 a, Eki 的 最 后 一 次 调用 中 被 检查 。 

迭代 贪心 算法 

我 们 可 以 很 容易 地 将 算法 转换 为 迭代 形式 。 过程 RECURSIVE-ACTIVITY-SELECTOR 几乎 
就 是 “ 尾 递 归 ”( 参 见 思考 题 7-4): 它 以 一 个 对 自身 的 递归 调用 再 接 一 次 并 集 操作 结尾 。 将 一 个 尾 
递归 过 程 改 为 迭代 形式 通常 是 很 直接 的 ， 实 际 上 ， 某 些 特定 语言 的 编译 器 可 以 自动 完成 这 一 工 
作 。 如 前 所 述 ，RECURSIVE-ACTIVITY-SELECTOR 用 来 求解 子 问题 S$;:， 即 由 最 后 完成 的 任务 
组 成 的 子 问题 。 

过 程 GREEDY-ACTIVITY-SELECTOR 是 过 程 RECURSIVE-ACTIVITY-SELECTOR 的 一 
个 迭代 版 本 。 它 也 假定 输入 活动 已 按 结束 时 间 单 调 递增 顺序 排 好 序 。 它 将 选 出 的 活动 存 人 集合 A 
中 ， 并 将 A 返回 调用 者 。 

GREEDY-ACTIVITY-SELECTOR(s, f) 

1 n=s. length 

2 A={a,} 

3 k=l 

4 for m=2 ton 
5 if s[m]> fC] 
6 A=AU {am} 
7 k=m 
8 return A 

过 程 执行 如 下 。 变 量 & 记 录 了 最 近 加 入 集合 A 的 活动 的 下 标 ， 它 对 应 递归 算法 中 的 活动 
ar。 由 于 我 们 按 结束 时 间 的 单调 递增 顺序 处 理 活动 ，fi 总 是 A 中 活动 的 最 大 结束 时 间 。 也 就 
是 说 ， 

fi = max{ f;:a; € A} (16. 3) 

第 2 一 3 行 选择 活动 a， 将 4 的 初 值 设置 为 只 包含 此 活动 ， 并 将 & 的 初 值 设 为 此 活动 的 下 标 。 第 
4 一 7 行 的 for 循环 查找 S 中 最 早 结束 的 活动 。 循 环 依次 处 理 每 个 活动 amo an 若 与 之 前 选 出 的 活 
动 兼容 ， 则 将 其 加 入 A， 这 样 选 出 的 an 必然 是 Se 中 最 早 结束 的 活动 。 为 了 检查 活动 an 是 否 与 
A 中 所 有 活动 都 兼容 ， 过 程 检 查 公 式 (16. 3) 是 否 成 立 ， 即 检查 活动 的 开始 时 间 sn 是否 不 早 于 最 
近 加 入 到 A 中 的 活动 的 结束 时 间 f;。 如 果 活 动 a 是 兼容 的 ， 第 6 一 7 行将 其 加 入 A 中 ， 并 将 
设置 为 m。GREEDY-ACTIVITY-SELECTOR(s， 放 返回 的 集合 A 与 RECURSIVE-ACTIVITY- 
SELECTOR(s，f，0，n) 返 回 的 集合 完全 相同 。 

与 递归 版 本 类 似 , 在 输入 活动 已 按 结 束 时 间 排 序 的 前 提 下 ，GREEDY-ACTIVITY- 
SELECTOR 的 运行 时 间 为 O(n) 。 


练习 


16. 1-1 根据 递归 式 (16. 2) 为 活动 选择 问题 设计 一 个 动态 规划 算法 。 算 法 应 该 按 前 文 定义 计算 最 
大 兼容 活动 集 的 大 小 cLi，j] 并 生成 最 大 集 本 身 。 假 定 输入 的 活动 已 按 公 式 (16. 1) 排 好 
序 。 比 较 你 的 算法 和 GREEDY-ACTIVITY-SELECTOR 的 运行 时 间 。 

16. 1-2 ”假定 我 们 不 再 一 直选 择 最 早 结束 的 活动 ， 而 是 选择 最 晚 开 始 的 活动 ， 前 提 仍 然 是 与 之 前 
选 出 的 所 有 活动 均 兼 容 。 描 述 如 何 利用 这 一 方法 设计 贪心 算法 ， 并 证 明 算 法 会 产生 最 
优 解 。 

16.1-3 ”对 于 活动 选择 问题 ， 并 不 是 所 有 贪心 方法 都 能 得 到 最 大 兼容 活动 子 集 。 请 举例 说 明 ， 在 
剩余 兼容 活动 中 选择 持续 时 间 最 短 者 不 能 得 到 最 大 集 。 类 似 地 ， 说 明 在 剩余 兼容 活动 中 
选择 与 其 他 剩余 活动 重 倒 最 少 者 ， 以 及 选择 最 早 开 始 者 均 不 能 得 到 最 优 解 。 


242 + 第 四 部 分 高 级 设计 和 分 析 技术 


16.14 ”假定 有 一 组 活动 ， 我 们 需要 将 它们 安排 到 一 些 教室 ， 任 意 活动 都 可 以 在 任意 教室 进行 。 
我 们 希望 使 用 最 少 的 教室 完成 所 有 活动 。 设 计 一 个 高 效 的 贪心 算法 求 每 个 活动 应 该 在 哪 
个 教室 进行 。 
(这 个 问题 称 为 区 间 图 着 色 问 题 (interval-graph color problem) 。 我 们 可 以 构造 一 个 区 间 
A. 顶点 表示 给 定 的 活动 ， 边 连接 不 兼容 的 活动 。 要 求 用 最 少 的 颜色 对 顶点 进行 着 色 ， 
使 得 所 有 相 邻 顶点 颜色 均 不 相同 一 一 这 与 使 用 最 少 的 教室 完成 所 有 活动 的 问题 是 对 应 的 。) 
16.1-5 ”考虑 活动 选择 问题 的 一 个 变形 : 每 个 活动 w 除了 开始 和 结束 时 间 外 ， 还 有 一 个 值 v;。 目 
标 不 再 是 求 规模 最 大 的 兼容 活动 子 集 ， 而 是 求 值 之 和 最 大 的 兼容 活动 子 集 。 也 就 是 说 ， 
选择 一 个 兼容 活动 子 集 A， 使 得 2 最 大 化 。 设 计 一 个 多 项 式 时 间 的 算法 求解 此 


问题 。 


16.2 贪心 算法 原理 

贪心 算法 通过 做 出 一 系列 选择 来 求 出 问题 的 最 优 解 。 在 每 个 决策 点 ， 它 做 出 在 当时 看 来 最 
佳 的 选择 。 这 种 启发 式 策略 并 不 保证 总 能 找到 最 优 解 ， 但 对 有 些 问 题 确 实 有 效 ， 如 活动 选择 问 
题 。 本 节 讨 论 贪心 方法 的 一 些 一 般 性 质 。 

16. 1 节 中 设计 贪心 算法 的 过 程 比 通常 的 过 程 繁 琐 一 些 ， 我 们 当时 经 过 了 如 下 几 个 步骤 : 

1. 确定 问题 的 最 优 子 结构 。 

2. 设计 一 个 递归 算法 (对 活动 选择 问题 ， 我 们 给 出 了 递归 式 (16.2)， 但 跳 过 了 基于 此 递归 式 
设计 递归 算法 的 步 又) 。 

3. 证 明 如 果 我 们 做 出 一 个 贪心 选择 ， 则 只 剩 下 一 个 子 问题 。 

4. 证 明 贪心 选择 总 是 安全 的 (步骤 3、4 的 顺序 可 以 调换 ) 。 

5. 设计 一 个 递归 算法 实现 贪心 策略 。 

6. 将 递归 算法 转换 为 迭代 算法 。 

在 这 个 过 程 中 ， 我 们 详细 地 看 到 了 贪心 算法 是 如 何以 动态 规划 方法 为 基础 的 。 例 如 ， 在 活动 
选择 问题 中 ， 我 们 首先 定义 了 子 问题 S$; ， 其 中 和 7 都 是 可 变 的 。 然 后 我 们 发 现 ， 如 果 总 是 做 出 
贪心 选择 ， 则 可 以 将 子 问题 限定 为 S 的 形式 。 

与 这 种 繁琐 的 过 程 相 反 ， 我 们 可 以 通过 贪心 选择 来 改进 最 优 子 结构 ， 使 得 选择 后 只 留 下 一 
个 子 问题 。 在 活动 选择 问题 中 ， 我 们 可 以 一 开始 就 将 第 二 个 下 标 去 掉 ， 将 子 问 题 定 义 为 S; HB 
式 。 然 后 ， 我 们 可 以 证 明 ， 贪 心 选 择 (S 中 最 早 结束 的 活动 a,) 与 剩余 兼容 活动 集 的 最 优 解 组 合 
在 一 起 ， 就 会 得 到 S 的 最 优 解 。 更 一 般 地 ， 我 们 可 以 按 如 下 步骤 设计 贪心 算法 : 

1. 将 最 优化 问题 转化 为 这 样 的 形式 : 对 其 做 出 一 次 选择 后 ， 只 剩 下 一 个 子 问题 需要 求解 。 

2. 证 明 做 出 贪心 选择 后 ， 原 问题 总 是 存在 最 优 解 ， 即 贪心 选择 总 是 安全 的 。 

3. 证 明 做 出 贪心 选择 后 ， 剩 余 的 子 问题 满足 性 质 ， 其 最 优 解 与 贪心 选择 组 合 即 可 得 到 原 问 
题 的 最 优 解 ， 这 样 就 得 到 了 最 优 子 结构 。 

在 本 章 剩余 部 分 中 ， 我 们 将 使 用 这 种 更 直接 的 设计 方法 。 但 我 们 应 该 知道 ， 在 每 个 贪心 算法 
之 下 ， 几 乎 总 有 一 个 更 繁琐 的 动态 规划 算法 。 

我 们 如 何 证 明 一 个 贪心 算法 是 否 能 求解 一 个 最 优化 问题 呢 ? 并 没有 适合 所 有 情况 的 方法 ， 
但 贪心 选择 性 质 和 最 优 子 结构 是 两 个 关键 要 素 。 如 果 我 们 能 够 证 明 问 题 具 有 这 些 性 质 ， 就 向 贪 
心算 法 迈 出 了 重要 一 步 。 

贪心 选择 性 质 

第 一 个 关键 要 素 是 贪心 选择 性 质 (greedy-choice property): 我 们 可 以 通过 做 出 局 部 最 优 ( 贪 
心 ) 选 择 来 构造 全 局 最 优 解 。 换 句 话 说 ， 当 进行 选择 时 ， 我们 直接 做 出 在 当前 问题 中 看 来 最 优 的 
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选择 ， 而 不 必 考 虑 子 问题 的 解 。 

这 也 是 贪心 算法 与 动态 规划 的 不 同 之 处 。 在 动态 规划 方法 中 ， 每 个 步骤 都 要 进行 一 次 选择 ， 
但 选择 通常 依赖 于 子 问 题 的 解 。 因 此 ， 我 们 通常 以 一 种 自 底 向 上 的 方式 求解 动态 规划 问题 ， 先 求 
解 较 小 的 子 问题 ， 然 后 是 较 大 的 子 问 题 (我 们 也 可 以 自 顶 向 下 求解 ， 但 需要 备 忘 机 制 。 当 然 ， 即 
使 算法 是 自 顶 向 下 进行 计算 ， 我 们 仍然 需要 先 求 解 子 问 题 再 进行 选择 ) 。 在 贪心 算法 中 ， 我 们 总 
是 做 出 当时 看 来 最 佳 的 选择 ， 然 后 求解 剩 下 的 唯一 的 子 问 题 。 贪 心算 法 进行 选择 时 可 能 依赖 之 
前 做 出 的 选择 ， 但 不 依赖 任何 将 来 的 选择 或 是 子 问 题 的 解 。 因 此 ， 与 动态 规划 先 求解 子 问题 才能 
进行 第 一 次 选择 不 同 ， 贪 心算 法 在 进行 第 一 次 选择 之 前 不 求解 任何 子 问 题 。 一 个 动态 规划 算法 
是 自 底 向 上 进行 计算 的 ， 而 一 个 贪心 算法 通常 是 自 顶 向 下 的 ， 进 行 一 次 又 一 次 选择 ， 将 给 定 问题 
实例 变 得 更 小 。 

当然 ， 我 们 必须 证 明 每 个 步 又 做 出 贪心 选择 能 生成 全 局 最 优 解 。 如 定理 16. 1 所 示 ， 这 种 证 
明 通 常 首先 考查 某 个 子 问题 的 最 优 解 ， 然 后 用 贪心 选择 替换 某 个 其 他 选择 来 修改 此 解 ， 从 而 得 
到 一 个 相似 但 更 小 的 子 问 题 。 

如 果 进 行 贪心 选择 时 我 们 不 得 不 考虑 众多 选择 ， 通 常 意味 着 可 以 改进 贪心 选择 ， 使 其 更 为 
高 效 。 例 如 ， 在 活动 选择 问题 中 ， 假 定 我 们 已 经 将 活动 按 结束 时 间 单 调 递增 顺序 排 好 序 ， 则 对 每 
个 活动 能 够 只 需 处 理 一 次 。 通 过 对 输入 进行 预 处 理 或 者 使 用 适合 的 数据 结构 (通常 是 优先 队列 )， 
我 们 通常 可 以 使 贪心 选择 更 快速 ， 从 而 得 到 更 高 效 的 算法 。 

最 优 子 结构 

如 果 一 个 问题 的 最 优 解 包含 其 子 问题 的 最 优 解 ， 则 称 此 问题 具有 最 优 子 结构 性 质 。 此 性 质 
是 能 否 应 用 动态 规划 和 贪心 方法 的 关键 要 素 。 我 们 还 是 以 16. 1 节 的 活动 选择 问题 为 例 ， 如 果 一 
个 子 问 题 ;的 最 优 解 包含 活动 a:， 那 么 它 必然 也 包含 子 问题 Sa 和 Sj 的 最 优 解 。 给 定 这 样 的 最 
优 子 结构 ， 我 们 可 以 得 出 结论 ， 如 果 知道 5; 的 最 优 解 应 该 包含 哪个 活动 a:， 就 可 以 组 合 a 以 及 
Su 和 Si 的 最 优 解 中 所 有 活动 来 构造 S; 的 最 优 解 。 基 于 对 最 优 子 结构 的 这 种 观察 结果 ， 我 们 就 可 
以 设计 出 递归 式 (16. 2) 来 描述 最 优 解 值 的 计算 方法 。 

当 应 用 于 贪心 算法 时 ， 我 们 通常 使 用 更 为 直接 的 最 优 子 结构 。 如 前 所 述 ， 我 们 可 以 假定 ， 通 
过 对 原 问 题 应 用 贪心 选择 即 可 得 到 子 问题 。 我 们 真正 要 做 的 全 部 工作 就 是 论证 : 将 子 问 题 的 最 
优 解 与 贪心 选择 组 合 在 一 起 就 能 生成 原 问题 的 最 优 解 。 这 种 方法 隐 含 地 对 子 问题 使 用 了 数学 归 
纳 法 ， 证 明了 在 每 个 步 又 进行 贪心 选择 会 生成 原 问题 的 最 优 解 。 

贪心 对 动态 规划 

由 于 贪心 和 动态 规划 策略 都 利用 了 最 优 子 结构 性 质 ， 你 可 能 会 对 一 个 可 用 贪心 算法 求解 的 
问题 设计 一 个 动态 规划 算法 ， 或 者 相反 ， 对 一 个 实际 上 需要 用 动态 规划 求解 的 问题 使 用 了 贪心 
方法 。 为 了 说 明 两 种 方法 之 间 的 细微 差别 ， 我 们 研究 一 个 经 典 最 优化 问题 的 两 个 变形 。 

0-1 背包 问题 (0-1 knapsack problem) 是 这 样 的 : 一 个 正在 抢劫 商店 的 小 偷 发 现 了 z 个 商品 ， 
第 i 个 商品 价值 vw; 美元 ， 重 w 磅 ，w 和 w; 都 是 整数 。 这 个 小 偷 希 望 拿 走 价值 尽量 高 的 商品 ， 但 
他 的 背包 最 多 能 容纳 W 磅 重 的 商品 ，W 是 一 个 整数 。 他 应 该 拿 哪 些 商品 呢 ? (我 们 称 这 个 问题 
是 0-1 背包 问题 ， 因 为 对 每 个 商品 ， 小 偷 要 么 把 它 完整 拿 走 ， 要 么 把 它 留 下 ; 他 不 能 只 拿 走 一 个 
商品 的 一 部 分 ， 或 者 把 一 个 商品 拿 走 多 次 。) 

在 分 数 背 包 问 题 (fractional knapsack problem) 中 ， 设 定 与 0-1 背包 问题 是 一 样 的， 但 对 每 个 
商品 ， 小 偷 可 以 拿 走 其 一 部 分 ， 而 不 是 只 能 做 出 二 元 (0-1) 选 择 。 你 可 以 将 0-1 背包 问题 中 的 商 
品 想象 为 金 狂 ， 而 分 数 背 包 问 题 中 的 商品 更 像 金砂 ，。 

两 个 背包 问题 都 具有 最 优 子 结构 性 质 。 对 0-1 背包 问题 ， 考 虑 重量 不 超过 W 而 价值 最 高 的 
装 包 方案 。 如 果 我 们 将 商品 j 从 此 方案 中 删除 ， 则 剩余 商品 必须 是 重量 不 超过 W 一 ww 的 价值 最 
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高 的 方案 (小 偷 只 能 从 不 包括 商品 j 的 2 一 1 个 商品 中 选择 拿 走 哪 些 ) 。 

虽然 两 个 问题 相似 ， 但 我 们 用 贪心 策略 可 以 求解 分 数 背 包 问 题 ， 而 不 能 求解 0-1 背包 问题 。 
为 了 求解 分 数 背 包 问 题 ， 我 们 首先 计算 每 个 商品 的 每 磅 价值 w/w 。 遵 循 贪心 策略 ， 小 偷 首先 尽 
量 多 地 拿 走 每 磅 价值 最 高 的 商品 。 如 果 该 商品 已 全 部 拿 走 而 背包 尚未 满 ， 他 继续 尽量 多 地 拿 走 
每 磅 价值 第 二 高 的 商品 ， 依 此 类 推 ， 直 至 达到 重量 上 限 W。 因 此 ， 通 过 将 商品 按 每 磅 价值 排序 ， 
贪心 算法 的 运行 时 间 为 O(nlgn)。 我 们 将 分 数 背 包 问 题 的 贪心 选择 性 质 的 证 明 留 作 练习 16. 2-1。 

为 了 说 明 这 一 贪心 策略 对 0-1 背包 问题 无 效 ， 考 虑 图 16-2(a) 所 示 的 问题 实例 。 此 例 包含 3 
个 商品 和 一 个 能 容纳 50 磅 重量 的 背包 。 商 品 1 E 10 磅 ， 价 值 60 美元 。 商 品 2 E 20 磅 ， 价 值 
100 美元 。 商 品 3 重 30 磅 ， 价 值 120 美元 。 因 此 ， 商 品 1 的 每 磅 价值 为 6 美元 ， 高 于 商品 2 的 每 
磅 价值 (5 美元 ) 和 商品 3 的 每 磅 价值 (4 美元 )。 因 此 ， 上 述 贪心 策略 会 首先 拿 走 商品 1。 但 是 ， 
如 图 16-2(b) 的 实例 分 析 所 示 ， 最 优 解 应 该 拿 走 商品 2 和 商品 3， 而 留 下 商品 1。 拿 走 商品 1 的 两 
种 方案 都 是 次 优 的 。 

但 是 ， 如 图 16-2(c) 所 示 ， 对 于 分 数 背包 问题 ， 上 述 贪心 策略 首先 拿 走 商 品 1， 是 可 以 生成 
最 优 解 的 。 拿 走 商品 1 的 策略 对 0-1 背包 问题 无 效 是 因为 小 偷 无 法 装 满 背 包 ， 空 闲 空间 降低 了 方 
案 的 有 效 每 磅 价值 。 在 0-1 背包 问题 中 ， 当 我 们 考虑 是 否 将 一 个 商品 装 人 背包 时 ， 必 须 比较 包含 
此 商品 的 子 问 题 的 解 与 不 包含 它 的 子 问 题 的 解 ， 然 后 才能 做 出 选择 。 这 会 导致 大 量 的 重合 子 问 
题 一 一 动态 规划 的 标识 ， 练 习 16. 2-2 要 求 你 证 明 可 以 用 动态 规划 方法 求解 0-1 背包 问题 。 


商品 3 
商品 2 
商品 1 


$60 $100 $120 W8 
(a) 


图 16-2 ”一 个 实例 ， 说 明 贪 心 策略 对 0-1 背包 问题 无 效 。(a) 小 偷 必须 选择 所 示 三 个 商品 的 一 个 子 
集 ， 总 重量 不 超过 50 磅 。(b) 最 优 子 集 由 商品 2 和 商品 3 组 成 。 虽 然 商品 1 有 最 大 的 每 磅 
价值 ， 但 包含 它 的 任何 解 都 是 次 优 的 。(c) 对 于 分 数 背包 问题 ， 按 每 磅 价值 降序 拿 走 商 品 
会 生成 一 个 最 优 解 





练习 

16.2-1 WH: 分 数 背 包 问 题 具 有 贪心 选择 性 质 。 

16.2-2 设计 动态 规划 算法 求解 0-1 背包 问题 ， 要 求 运行 时 间 为 O(nW)，n 为 商品 数量 ，W 是 小 
偷 能 放 进 背包 的 最 大 商品 总 重量 。 

16.2-3 假定 在 0-1 背包 问题 中 ， 商 品 的 重量 递增 序 与 价值 递减 序 完 全 一 样 。 设 计 一 个 高 效 算法 
求 此 背包 问题 的 变形 的 最 优 解 ， 证 明 你 的 算法 是 正确 的 。 

16. 2-4 Gekko 教授 一 直 梦想 用 直 排 轮滑 的 方式 横 穿 北 达 科 他 州 。 他 计划 沿 U. S. 2 号 高 速 公 路 横 
穿 ， 这 条 高 速 公路 从 明尼苏达 州 东部 边境 的 大 福克斯 市 到 靠近 蒙 大 拿 州 西部 边境 的 威 利 
斯 顿 市 。 教 授 计 划 带 两 公升 水 ， 在 喝 光 水 之 前 能 滑行 m 英里 (由 于 北 达科他 州 地 势 相对 
平坦 ， 教 授 无 需 担 心 在 上 坡 路 段 喝 水 速度 比 平 地 或 下 坡 路 段 快 )。 教 授 从 大 福克斯 市 出 
发 时 带 整整 两 公升 水 。 他 携带 的 北 达 科 他 州 官方 地 图 显示 了 U.S 2 号 公路 上 所 有 可 以 
补充 水 的 地 点 ， 以 及 这 些 地 点 间 的 距离 。 
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教授 的 目标 是 最 小 化 横 穿 途中 补充 水 的 次 数 。 设 计 一 个 高 效 的 方法 ， 以 帮助 教授 确 
定 应 该 在 哪些 地 点 补充 水 。 证 明 你 的 策略 会 生成 最 优 解 ， 分 析 其 运行 时 间 。 
16.2-5 ”设计 一 个 高 效 算法 ， 对 实数 线 上 给 定 的 一 个 点 集 {x1，Z:，…，z,}， 求 一 个 单位 长 度 闭 
区 间 的 集合 ， 包 含 所 有 给 定 的 点 ， 并 要 求 此 集合 最 小 。 证 明 你 的 算法 是 正确 的 。 
*16.2-6 设计 算法 ， 在 O(n) 时 间 内 求解 分 数 背 包 问题 。 
16. 2-7 ”给 定 两 个 集合 A 和 B， 各 包含 个 正 整数 。 你 可 以 按 需 要 任意 重 排 每 个 集合 。 重 排 后 ， 


邻 a 为 集合 A 的 第 i 个 元 素 ， b 为 集合 B 的 第 i 个 元 素 。 于 是 你 得 到 回报 Ia’ 。 设计 
算法 最 大 化 你 的 回报 。 证 明 你 的 算法 是 正确 的 ， 并 分 析 运行 时 间 。 


16.3 HRB HS 
赫 夫 曼 编码 可 以 很 有 效 地 压缩 数据 : 通常 可 以 节省 20% 一 90%% 的 空间 ， 具 体 压 缩 率 依赖 于 
数据 的 特性 。 我 们 将 待 压 缩 数 据 看 做 字符 序列 。 根 据 每 个 字符 的 出 现 频率 ， 赫 夫 曼 贪心 算法 构造 
出 字符 的 最 优 二 进 制 表示 。 
假定 我 们 希望 压缩 一 个 10 万 个 字符 的 数据 文件 。 图 16-3 给 出 了 文件 中 所 出 现 的 字符 和 它们 
的 出 现 频率 。 也 就 是 说 ， 文 件 中 只 出 现 了 6 个 不 同 字符 ， 其 中 字符 a 出 现 了 45 000 次 。 
b c d e 


a 
BK (Ft) 45 13 12 16 9 5 
定 长 编码 000 001 00 oll 100 101 
变 长 编码 0 101 100 111 1101 1100 


图 16-3 一 个 字符 编码 问题 。 一 个 100 000 个 字符 的 文件 ， 只 包含 a~f 6 个 不 同 字 符 ， 出 现 频率 如 上 
表 所 示 。 如 果 为 每 个 字符 指定 一 个 3 位 的 码 字 ， 我 们 可 以 将 文件 编码 为 300 000 位 的 长 度 。 
但 使 用 上 表 所 示 的 变 长 编码 ， 我 们 可 以 仅 用 224 000 位 编码 文件 


我 们 有 很 多 方法 可 以 表示 这 个 文件 的 信息 。 在 本 节 中 ， 我 们 考虑 一 种 二 进 制 字符 编码 (或 简 
称 编码 ) 的 方法 ， 每 个 字符 用 一 个 唯一 的 二 进 制 串 表 示 ， 称 为 码 字 。 如 果 使 用 定 长 编码 ， 需 要 用 
3 位 来 表示 6 个 字符 : a 二 000，b= 二 001，…，f==101。 这 种 方法 需要 300 000 个 二 进 制 位 来 编码 文 
件 。 是 否 有 更 好 的 编码 方案 呢 ? 

变 长 编码 (variable-length code) 可 以 达到 比 定 长 编码 好 得 多 的 压缩 率 ， 其 思想 是 赋予 高 频 字 
符 短 码 字 ， 赋 予 低频 字符 长 码 字 。 图 16-3 显示 了 本 例 的 一 种 变 长 编码 : 1 位 的 串 0 表示 a，4 位 
的 串 1100 表示 f。 因 此 ， 这 种 编码 表示 此 文件 共 需 

(45。1 十 13。3 十 12。3 十 16。3 十 9。4 十 5。4)。1 000=224 000 位 

与 定 长 编码 相 比 节约 了 25% 的 空间 。 实 际 上 ， 我 们 将 看 到 ， 这 是 此 文件 的 最 优 字 符 编码 。 

前 缀 码 

我 们 这 里 只 考虑 所 谓 前 缀 码 (prefix code)®S ， 即 没有 任何 码 字 是 其 他 码 字 的 前 级。 虽然 我 们 
这 里 不 会 证 明 ， 但 与 任何 字符 编码 相 比 ， 前 缀 码 确实 可 以 保证 达到 最 优 数 据 压 缩 率 ， 因 此 我 们 只 
关注 前 级 码 ， 不 会 丧失 一 般 性 。 

任何 二 进 制 字符 码 的 编码 过 程 都 很 简单 ， 只 要 将 表示 每 个 字符 的 码 字 连接 起 来 即 可 完成 文件 
压缩 。 例 如 ， 使 用 图 16-3 所 示 的 变 长 前 缀 码 ， 我 们 可 以 将 3 个 字符 的 文件 abe 编码 为 0。101 。 
100 二 0101100,“。” 表 示 连 结 操作 。 

前 缀 码 的 作用 是 简化 解码 过 程 。 由 于 没有 码 字 是 其 他 码 字 的 前 级 ， 编 码 文件 的 开始 码 字 是 
无 歧义 的 。 我 们 可 以 简单 地 识别 出 开始 码 字 ， 将 其 转换 回 原 字 符 ， 然 后 对 编码 文件 剩余 部 分 重复 





O 可 能 “无 前 级 码 ” 是 一 个 更 好 的 名 字 ， 但 在 相关 文献 中 ,，“ 前 级 码 ” 是 一 致 认可 的 标准 术语 。 
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这 种 解码 过 程 。 在 我 们 的 例子 中 ， 二 进 制 串 001011101 可 以 唯一 地 解析 为 0。0。101。1101， 解 
码 为 aabe。 

解码 过 程 需 要 前 级 码 的 一 种 方便 的 表示 形式 ， 以 便 我 们 可 以 容易 地 截取 开始 码 字 。 一 种 二 
叉 树 表示 可 以 满足 这 种 需求 ， 其 叶 结 点 为 给 定 的 字符 。 字 符 的 二 进 制 码 字 用 从 根 结 点 到 该 字符 
叶 结 点 的 简单 路 径 表 示 ， 其 中 0 意味 着 “转向 左 孩 子 ”，1 意味 着 “转向 右 孩 子 ”。 图 16-4 给 出 了 两 
个 编码 示例 的 二 叉 树 表示 。 注 意 ， 编 码 树 并 不 是 二 又 搜 索 树 ， 因 为 叶 结 点 并 未 有 序 排列 ， 而 内 部 
结 点 并 不 包含 字符 关键 字 。 





图 16-4 16-3 中 编码 方案 的 二 叉 树 表示 。 每 个 叶 结 点 标记 了 一 个 字符 及 其 出 现 频率 。 每 个 内 
部 结 点 标记 了 其 子 树 中 叶 结 点 的 频率 之 和 。(a) 对 应 定 长 编码 a=000, ++, f=101 的 二 
叉 树 。(b) 对 应 最 优 前 缀 码 a=0, b=101, ++, f=11l00H#— Vw 


文件 的 最 优 编码 方案 总 是 对 应 一 棵 满 (fullD) 二 叉 树 ， 即 每 个 非 叶 结 点 都 有 两 个 孩子 结 点 (参见 
练习 16. 3-2) 。 前 文 给 出 的 定 长 编码 实例 不 是 最 优 的 ， 因 为 它 的 二 叉 树 表示 并 非 满 二 又 树 ， 如 
图 16-4(a) 所 示 : 它 包含 以 10 开头 的 码 字 ， 但 不 包含 以 11 开头 的 码 字 。 现 在 我 们 可 以 只 关注 满 
ZWT, KETAR, €C 为 字母 表 且 所 有 字符 的 出 现 频率 均 为 正 数 ， 则 最 优 前 缀 码 对 应 的 
树 恰 有 | CI 个 叶 结 点 ， 每 个 叶 结 点 对 应 字母 表 中 一 个 字符 ， 且 恰 有 | C| 一 1 个 内 部 结 点 (参见 练习 
B. 5-3). 
给 定 一 棵 对 应 前 级 码 的 树 T， 我 们 可 以 容易 地 计算 出 编码 一 个 文件 需要 多 少 个 二 进 制 位 。 对 
于 字母 表 C 中 的 每 个 字符 c， 令 属性 c freq 表示 c 在 文件 中 出 现 的 频率 ， 令 dr(c) 表 示 < 的 叶 结 
点 在 树 中 的 深度 。 注 意 ，dr(c) 也 是 字符 c 的 码 字 的 长 度 。 则 编码 文件 需要 
B(T) = Dic: freq + dr(c) (16. 4) 


个 二 进 制 位 ， 我 们 将 BOD ELA THRE. 

HERA BH 

REBT TTA LRA RH E AS, A AY tk K BHAT Huffman code), 与 
16.2 节 中 我 们 的 观察 一 致 ， 它 的 正确 性 证 明 也 依赖 于 贪心 选择 性 质 和 最 优 子 结构 。 接 下 来 ， 我 
们 并 不 是 先 证 明 这 些 性 质 成 立 然 后 再 设计 算法 ， 而 是 先 设计 算法 。 这 样 做 可 以 帮助 我 们 明确 算 
法 是 如 何 做 出 贪心 选择 的 。 

在 下 面 给 出 的 伪 代 码 中 ， 我们 假定 C 是 一 个 个 字符 的 集合 ， 而 其 中 每 个 字符 CEC 都 是 一 
个 对 象 ， 其 属性 c freg 给 出 了 字符 的 出 现 频 率 。 算 法 自 底 向 上 地 构造 出 对 应 最 优 编码 的 二 叉 树 
T。 它 从 |C| 个 叶 结 点 开始 ， 执 行 |C| 一 1 个 “合并 ”操作 创建 出 最 终 的 二 叉 树 。 算 法 使 用 一 个 以 
属性 freq 为 关键 字 最 小 优先 队列 Q， 以 识别 两 个 最 低频 率 的 对 象 将 其 合并 。 当 合并 两 个 对 象 时 ， 
得 到 的 新 对 象 的 频率 设置 为 原来 两 个 对 象 的 频率 之 和 。 

HUFFMAN(C) 

1 n=]|C| 
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2 Q=C 

3 fori = 1ton—1 

4 allocate a new node z 

5 z. left = z = EXTRACT-MIN(Q) 

6 z. right = y = EXTRACT-MIN(Q) 

7 z. freq = x. freq + y. freq 

8 INSERT(Q, z) 

9 return EXTRACT-MIN(Q) // return the root of the tree 


对 前 文 给 出 的 例子 ， 赫 夫 曼 算法 的 执行 过 程 如 图 16-5 所 示 。 由 于 字母 表 包含 6 个 字母 ， 初 
始 队列 大 小 为 xz 一 6， 需 要 5 个 合并 步 又 构造 二 叉 树 。 最 终 的 二 叉 树 表示 最 优 前 级 码 。 一 个 字母 
的 码 字 为 根 结 点 到 该 字母 叶 结 点 的 简单 路 径 上 边 标签 的 序列 。 


(ES) U 到 (Bs) 9 (ass) (e:12] n] A E [2:45] 
0 1 
[E:S] [e9] 
(b) 


(a) 
A 
0 1 0 1 





(e) 


16-5 对 图 16-3 中 给 出 的 频率 执行 赫 夫 曼 算 法 的 过 程 。 每 一 部 分 显示 了 优先 队列 的 内 容 ， 已 按 
频率 递增 顺序 排 好 序 。 在 每 个 步骤 ， 频 率 最 低 的 两 棵 树 进行 合并 。 叶 结 点 用 和 矩形 表示 ， 
每 个 叶 结 点 包含 一 个 字符 及 其 频率 。 内 部 结 点 用 圆圈 表示 ， 包 含 其 孩子 结 点 的 频率 之 和 。 
内 部 结 点 指向 左 孩 子 的 边 标记 为 0， 指 向 右 孩 子 的 边 标记 为 1。 一 个 字母 的 码 字 对 应 从 根 
到 其 叶 结 点 的 路 径 上 的 边 的 标签 序列 。(a) 初 始 集合 有 n=6 个 结 点 ， 每 个 结 点 对 应 一 个 
字母 。(b) 一 (e) 为 中 间 步 又 。(f) 为 最 终 的 编码 树 


第 2 行 用 C 中 字符 初始 化 最 小 优先 队列 Q。 第 3 一 8 行 的 for 循环 反复 从 队列 中 提取 两 个 频率 
最 低 的 结 点 工 和 y， 将 它们 合并 为 一 个 新 结 点 z BREN. z 的 频率 为 x 和 >y 的 频率 之 和 (第 7 
行 )。 结 点 < 将 xz 作为 其 左 孩子 ， 将 y 作为 其 右 孩子 (顺序 是 任意 的 ， 交 换 左右 孩子 会 生成 一 个 不 
同 的 编码 ， 但 代价 完全 一 样 ) 。 经 过 一 1 次 合并 后 ,第 9 行 返回 队列 中 剩 下 的 唯一 结 点 一 一 编码 
树 的 根 结 点 。 

如 果 我 们 不 使 用 变量 x 和 y (第 5、6 行 直 接 对 z left 和 z. right 直接 赋值 ， 将 第 7 行 改 为 “| 全 
z. freq=z. left. freqtz. right. Freg)， 算 法 还 是 会 生成 相同 的 结果 ， 但 后 面 在 证 明 算法 正确 性 |432 
时 ， 我 们 需要 用 到 结 点 名 工 和 >。 因此 ， 保 留 x Aly 更 方便 。 
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为 了 分 析 赫 夫 曼 算法 的 运行 时 间 ， 我 们 假定 Q 是 使 用 最 小 二 叉 堆 实 现 的 (参见 第 6 音 )。 对 
一 个 nn 个 字符 的 集合 C， 我 们 在 第 2 行 用 BUILD-MIN-HEAP 过 程 ( 参 见 6. 3 节 ) 将 Q 初 始 化 ， 花 
费时 间 为 O(0xz) 。 第 3 一 8 行 的 for 循环 执行 了 xx 一 1 次 ， 且 每 个 堆 操作 需要 Ollgn) 的 时 间 ， 所 以 循 
环 对 总 时 间 的 贡献 为 O(0zlgz) 。 因 此 ， 处 理 一 个 个 字符 的 集合 ，HUFFMAN 的 总 运行 时 间 为 
O(Cnzlgz) 。 如 果 将 最 小 二 又 堆 换 为 van Emde Boas 树 ( 参 见 第 20 章 ) ， 我 们 可 以 将 运行 时 间 减 少 为 
O(nlglgn)。 

赫 夫 曼 算法 的 正确 性 

为 了 证 明 贪心 算法 HUFFMAN 是 正确 的 ， 我们 证 明确 定 最 优 前 缀 码 的 问题 具有 贪心 选择 和 
最 优 子 结构 性 质 。 下 面 的 引 理 证 明 问 题 具 有 贪心 选择 性 质 。 

引 理 16.2 令 C 为 一 个 字母 表 ， 其 中 每 个 字符 cEC 都 有 一 个 频率 c. freg。 令 工 和 y 是 C 中 
频率 最 低 的 两 个 字符 。 那 么 存在 C 的 一 个 最 优 前 缓 码 ， 工 和 y 的 码 字 长 度 相 同 ， 且 只 有 最 后 一 个 
二 进 制 位 不 同 。 

证 明 ”证明 的 思路 是 令 代 表示 任意 一 个 最 优 前 缀 码 所 对 应 的 编码 树 ， 对 其 进行 修改 ， 得 到 
表示 另外 一 个 最 优 前 绥 码 的 编码 树 ， 使 得 在 新 树 中 ，z 和 yy 是 深度 最 大 的 叶 结 点 ， 且 它们 为 兄弟 
结 点 。 如 果 可 以 构造 这 样 一 棵 树 ， 那 么 x 和 y 的 码 字 将 有 相同 长 度 ， 且 只 有 最 后 一 位 不 同 。 

令 a 和 6 是 T 中 深度 最 大 的 兄弟 叶 结 点 。 不 失 一 般 性 ， 假定 a. freq<b. freq H x. freq 
y. freq. HF x. freg Aly. freq 是 叶 结 点 中 最 低 的 两 个 频率 ， 而 a. freq Ab. freq 是 两 个 任意 频 
K, W, 我们 有 x. freqg<a. freq H y. freq<b. freq. 

在 证 明 的 剩余 部 分 ， 有 可 能 x. freq=a. freq Ky. freq=b. freq Mir. 但 是 ， 如 果 x. freq= 
b. freq, WAT a. freq=b. freq=x. freq=y. freq( 参 见 练 习 16. 3-1)， 此 时 引 理 显然 是 成 立 的 。 因 
此 ， 我 们 假定 x. freqAb. freq， 这 意味 着 Ab. 

如 图 16-6 所 示 ， 我 们 在 工 中 交换 z 和 a 生成 一 棵 新 树 T"， 并 在 荆 中 交换 5b Al y 生成 一 棵 新 
BT, IAE TP r Aly 是 深度 最 深 的 两 个 兄弟 叶 结 点 (注意 ， 如 果 =b yAa, BAT Px 
Ay 不 是 深度 最 深 的 兄弟 叶 结 点 )。 由 公式 (16. 4)， 荆 和 T' 的 代价 差 为 

B(T)—B(T)= De. freq * dr(c) — De. freq + dr (c) 


= x. freq > dy(x) +a. freq + drla) — x. freq * dy: (x) —a. freq + dr' (a) 

= x. freq > dr(x) +a. freq + dr(a) — x. freq + dr(a)—a. freq + dr(z) 

= (a. freq — x. freq) (dy(a) — dr(z)) 

>0 
因为 a. freg 一 zx. freq 和 dr(a) 一 dr(z) 都 是 非 负 的 。 更 具体 地 ，a. freq—x. freq 是 非 负 的 ， 因 为 
工 是 出 现 频 率 最 低 的 叶 结 点 ; dr(a) 一 dr(zx) 是 非 负 的 ， 因 为 a 是 工 中 深度 最 深 的 叶 结 点 。 类 似 
地 ， 交 换 y Alb 也 不 能 增加 代价 ， 所 以 BCT) 一 BC(T”) 也 是 非 负 的 。 因 此 BOSB, 由 于 
是 最 优 的 ,我们 有 B(T) 三 BC(T")， 这 意味 着 B(T )=B(T)。 因 此 ， 人 也 是 最 优 树 ， 且 工 和 y 是 





其 中 深度 最 深 的 兄弟 叶 结 点 ， 引 理 成 立 。 m 
ip fi Te 
O 
Q Eo » one Q [a 
[2] a 起 
图 e 加 国 = 国 


图 16-6 ”对 引 理 16. 2 的 证 明 中 关键 步骤 的 说 明 。 在 最 优 树 工 中 ， 叶 结 点 & 和 0 是 最 深 的 叶 结 
点 中 的 两 个 ， 并 且 是 兄弟 。 叶 结 点 zx 和 y 为 赫 夫 曼 算法 首先 合并 的 两 个 叶 结 点 ; 它 
们 出 现 于 工 中 任意 位 置 上 。 假 设 Ab, OE a 和 zz 交换 得 到 树 T'， 然 后 交换 叶 结 
AOA y 得 到 树 T”"。 因 为 每 次 交换 并 不 增加 代价 ， 所 以 所 得 的 树 T 也 是 最 优 树 
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引 理 16. 2 说 明 ， 不 失 一 般 性 ， 通 过 合并 来 构造 最 优 树 的 过 程 ， 可 以 从 合并 出 现 频率 最 低 的 
两 个 字符 这 样 一 个 贪心 选择 开始 。 为 什么 这 是 一 个 贪心 选择 ? 我 们 可 以 将 一 次 合并 操作 的 代价 
看 做 被 合并 的 两 项 的 频率 之 和 。 练 习 16. 3-4 要 求证 明 编 码 树 构造 的 总 代价 等 于 所 有 合并 操作 的 
代价 之 和 。 在 每 个 步骤 可 选 的 所 有 合并 操作 中 ，HUFFMAN 选择 是 代价 最 小 的 那个 。 
下 面 的 引 理 证 明了 构造 最 优 前 绥 码 的 问题 具有 最 优 子 结构 性 质 。 
引 理 16.3 令 C 为 一 个 给 定 的 字母 表 ， 其 中 每 个 字符 cEC 都 定义 了 一 个 频率 c. freq. Ox 
和 yy 是 C 中 频率 最 低 的 两 个 字符 。 令 C' 为 C 去 挤 字符 T 和 y， 加 入 一 个 新 字符 后 得 到 的 字母 
表 ,， 即 C= 二 C 一 {xz，y)U{z)。 类 似 C， 也 为 C 定义 freq， 不 同 之 处 只 是 z. freq=x. freq 十 
y. freq。 令 芽 为 字母 表 C' 的 任意 一 个 最 优 前 组 码 对 应 的 编码 树 。 于 是 我 们 可 以 将 本 中 叶 结 点 之 
替换 为 一 个 以 T 和 yy 为 孩子 的 内 部 结 点 ， 得 到 树 T， 而 工 表示 字母 表 C 的 一 个 最 优 前 缓 码 。 
证 明 首先 说 明 如 何 用 树 的 代价 B(T) 来 表示 树 工 的 代价 了 (CT) ， 方 法 是 考虑 公式 (16. 4) 
中 每 项 的 代价 。 对 于 每 个 字符 cE C 一 {z，y}， 我 们 有 dr(c) 三 dr (c), WIE c. freq + dr(c) = 
c. freq? dr' (c), HF d(x) =dr(y)=dr (2) +1, RITA 
x. freq + dy(x) + y. freq * dr(y)= (a. freq + y. freq) (dy (2) +1) 
= z. freq e dr' (z) + (a. freq + y. freq) 
于 是 可 以 得 到 结论 
B(T) = B(T')+z. freq +y. freq 
或 者 等 价 地 
B(T) = B(T) — zx. freq — y. freq 
现在 用 反 证 法 来 证 明 引 理 。 假 定 对 应 的 前 缀 码 并 不 是 C 的 最 优 前 缀 码 。 存 在 最 优 编码 树 
TT 满足 BC(TY) 二 BC(T)。 不 失 一 般 性 (由 引 理 16. 2)，TY 包 含 兄 弟 结 点 z My. ST KTP z, 
2 及 它们 的 父 结 点 替换 为 叶 结 点 z 得 到 的 树 ， 其 中 x. freq=x. freq 十 y. freq。 于 是 
B(T”) = B(T") — zx. freq — y. freq < B(T) — x. freq — y. freq = BCT’) 
与 对 应 C' 的 一 个 最 优 前 级 码 的 假设 矛盾 。 因 此 ， 醋 必 然 表 示 字 母 表 C 的 一 个 最 优 前 级 码 。 m 
定理 16.4 过 程 HUFFMAN 会 生成 一 个 最 优 前 组 码 。 
WEAR 由 引 理 16.2 和 引 理 16. 3 即 可 得 。 o 


练习 

16.3-1 请 解释 ， 在 引 理 16. 2 的 证 明 中 ， 为 什么 若 x. freq=b. freq, WH a. freq=b. freq= 
x. freq=y. freq. 

16.3-2 证明: 一 棵 不 满 的 二 又 树 不 可 能 对 应 一 个 最 优 前 缀 码 。 

16.3-3 如 下 所 示 ，8 个 字符 对 应 的 出 现 频率 是 斐 波 那 契 数 列 的 前 8 个 数 ， 此 频率 集合 的 赫 夫 曼 
编码 是 怎样 的 ? 

a: 1 b: 1 c: 2 d: 3 e: 5 f: 8 g: 13 hr 21 
你 能 否 推广 你 的 结论 ， 求 频率 集 为 前 SERA RA ATA 7 

16.3-4 证明: 编码 树 的 总 代价 还 可 以 表示 为 所 有 内 部 结 点 的 两 个 孩子 结 点 的 联合 频率 之 和 。 

16.3-5 证 明 : 如 果 我 们 将 字母 表 中 字符 按 频率 单调 递减 排序 ， 那 么 存在 一 个 最 优 编码 ， 其 码 字 
长 度 是 单调 递增 的 。 

16.3-6 ”假定 我 们 有 字母 表 C 二 {0，1，…，n 一 1} 上 的 一 个 最 优 前 缀 码 ， 我 们 希望 用 最 少 的 二 进 
制 位 传输 此 编码 。 说 明 如 何 仅 用 2n 一 1 十 n[ len ] 位 表示 C 上 的 任意 最 优 前 缀 码 。( 提 示 : 
通过 对 树 的 遍历 ， 用 2n 一 1 位 说 明 编 码 树 的 结构 。) 

16.3-7 推广 赫 夫 曼 算 法 ,使 之 能 生成 三 进 制 的 码 字 ( 即 码 字 由 符号 0、1、2 组 成 )， 并 证 明 你 的 
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算法 能 生成 最 优 三 进 制 码 。 
16.3-8 ”假定 一 个 数据 文件 由 8 位 字符 组 成 ， 其 中 所 有 256 个 字符 出 现 的 频率 大 致 相同 : 最 高 的 频率 
也 低 于 最 低频 率 的 2 倍 。 证 明 : 在 此 情况 下 ， 赫 夫 曼 编码 并 不 比 8 位 固定 长 度 编码 更 高 效 。 
16.3-9 证 明 : 对 于 一 个 由 随机 生成 的 8 位 字符 组 成 的 文件 ， 没 有 任何 压缩 方法 可 以 望 将 其 压 
缩 ， 哪 怕 只 是 压缩 一 位 。( 提 示 : 比较 可 能 的 文件 数量 和 可 能 的 编码 文件 数量 。) 


“16.4 拟 阵 和 贪心 算法 


本 节 概 略 介绍 一 种 与 贪心 算法 相关 的 漂亮 的 理论 。 该 理论 描述 了 很 多 贪心 方法 生成 最 优 解 
的 情形 ， 它 涉及 一 种 称 为 “ 拟 阵 ?的 组 合 结构 。 虽 然 这 种 理论 不 能 涵盖 贪心 方法 适用 的 所 有 情况 
(例如 ， 它 不 能 用 于 16. 1 节 的 活动 选择 问题 或 16. 3 节 的 赫 夫 曼 编码 问题 ) ， 但 它 确实 覆盖 了 很 多 
有 实际 意义 的 情况 。 而 且 ， 这 种 理论 的 扩展 还 覆盖 了 其 他 很 多 应 用 ， 参 见 本 章 末尾 的 注 记 。 

拟 阵 

一 个 拟 阵 (matroid) 就 是 一 个 满足 如 下 条 件 的 序 偶 M=(S, T): 

1.S 是 一 个 有 限 集 。 

2. THE S 的 子 集 的 一 个 非 空 族 ， 这 些 子 集 称 为 S 的 独立 子 集 ， 使 得 如 果 BETA ACB, W 
AET。 如 果 了 满足 此 性 质 ， 则 称 之 为 遗传 的 。 注 意 ， 空 集 好 必然 是 Z 的 成 员 。 

3. 若 AET、BETZ 且 14| 雪 |18|， 那 么 存在 某 个 元 素 ce B 一 A, 使 得 AU {z} ET, WEK M 
满足 交换 性 质 。 

“ 拟 阵 ”一 词 最 早 是 Hassler Whitney 提出 的 。 他 当时 在 研究 和 矩阵 拟 阵 ， 其 中 S 是 一 个 给 定 矩 
阵 的 所 有 行 ， 而 行 之 间 的 独立 性 质 与 通常 意义 上 的 线性 无 关 性 质 是 等 价 的 。 练 习 16. 4-2 要 求证 
明 ， 这 个 结构 定义 了 一 个 拟 阵 。 

另 一 个 拟 阵 的 例子 是 图 拟 阵 (graphic matroid) Me 一 (Sc，Zc)， 它 定义 在 一 个 给 定 的 无 向 图 
G=(V, EZE: 

。 Sc 定义 为 正 ， 即 G 的 边 集 。 

。 如 果 A 是 EE WFR, MACET 当 且 仅 当 A 是 无 圈 的 。 也 就 是 说 ， 一 组 边 A 是 独立 的 当 

有 目 仅 当 子 图 Gs 二 (V，A) 形 成 一 个 森林 。 

图 拟 阵 Me 与 最 小 生成 树 问题 是 紧密 相关 的 ， 第 23 章 会 详细 讨论 。 

定理 16.5 如 果 G 二 (V，E) 是 一 个 无 向 图 ， 则 Mc 王 (Sec，Tc) 是 一 个 拟 阵 。 

证 明 显然 SCH=ER—PARA. MA, To 是 遗传 的 ， 因 为 森林 的 子 集 还 是 森林 。 换 句 话 
说 ， 从 一 个 无 圈 的 边 集 中 删除 边 不 会 产生 图 。 

因此 ， 接 下 来 只 需 证 明 Ms 满足 交换 性 质 。 假 定 Gs 二 (V，A) 和 Gs 二 (V，B) 是 G 的 森林 ， 
A|B|>|Al|. 也 就 是 说 ，A 和 B 是 无 圈 边 集 ， 且 B 包含 更 多 的 边 。 

我 们 有 结论 : f= (Vr ，Er) 恰 好 包含 1V# | 一 | Es | 棵 树 。 为 了 证 明 此 结论 ， 假 定 下 包含 1 棵 
树 ， 其 中 第 i 棵 树 包含 v; 个 顶点 和 e; KW. FRA 


[Er|= Que = Z aD (由 定理 B 2) 


= = dye 一 上 一 |Vr| 一 : 
这 意味 着 二 |Vr| 一 | Er|。 因此 ， 森林 Ga 包含 |V| 一 |A| 棵 树 ， 森 林 Gs 包含 |V| 一 |3| 棵 树 。 
由 于 森林 Gs 中 树 的 数量 比 森 林 Ga 少 ， 它 必然 包含 某 棵 树 TT 其 中 两 个 顶点 在 森林 Ga 中 属 
于 两 棵 不 同 的 树 。 而 且 ， 由 于 全 是 连通 的 ， 它 必然 包含 一 条 边 (u，v)， 使 得 项 点 u 和 w 在 森林 
Ga 中 属于 两 棵 不 同 的 树 。 由 于 边 (u，wv) 连 接 了 森林 Ga 中 两 棵 不 同 的 树 中 的 顶点 ， 可 以 将 边 
Cu, VIARI Ga， 而 不 会 产生 图 。 因 此 ，M6 满足 交换 性 质 。 至 此 ,已 证 明 M: 是 拟 阵 。 m 
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给 定 一 个 拟 阵 M=(S，T) ， 如 果 对 一 个 集合 AEI 和 一 个 元 素 cA, 将 xz 加 入 A 会 保持 独 
立 性 质 ， 则 称 z 是 A 的 一 个 扩展 。 也 就 是 说 ， 如 果 AU{z}EZI,， 则 z 是 A 的 一 个 扩展 。 我 们 以 
图 拟 阵 Ms 为 例 ， 如 果 A 是 一 个 边 独立 集 ， 那 么 边 e 是 A 的 一 个 扩展 当 且 仅 当 e 不 在 A PHH e 
MAA 中 不 会 形成 圈 。 

对 拟 阵 M 中 的 一 个 独立 子 集 A， 如 果 它 不 存在 扩展 ， 则 称 它 是 最 大 的 。 也 就 是 说 ， 如 果 A 
不 包含 于 任何 更 大 的 M 的 独立 子 集中 ， 则 A 是 最 大 的 。 下 面 的 性 质 通常 很 有 用 。 

定理 16.6 拟 阵 中 所 有 最 大 独立 子 集 都 具有 相同 大 小 。 

证 明 ”假定 命题 不 成 立 ， 拟 阵 M 存在 一 个 最 大 独立 子 集 A 和 男 一 个 更 大 的 独立 子 集 B。 那 
么 ， 交 换 性 质 意 味 着 对 于 某 个 z€E B 一 A， 我 们 可 以 将 A 扩展 为 一 个 更 大 的 独立 子 集 AU {xz}), 与 
A 是 最 大 独立 子 集 的 假设 矛盾 国 

作为 此 定理 的 一 个 示例 ， 我 们 考虑 一 个 连通 无 向 图 G WEIHE Ms, Ms 的 每 个 最 大 独立 子 
集 必定 是 一 棵 边 数 为 |V | 一 1， 连 接 了 G 的 所 有 顶点 的 自由 树 。 这 样 一 棵 树 称 为 G 的 生成 树 。 

如 果 一 个 拟 阵 M 二 (S， 工 ) 关 联 一 个 权重 函数 w， 为 每 个 元 素 xE S 赋予 一 个 严格 大 于 0 的 权 
E wla), WEK M 是 加 权 的 。 通 过 求 和 ， 可 将 权重 函数 wS ER S 的 任意 子 集 A: 

w(A) = dw) 


Pin, MRS wle) RAR AWK Ms 中 边 e 的 权重 ， 那么 w(A) 就 表示 边 集 A 中 所 有 边 的 权重 
之 和 。 

加 权 拟 阵 上 的 贪心 算法 

很 多 可 以 用 贪心 算法 得 到 最 优 解 的 问题 都 可 以 形式 化 为 在 一 个 加 权 拟 阵 中 寻找 最 大 权重 独 
立 子 集 的 问题 。 也 就 是 说 ， 给 定 一 个 加 权 拟 阵 M=(S，ZI)， 我 们 希望 寻找 独立 集 ACT EB 
w(A) 最 大 。 我 们 称 这 种 独立 且 具 有 最 大 可 能 权重 的 子 集 为 拟 阵 的 最 优 子 集 。 由 于 任何 元 素 ce S 
的 权重 w(xz) 都 是 正 的 ， 则 最 优 子 集 必然 是 最 大 独立 子 集 一 一 它 总 是 有 助 于 使 A 尽 可 能 大 。 

例如 ， 在 最 小 生成 树 问 题 中 ， 给 定 一 个 连通 无 向 图 G 二 (V，E) 和 一 个 长 度 函 数 w， 使 得 
w(e) 表 示 边 。 的 长 度 ( 正 值 )( 这 里 我 们 用 “长 度 ” 表 示 图 中 边 的 原始 权重 ， 用 “权重 ”表示 关联 的 拟 
阵 的 权重 )。 我 们 希望 找到 一 个 边 的 子 集 ， 能 连接 所 有 顶点 ， 且 具有 最 小 总 长 度 。 为 了 将 此 问题 
描述 为 寻找 拟 阵 最 优 子 集 的 问题 ， 考 虑 加 权 拟 阵 Mc， 其 权重 函数 为 w ， 这 里 w'(e)=w—w 
Ce), HH wm 为 大 于 最 大 边 长 度 的 值 。 在 此 加 权 拟 阵 中 ， 所 有 权重 均 为 正 ， 且 最 优 子 集 即 为 原 图 
中 的 最 小 总 长 度 生成 树 。 更 具体 地 ， 每 个 最 大 独立 子 集 A 都 对 应 一 棵 | V | 一 1 条 边 的 生成 树 ， 
而 且 由 于 对 所 有 最 大 独立 子 集 A， 有 

w'(A)= dye (e) = Dy w — we)) = (|V|— Dw — 2w) = (| V|— Dw — w(A) 


因此 ， 最 大 化 w '((A) 必 然 最 小 化 w(A)。 因 此 ， 任 何 能 求 得 任意 拟 阵 中 最 优 子 集 A 的 算法 ， 均 可 
求解 最 小 生成 树 问 题 。 

第 23 章 将 给 出 最 小 生成 树 的 算法 ,但 现在 我 们 给 出 适用 于 任何 加 权 拟 阵 的 算法 。 算 法 接受 
一 个 加 权 拟 阵 M 一 (S，Z) 及 其 关联 的 正 加 权 函 数 记 作 为 输入 ， 返 回 最 优 子 集 A。 在 我 们 的 伪 代 
码 中 ， 我 们 用 M. SHM. TRIR M 的 组 成 部 分 ， 加 权 函 数 表 示 为 w。 这 个 算法 是 一 个 贪心 算法 ， 
因为 它 按 权 重 单调 递减 的 顺序 考虑 每 个 元 素 ES, WR AU {z} 是 独立 的 ， 就 立即 将 xz 加 入 到 累 
积 集合 A 中 。 

GREEDY(M,w) 

1 A= 

sort M. S into monotonically decreasing order by weight w 


2 
3 for each z€ M. S, taken in monotonically decreasing order by weight w(x) 
4 if AU(z}EM. T 
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5 A=AU {zx} 
6 return A 


第 4 AT RALINA x GA 是 否 保持 独立 集 性 质 ， 若 是 ， 则 在 第 5 行将 工 加 入 A， 和 否则 丢弃 z。 
由 于 空 集 是 独立 的 ， 且 每 步 for 循环 都 保持 A 的 独立 性 ， 因 此 由 归纳 法 可 知 ，A 始终 是 独立 的 。 
因此 ，GREEDY 总 是 返回 一 个 独立 子 集 A。 稍 后 ， 我 们 将 会 看 到 A 是 具有 最 大 可 能 权重 的 子 集 ， 
因而 是 一 个 最 优 子 集 。 

GREEDY 的 运行 时 间 很 容易 分 析 。 令 n 表示 | S | ， 则 排序 阶段 花费 时 间 为 Oozlgz)。 第 4 
行 严格 执行 了 ?次 ， 每 次 处 理 S 的 一 个 元 素 。 第 4 行 每 执行 一 次 需 检查 一 个 集合 AU{z)} 是 否 独 


立 。 如 果 每 次 检查 花费 时 间 为 O(f(n))， 则 算法 运行 时 间 为 O(nlgn 十 nf(n))。 


现在 我 们 证 明 GREEDY 返回 一 个 最 优 子 集 。 

引 理 16. 7( 拟 阵 具有 贪心 选择 性 质 ) 假定 M 二 (S, 工 ) 是 一 个 加 权 拟 阵 ， 加 权 函 数 为 记 ， 且 
S 已 按 权重 单调 递减 顺序 排序 。 令 工 是 S 中 第 一 个 满足 {x} 独立 的 元 素 ( 如 果 存 在 )。 如 果 存 在 这 
样 的 ， 那 么 存在 S 的 一 个 最 优 子 集 A 包含 工 。 

证 明 ”如 果 不 存 在 这 样 的 x， 唯一 的 独立 子 集 是 空 集 ， 引 理 显然 成 立 。 否 则 ， 令 B 为 任意 非 
空 最 优 子 集 。 假 定 zx- B， 因 为 否则 的 话 ， 显 然 B 就 是 我 们 要 找 的 包含 x 的 最 优 子 集 A。 

我 们 有 结论 B 中 元 素 的 权重 都 不 大 于 w(xz)。 原 因 在 于 ， 我 们 观察 到 ye B 意味 着 {y} 是 独立 
的 (因为 BET 且 T 是 遗传 的 ) ， 因 此 我 们 选择 z 的 方式 (第 一 个 形成 独立 集 的 元 素 ) 保 证 了 对 任意 
yEB, 有 w(x) 宇 w(y)。 

于 是 可 以 这 样 构造 集合 A。 以 A 二 {xz} 开始 ， 由 于 cE, RA A 保证 是 独立 的 。 使 用 交换 
性 质 ， 反复 寻找 B 中 一 个 可 以 加 入 A 中 的 新 元 素 ( 同 时 保持 A 的 独立 性 )， 直 至 |A|1= 二 1B|。 此 
时 ，A 和 B 的 差别 仅 在 于 A 包含 z， 而 BB 包含 男 一 个 元 素 y。 也 就 是 说 ，A 二 B 一 {y}U {zx)}, y 为 B 
中 某 个 元 素 ， 且 

w(A) = w(B) — wly) + wlr) > w(B) 

由 于 集合 BERN, AURA A 必然 也 是 最 优 的 ， 且 包含 x。 B 
下 面 证 明 如 果 一 个 元 素 在 初始 时 不 是 最 优 的 选择 ， 那 么 在 随后 也 不 会 被 选 人 最 优 集 合 中 。 
引 理 16.8 令 M=(S, 工 ) 是 一 个 拟 阵 。 如 果 工 是 S 中 一 个 元 素 ， 而 且 是 S 的 某 个 独立 子 集 

A 的 一 个 扩展 ， 则 工 也 是 名 的 一 个 扩展 。 

证 明 由 于 zx 是 A 的 一 个 扩展 ， 可 知 AU {xz} 是 独立 的 。 由 于 I 是 遗传 的 ，{z} 必 然 是 独立 
的 。 因 此 ，z 是 名 的 一 个 扩展 。 a 

推论 16.9 令 M=(S，T) 是 一 个 拟 阵 。 如 果 工 是 S 中 一 个 元 素 ， 且 它 不 是 名 的 一 个 扩展 ， 
那么 它 也 不 是 S 的 任何 独立 子 集 A 的 扩展 。 

证 明 此 推论 为 引 理 16. 8 的 逆 否 命题 。 a 

推论 16.9 表明 ， 任 何 元 素 如 果 首 次 不 能 用 于 构造 独立 集 ， 则 之 后 永远 也 不 可 能 被 用 到 了 。 

因此 ，GREEDY 跳 过 S 中 那些 不 是 多 的 扩展 的 起 始 元 素 ， 不 会 导致 错误 结果 ， 因 为 那些 元 素 永 

远 不 会 被 用 到 。 

引 理 16. 10( 拟 阵 具 有 最 优 子 结构 性 质 ) 令 M 王 (S，T) 是 一 个 加 权 拟 阵 ， 工 是 S 中 第 一 个 被 
GREEDY 算法 选 出 的 元 素 ， 则 接 下 来 寻找 一 个 包含 工 的 最 大 权重 独立 子 集 的 问题 归结 为 寻找 加 
权 拟 阵 M' 一 (S ，T ) 的 一 个 最 大 权重 独立 子 集 的 问题 ， 其 中 

s' = {ye S:{z,y} € T} 
T' = {BC S—({z}:BU {xz} € T} 
M 的 权重 函数 就 是 M 的 权重 函数 ， 但 只 局 限于 S 中 元 素 。( 我 们 称 M 为 M 在 元 素 z 上 的 收缩 


(contraction) 。) 
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证 明 若 A 是 M 的 任意 一 个 包含 zx 的 最 大 权重 独立 子 集 ， 则 A'=A 一 {z} 是 M 的 一 个 独立 
子 集 。 相 反 ， 任 何 M' 的 独立 子 集 A 可 生成 M 的 独立 子 集 A=A'U {xz}。 由 于 对 两 种 情况 均 有 
w(A) 二 w(A') 十 w(x)， 因 此 M 的 包含 z 的 最 大 权重 独立 子 集 必然 生成 M 的 最 大 权重 独立 子 集 ， 
反之 亦 然 。 a 

定理 16. 11( 拟 阵 上 贪心 算法 的 正确 性 ) 4M=(S, DA-+APRME, E RAE w, A 
么 GREEDY(M，w) 返 回 一 个 最 优 子 集 。 

证 明 由 推论 16.9，GREEDY 跳 过 的 任何 不 是 名 的 扩展 的 起 始 元 素 可 永远 丢弃 ， 因 为 这 些 
元 素 永远 不 会 被 用 到 。 一 旦 GREEDY 算法 选 出 第 一 个 元 素 z， 引 理 16. 7 表明 算法 将 + 加 入 A 不 
会 导致 错误 结果 ， 因 为 必然 存在 包含 x 的 最 优 子 集 。 最 终 ， 引 理 16. 10 说 明 剩 下 的 问题 就 是 如 何 
FRM M 的 最 优 子 集 了 ，M 是 M 在 x 上 的 收缩 。 在 GREEDY 将 A 设置 为 {z} 后 ， 我们 可 以 
将 之 后 它 的 所 有 步骤 解释 为 拟 阵 M' 二 (S'，Z') 上 的 操作 ， 因 为 对 所 有 集合 BET'，B 在 M 中 独 
立 当 且 仅 当 BU {x} 在 M 中 独立 。 因 此 ，GREEDY 随后 的 操作 将 会 找到 M 的 一 个 最 大 权重 独立 
子 集 ， 而 其 所 有 操作 的 总 体 效 果 就 是 找到 M 的 一 个 最 大 权重 独立 子 集 。 m 


练习 

16.4-1 WEH: 若 S 是 任意 一 个 有 限 集 ，Zx 是 S 的 所 有 规模 不 超过 & 的 子 集 的 集合 (te 委 | S | )， 
则 (CS，Zx) 是 一 个 拟 阵 。 

*16. 4-2 ”给 定 某 个 域 ( 如 实数 域 ) 上 的 mXn RET, WEH: (S, DEAM, HF SET HA 
的 集合 ， 且 AEZ 当 且 仅 当 A 中 的 列 是 线性 无 关 的 。 

*16.4-3 证 明 : 若 (S，Z) 是 一 个 拟 阵 ， 则 (S，T ) 也 是 一 个 拟 阵 ， 其 中 

T' = {A':S—A' 包含 某 些 最 大 独立 子 集 A € 工 } 

BUCS, IZ') 的 最 大 独立 子 集 恰好 是 (S， 了 I) 的 最 大 独立 子 集 的 补 集 。 

*16.4-4 令 S 是 一 个 有 限 集 ，S,，S;,…，S 是 S 的 一 个 划分 ， 这 些 集合 都 是 非 空 且 不 相交 的 。 


定义 结构 (S，Z) 满 足 条 件 I={A: |ANS,|<1, i=1, 2, =, k}o WH: (S, DÆ— 
个 拟 阵 。 也 就 是 说 ， 与 划分 中 所 有 子 集 都 最 多 有 一 个 共同 元 素 的 集合 A 组 成 的 集合 构成 
了 拟 阵 的 独立 集 。 


16. 4-5 ”对 于 一 个 所 需 最 优化 解 为 最 小 权重 最 大 独立 子 集 的 加 权 拟 阵 问题 ， 如 何 将 其 权重 函数 进 
行 转换 ,使 其 变 为 标准 的 加 权 拟 阵 问题 。 详 细 论 证 你 的 转换 方法 是 正确 的 。 


“16.5 用 拟 阵 求 解 任务 调度 问题 


一 个 可 以 用 拟 阵 来 求解 的 有 趣 问题 是 单 处 理 器 上 的 单位 时 间 任 务 最 优 调度 问题 ， 其 中 每 个 
任务 有 一 个 截止 时 间 以 及 错过 截止 时 间 后 的 惩罚 值 。 问 题 看 起 来 很 复杂 ， 但 我 们 可 以 用 一 个 异 
常 简单 的 方法 求解 它 一 一 将 其 转换 为 一 个 拟 阵 并 用 贪心 算法 求解 。 

单位 时 间 任 务 是 严格 需要 一 个 时 间 单 位 来 完成 的 作业 ， 如 运行 于 计算 机 上 的 一 个 程序 。 给 
定 一 个 单位 时 间 任 务 的 有 限 集合 S， 对 S 的 一 个 调度 是 指 S 的 一 个 排列 ， 它 指明 了 任务 执行 的 顺 
序 。 第 一 个 被 调度 的 任务 开始 于 时 刻 0， 终 止 于 时 刻 1， 第 二 个 任务 开始 于 时 刻 1， 终 止 于 时 刻 
2， 依 此 类 推 。 

单 处 理 器 上 带 截止 时 间 和 惩罚 的 单位 时 间 任 务 调 度 问题 有 如 下 输入 : 

。 nn 个 单位 时 间 任 务 的 集合 S={al ，a ，…，aw)}。 

。 nn 个 整数 截止 时 间 dis dis s dn, GA di 满足 l<d<n, 我们 期 望 任务 a, 在 时 间 d; 

之 前 完成 。 
。 7 个 非 负 权重 或 惩罚 ww ， ws s Was HAES ai 在 时 间 d; 之 前 没有 完成 ， 我 们 就 会 受 
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到 ww 这 么 多 的 惩罚 ， 如 果 任 务 在 截止 时 间 前 完成 ， 则 不 会 受到 惩罚 。 

我 们 希望 找到 S 的 一 个 调度 方案 ， 能 最 小 化 超过 截止 时 间 导 致 的 惩罚 总 和 。 

考虑 一 个 给 定 的 调度 方案 。 如 果 方 案 中 一 个 任务 在 截止 时 间 后 完成 ,我 们 称 它 是 延迟 的 
dat); 否则 ,我 们 称 它 是 提前 的 (early)。 对 于 任意 调度 方案 ,我 们 总 是 可 以 将 其 转换 为 提前 优 
先 形式 (early-first form) ， 即 将 提前 的 任务 都 置 于 延迟 的 任务 之 前 。 原 因 在 于 ， 如 果菜 个 提前 任 
务 a; 位 于 某 个 延迟 任务 a; 之 后 ， 我 们 可 以 交换 它们 的 位 置 ， 显 然 a; 仍然 是 提前 的 ，a; 仍然 是 延 
RK. 

而 且 ， 我 们 总 是 可 以 将 一 个 任意 的 调度 方案 转换 为 规范 形式 (canonical form) 一 一 提前 任务 
都 在 延迟 任务 之 前 ， 且 提前 任务 按 截止 时 间 单 调 递增 的 顺序 排列 。 为 了 进行 这 种 转换 ， 我 们 首先 
将 调度 方案 转换 为 提前 优先 形式 。 然 后 ， 只 要 调度 方案 中 存在 两 个 提前 任务 a 和 a;， 分 别 在 时 
Ak ART 完成 ， 使 得 dj; 二 d;， 我 们 就 交换 w Mla, 的 位 置 。 由 于 交换 前 w 是 提前 的 ， 我 们 有 
k 十 1<d;， 因 此 十 1<d;， 因 而 交换 后 a; 是 提前 的 。 由 于 w 被 移动 到 更 靠 前 的 时 间 ， 因 此 在 交 
换 后 它 保持 提前 。 

这 样 ， 寻 找 最 优 调度 方案 的 问题 就 归结 为 寻找 提前 任务 子 集 A 的 问题 。 确 定 A 之 后 ， 我 们 
可 以 将 A 中 元 素 按 截止 时 间 递 增 的 顺序 排列 ， 然 后 将 延迟 任务 ( 即 S 一 A) 以 任意 顺序 排列 其 后 ， 
就 得 到 了 最 优 调度 方案 的 规范 形式 。 

对 于 一 个 任务 集合 A， 如 果 存 在 一 个 调度 方案 ， 使 A 中 所 有 任务 都 不 延迟 ， 则 称 A 是 独立 
的 。 显 然 ， 一 个 调度 方案 的 提前 任务 集合 构成 一 个 独立 任务 集 。 令 I 表示 所 有 独立 任务 集 的 
集合 。 

下 面 我 们 考虑 如 何 确定 一 个 给 定 集合 A 是 否 独立 的 问题 。 对 村 0，1，2，…，m， 令 N(A) 
表示 A 中 截止 时 间 小 于 等 于 上 的 任务 数 。 注 意 ， 对 任意 集合 A 均 有 No(A)=0。 

引 理 16.12 ”对 任意 任务 集合 A， 下 面 性 质 是 等 价 的 : 

1. 人 A 是 独立 的 。 

2. 对 t 二 0，1，2，…, n, Ą N (A)St. 

3. 如 果 A 中 任务 按 截止 时 间 单 调 递增 的 顺序 调度 ， 那 么 不 会 有 任务 延迟 。 

证 明 为 了 证 明 由 (1) 可 得 (2)， 我 们 证 明 逆 否 命题 : 如 果 对 某 个 z*，N' CA) 二 *， 则 集合 A 的 
任何 调度 方案 都 会 有 任务 延迟 的 情况 发 生 ， 因 为 超过 上 个 任务 必须 在 时 刻 上 前 完成 (而 每 个 任务 
都 花费 一 个 时 间 单 位 ) 。 因 此 ， 由 (1) 可 得 到 (2)。 如 果 (2) 成 立 ， 则 (3) 必 然 也 成 立 : 当 按 截止 时 
间 单 调 递 增 顺 序 调 度 任务 时 ， 不 会 发 生 “ 卡 住 ? 的 现象 ， 因 为 (2) 成 立意 味 着 第 大 的 截止 时 间 至 
少 是 ;。 最 后 ， 由 (3) 显 然 能 推导 出 (1) 。 m 

利用 引 理 16. 12 的 性 质 2， 我 们 可 以 简单 地 计算 出 一 个 给 定 任务 集合 是 否 独立 (参见 练习 
16. 5-2), 

最 小 化 延迟 任务 的 惩罚 之 和 的 问题 与 最 大 化 提前 任务 的 惩罚 之 和 是 等 价 的 。 下 面 的 定理 确 
保 我 们 可 以 使 用 贪心 算法 求 出 总 惩罚 最 大 的 独立 任务 集 A。 

定理 16. 13 如 果 S 是 一 个 给 定 了 截止 时 间 的 单位 时 间 任 务 集合 ，Z 是 所 有 独立 任务 集合 的 
集合 ， 则 对 应 的 系统 (S， 工 ) 是 一 个 拟 阵 。 

证 明 每 个 独立 任务 集合 的 子 集 必然 也 是 独立 的 。 为 了 证 明 交 换 性 质 ， 假 定 B 和 A 是 独立 
任务 集合 ， 且 | B 1 二 |All. 令 k 是 满足 N,(B) 二 N,(A) 的 最 大 的 t( 这 样 t 肯 定 是 存在 的 ， 因 为 
N.(A)=N,(B)=0). HFN,(B=|B| AHNAA=|Al, | Bl/>/Al, KEX k+1< 
ISn ARTA j, VRA R<n RB N,(B)>N;(A). Alt, BIA 包含 更 多 截止 时 间 为 k 十 1 的 任 
务 。 令 a 为 B 一 A 中 截止 时 间 为 十 1 的 任务 , 4 A'=AU{a;}. 

下 面 利用 引 理 16. 12 的 性 质 2 证 明 A' 必 然 是 独立 的 。 因 为 A 是 独立 的 ， 对 Ok, 我们 有 
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N(A)=N (A)<t. AW BRIA, HE R<t<n, RNA NCADS<N,(B)<2. 因此，A' 是 独 
立 的 ， 从 而 得 证 (S，Z) 是 一 个 拟 阵 。 a 

由 定理 16. 11， 我 们 可 以 用 贪心 算法 求 出 一 个 最 大 权重 的 独立 任务 集 A。 然 后 可 以 创建 一 个 
最 优 调度 方案 ， 以 A 中 任务 为 提前 任务 。 这 个 算法 是 求解 单 处 理 器 上 带 截 止 时 间 和 惩罚 的 单位 
时 间 任 务 调度 问题 的 一 种 高 效 算法 。 使 用 GREEDY 的 运行 时 间 为 O(w)， 因 为 算法 共 进 行 了 
On) 独立 性 检查 ， 每 次 花费 O(n) 时 间 ( 参 见 练习 16. 5-2) 。 思 考题 16-4 给 出 了 一 个 更 快 的 实现 。 

图 16-7 给 出 了 单 处 理 器 上 带 截 止 时 间 和 惩罚 任务 
的 单位 时 间 任 务 调度 问题 的 一 个 例子 。 在 此 例 加 eet Se a 
中 ， 贪心 算法 按 顺 序 选择 任务 ais A29 @3 All az, w, 70 60 50 40 30 0 10 
然后 拒绝 a, (因为 N, Ca, Azs A39 Ass as})=5) Wy 

6 ( N, Cars as aas aa, as))=5), 最 后 图 16-7 单 处 理 器 上 带 截止 时 间 和 惩罚 位 
ca ee si 时 间 任务 调度 问题 的 一 个 实例 

《az sas 9Q) 343 97 9345 9A 


总 惩罚 为 ws tw, =50. 


练习 


16. 5-1 对 图 16-7 给 出 的 调度 问题 的 实例 ， 将 每 个 惩罚 值 w 替换 为 80 一 w， 求 解 修改 后 的 
问题 。 

16.5-2 说 明 如 何 利 用 引 理 16. 12 的 性 质 2 在 O(|A|) 时 间 内 确定 一 个 给 定 任务 集合 A 是 独 
立 的 。 


思考 题 


16-1 (REW) 考虑 用 最 少 的 硬币 找 n 美 分 零钱 的 问题 。 假 定 每 种 硬币 的 面额 都 是 整数 。 
a 设计 贪心 算法 求解 找 零 问题 ,假定 有 25 美 分 、10 美 分 、5 美 分 和 1 美 分 4 种 面额 的 硬 
币 。 证 明 你 的 算法 能 找到 最 优 解 。 
b. 假定 硬币 面额 是 c 的 等 ， 即 面额 为 ，c ，…，c，c 和 上 为 整数 ，c 二 1，k 宇 1。 WH: 
贪心 算法 总 能 得 到 最 优 解 。 
c 设计 一 组 硬币 面额 ， 使 得 贪心 算法 不 能 保证 得 到 最 优 解 。 这 组 硬币 面额 中 应 该 包含 1 美 
分 ， 使 得 对 每 个 零钱 值 都 存在 找 零 方案 。 
d. 设计 一 个 OCx) 时 间 的 找 零 算法 ， 适 用 于 任何 & 种 不 同 面额 的 硬币 ， 假 定 总 是 包含 1 美 
分 硬币 。 
16-2 (最 小 平均 完成 时 间 调 度 问 题 ) 假定 给 定 任务 集合 S={a, az, ***, an}, 其 中 任务 a; 在 
启动 后 需要 pi; 个 时 间 单 位 完成 。 你 有 一 台 计 算 机 来 运行 这 些 任务 ， 每 个 时 刻 只 能 运行 一 
个 任务 。 令 c; 表示 任务 a; 的 完成 时 间 ， 即 任务 a; 被 执行 完 的 时 间 。 你 的 目标 是 最 小 化 平 


均 完成 时 间 ， 即 最 小 化 A/D `c 。 例 如 ， 假 定 有 两 个 任务 w Mas p=3, p=5, M 


Ra 首先 运行 ， 然 后 运行 a ， 则 cs 二 5，a 三 8， 平均 完成 时 间 为 (5 十 8)7/2 王 6.5。 如 果 a 

EF a 执行 ， 则 c =3，c 一 8， 平 均 完 成 时 间 为 (3 十 8)/2 王 5. 5。 

a 设计 算法 ， 求 平均 完成 时 间 最 小 的 调度 方案 。 任 务 的 执行 都 是 非 抢 占 的 ， 即 一 旦 a F 
始 运行 ， 它 就 持续 运行 p; 个 时 间 单 位 。 证 明 你 的 算法 能 最 小 化 平均 完成 时 间 ， 并 分 析 
算法 的 运行 时 间 。 

b 现在 假定 任务 并 不 是 在 任意 时 刻 都 可 以 开始 执行 ， 每 个 任务 都 有 一 个 释放 时 间 x;， 在 此 
时 间 之 后 才 可 以 开始 。 此 外 假定 任务 执行 是 可 以 抢占 的 (preemption)， 这 样 任务 可 以 被 
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挂 起 ， 稍 后 再 重新 开始 。 例 如 ， 一 个 任务 a: 的 运行 时 间 为 p; 二 6， 释 放 时 间 为 r=, 
它 可 能 在 时 刻 1 开始 运行 ， 在 时 刻 4 被 抢占 。 然 后 在 时 刻 10 恢复 运行 ， 在 时 刻 11 再 次 
被 抢占 ， 最 后 在 时 刻 13 恢复 运行 ， 在 时 刻 15 运行 完毕 。 任 务 a 共 运 行 了 6 个 时 间 单 
位 ,但 运行 时 间 被 分 割 成 三 部 分 。 在 此 情况 下 ，a; 的 完成 时 间 为 15。 设 计算 法 ， 对 此 
问题 求解 平均 运行 时 间 最 小 的 调度 方案 。 证 明 你 的 算法 确实 能 最 小 化 完成 时 间 ， 分 析 
算法 的 运行 时 间 。 

(无 环 子 图 ) 

a 一 个 无 向 图 G=(V, E)K% 4E R Cincidence matrix) 是 一 个 |V | X | E | 的 和 矩阵 MM， 
车 边 e 关 联 于 顶点 v， 则 M.=1, AWM. 二 0。 论 证 M 的 一 个 列 集合 在 整数 模 2 的 域 
上 线性 无 关 当 且 仅 当 对 应 的 边 集 无 环 。 

b. 假定 我 们 对 一 个 无 向 图 G==(V，E) 的 每 条 边 都 关联 一 个 非 负 权重 w(e) 。 设 计 一 个 高 效 
算法 ， 求 权重 之 和 最 大 的 无 环 边 集 。 

c. 令 G=(V，E) 是 任意 的 有 向 图 ， €E, I) 满足 AEI 当 且 仅 当 A 不 包含 任何 有 向 环 。 
给 出 一 个 有 向 图 G 的 例子 ， 使 得 关联 的 系统 ( 正 ，T) 不 是 一 个 拟 阵 。 指 出 定义 中 哪个 条 
ERRE, DREM. 

d. 无 自 环 的 有 向 图 G=(V, DHAKER E—A |V] X |E] 的 矩阵 M， 若 边 e 从 顶点 
vk, 则 M,, 二 一 1， 若 边 e 指 向 顶点 v， 则 M,.= 二 1， 否 则 M.. =0. 证明: 如 果 M 的 
一 个 列 集合 线性 无 关 ， 那 么 对 应 的 边 集 不 包含 有 向 环 。 

e 练习 16. 4-2 告诉 我 们 任意 矩阵 M 的 线性 无 关 的 列 集合 的 集合 构成 一 个 拟 阵 。 仔 细 解 释 
(和 (e) 的 结果 为 什么 不 矛盾 。 什 么 情况 下 边 集 无 环 与 关联 矩阵 中 对 应 列 集合 线性 无 关 
这 两 个 问题 间 没 有 完美 的 对 应 关系 ? 

(调度 问题 变形 ) ”对 16.5 节 中 带 截止 时 间 和 惩罚 的 单位 时 间 任 务 调度 问题 ， 考 虑 如 下 算 

法 。 初 始 时 令 nn 个 时 间 槽 均 为 空 ， 时 间 槽 i 为 单位 时 间 长 度 ， 结 束 于 时 刻 i。 我 们 按 惩 罚 值 

单调 递减 的 顺序 处 理 所 有 任务 。 当 处 理 任务 a; 时 ， 如 果 存 在 不 晚 于 a; 的 截止 时 间 d; 的 空 

时 间 槽 ， 则 将 w 分 配 到 其 中 最 晚 的 那个 。 如 果 不 存在 这 样 的 时 间 槽 ， 将 w 分 配 到 最 晚 的 

空 时 间 槽 。 

a. 证 明 : 此 算法 总 能 得 到 最 优 解 。 

b. 利用 21. 3 节 提 出 的 快速 不 相交 集合 森林 来 高 效 实现 此 算法 。 假 定 输入 任务 集合 已 经 按 
惩罚 值 单调 递减 的 顺序 排序 。 分 析 实 现 程序 的 运行 时 间 。 

(离线 缓存 ) ”现代 计算 机 使 用 缓存 技术 将 少量 数据 保存 于 快速 内 存 中 。 虽 然 程 序 可 能 访问 

大 量 数据 ， 但 通过 将 主 存 中 少量 数据 保存 在 缓存 (cache) 一 一 容量 小 但 更 快 的 内 存 中 ， 还 

是 可 以 大 幅度 降低 访问 时 间 。 当 一 个 计算 机 程序 运行 时 ， 它 对 内 存 进行 n 次 内 存 访问 (ni， 

nn，*…，7,)， 每 个 请 求 访问 一 个 特定 数据 元 素 。 例 如 ， 一 个 程序 访问 4 个 不 同 元 素 {a,。， 

c，d})， 访 问 请 求 序列 为 (4d，b5，d,， 5b5，d，a，c，d，b，a，c，b)。 今 上 为 缓存 的 规模 。 当 

缓存 已 经 保存 了 上 个 元 素 ， 而 程序 访问 第 (k 十 1) 个 元 素 时 ， 系 统 必须 决定 ， 对 于 此 访问 请 

求 及 之 后 的 请 求 ， 要 将 哪个 元 素 保存 在 缓存 中 。 更 准确 地 ， 对 每 个 请 求 r RFEA 

法 检查 元 素 x; 已 经 在 缓存 中 。 如 果 已 在 ， 就 产生 一 次 缓存 命中 (cache hit); 否则 ， 产 生 一 

次 缓存 未 命中 (cache miss) 。 若 产生 缓存 未 命中 ， 系 统 从 主 存 中 提取 六 ， 同 时 缓存 管理 算 

法 必须 决定 是 否 将 保留 在 缓存 中 。 如 果 算 法 决定 保留 r 且 绥 存 中 已 经 保存 了 & 个 元 素 ， 

则 它 必须 将 某 个 元 素 逐 出 缓存 来 为 7; 腾 出 空间 。 缓 存 管理 算法 逐 出 数据 的 目标 是 在 处 理 整 

个 访问 请 求 序列 的 过 程 中 缓存 未 命中 的 次 数 最 少 。 

通常 ， 缓 存 管理 是 一 个 在 线 问题 。 也 就 是 说 ， 我 们 在 决定 将 哪些 数据 保留 在 缓存 中 
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时 ， 并 不 知道 未 来 的 访问 请 求 是 什么 。 但 是 ， 我 们 这 里 考虑 此 问题 的 离线 版 本 ， 即 预先 知 
道 完整 的 请 求 序列 (包含 ”个 访问 请 求 ) 及 缓存 规模 &， 目 标 仍 是 最 小 化 缓存 未 命中 次 数 。 

我 们 可 以 用 一 种 称 为 将 来 最 远 (furthest-in-future) 的 贪心 策略 求解 离线 缓存 问题 ， 此 
策略 选择 逐 出 缓存 的 数据 的 方法 是 选择 在 请 求 序列 中 下 一 次 访问 距离 最 远 的 数据 。 

a 编写 使 用 将 来 最 远 策略 的 缓存 管理 器 的 伪 代 码 。 输 入 是 请 求 序列 (ri ，r;，…，r,) 和 组 
存 规 模 k， 输 出 为 决策 结果 序列 一 一 处 理 每 个 请 求 时 逐 出 缓存 的 是 哪个 数据 (如 果 需 要 
逐 出 )。 分 析 算 法 的 运行 时 间 。 

b. WH: 离线 缓存 问题 具有 最 优 子 结构 性 质 。 

c 证 明 : 将 来 最 远 策 略 可 以 保证 最 小 缓存 未 命中 次 数 。 


本 章 注 记 

读者 可 以 在 Lawler[224] 及 Papadimitriou 和 Steiglitz[271] 的 书 中 找到 更 多 关于 贪心 算法 和 拟 
阵 的 内 容 。 

虽然 拟 阵 理论 早 在 Whitney[ 355] 1935 年 的 文章 中 就 已 出 现 ， 但 贪心 算法 最 早 用 于 组 合 优化 
问题 的 文献 是 Edmonds[101] 1971 年 的 文章 。 

本 书 中 关于 活动 选择 问题 的 贪心 算法 正确 性 的 证 明基 于 Gavril[131] 的 证 明 ; Lawler 在 文献 
[224] 中 ，Horowitz、Sahni 和 Rajasekaran 在 文献 [181] 中 ，Brassard 和 Bratley 在 文献 [54] 中 都 
研究 过 任务 调度 问题 。 

赫 夫 曼 编码 是 1952 年 发 明 的 [185];， Lelewer 和 Hirschberg 在 文献 [231] 中 综述 了 1987 年 之 
前 的 数据 压缩 算法 。 

Korte 和 LovaszL216 一 219] 最 早 提出 了 广义 拟 阵 (greedoid) 理 论 ， 这 是 拟 阵 理论 的 一 种 扩展 ， 
极 大 地 推广 了 本 章 中 介绍 的 拟 阵 理论 。 
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TEPRIE 5} Hi (amortized analysis) 中 ， 我 们 求 数据 结构 的 一 个 操作 序列 中 所 执行 的 所 有 操作 的 
平均 时 间 ， 来 评价 操作 的 代价 。 这 样 ， 我 们 就 可 以 说 明 一 个 操作 的 平均 代价 是 很 低 的 ， 即 使 序列 
中 某 个 单一 操作 的 代价 很 高 。 摊 还 分 析 不 同 于 平均 情况 分 析 ， 它 并 不 涉及 概率 ， 它 可 以 保证 最 坏 
情况 下 每 个 操作 的 平均 性 能 。 

本 章 前 三 节 介 绍 了 摊 还 分 析 中 最 常用 的 三 种 技术 。17.1 节 介 绍 聚合 分 析 (aggregate 
analysis)， 这 种 方法 用 来 确定 一 个 n 个 操作 的 序列 的 总 代价 的 上 界 T(n)。 因 而 每 个 操作 的 平均 
代价 为 T(n)/n。 我 们 将 平均 代价 作为 每 个 操作 的 摊 还 代价 ， 因 此 所 有 操作 具有 相同 的 挫 还 代价 。 

17. 2 节 介绍 核算 法 (accounting method) ， 用 来 分 析 每 个 操作 的 摊 还 代价 。 当 存在 不 止 一 种 操 
作 时 ， 每 种 操作 的 摊 还 代价 可 能 是 不 同 的 。 核 算法 将 序列 中 某 些 较 早 的 操作 的 “余额 ” 
(Covercharge) 作 为 “预付 信用 ”(prepaid credit) 储存 起 来 ， 与 数据 结构 中 的 特定 对 象 相 关联 。 在 操 
作 序 列 中 随后 的 部 分 ， 储 存 的 信用 即 可 用 来 为 那些 缴费 少 于 实际 代价 的 操作 支付 差额 。 

17. 3 节 讨 论 势 能 法 (potential method) ， 与 核算 法 类 似 ， 势 能 法 也 是 分 析 每 个 操作 的 摊 还 代价 ， 而 
且 也 是 通过 较 早 操作 的 余额 来 补偿 稍 后 操作 的 差额 。 势 能 法 将 信用 作为 数据 结构 的 “势能 ”储存 起 来 ， 
与 核算 法 不 同 ， 它 将 势能 作为 一 个 整体 储存 ， 而 不 是 将 信用 与 数据 结构 中 单个 对 象 关 联 分 开 储 存 。 

我 们 将 使 用 两 个 例子 来 介绍 这 三 种 方法 。 一 个 例子 是 带 有 额外 MULTIPOP 操作 的 栈 ， 该 操 
作 一 次 性 从 栈 中 弹出 多 个 对 象 。 另 一 个 例子 是 二 进 制 计 数 器 ， 它 从 0 开始 计数 ， 通 过 
INCREMENT 操作 实现 计数 。 

当 学 习 本 章 时 ， 要 记 住 在 摊 还 分 析 中 赋予 对 象 的 费用 仅仅 是 用 来 分 析 而 已 ， 不 需要 也 不 应 
该 出 现在 程序 中 。 例 如 ， 在 利用 核算 法 进行 分 析 时 ， 如 果 我 们 将 一 定 的 信用 赋予 对 象 zx， 那 么 并 
不 需要 在 程序 中 将 相应 的 值 赋予 对 象 的 某 个 属性 ， 如 x. credit. 

通过 做 摊 还 分 析 ， 通 常 可 以 获得 对 某 种 特定 数据 结构 的 认识 ， 这 种 认识 有 助 于 优化 设计 。 例 
如 ,在 17.4 节 中 ， 我 们 将 用 势能 法 分 析 一 个 动态 扩充 和 收缩 的 表 。 


17. 1 聚合 分 析 


利用 聚合 分 析 ， 我 们 证 明 对 所 有 n， 一 个 nn 个 操作 的 序列 最 坏 情 况 下 花费 的 总 时 间 为 T(n)。 
因此 ,在 最 坏 情 况 下 ， 每 个 操作 的 平均 代价 ， 或 摊 还 代价 为 T(n)/n。 注 意 ， 此 挫 还 代价 是 适用 
于 每 个 操作 的 ， 即 使 序列 中 有 多 种 类 型 的 操作 也 是 如 此 。 本 章 中 ， 我 们 将 要 学 习 的 另外 两 种 方 
法 一 一 核算 法 和 势能 法 ， 对 不 同类 型 的 操作 可 能 赋予 不 同 的 摊 还 代价 。 

栈 操作 

第 一 个 聚合 分 析 的 例子 是 分 析 扩 充 了 新 操作 的 栈 。10. 1 节 提 出 了 两 种 基本 的 栈 操作 ， 时 间 
复杂 性 均 为 OA): 

PUSH(S, x): HIJR r EARS P. 

POP(S): 将 栈 5 的 栈 顶 对 象 弹 出 ， 并 返回 该 对 象 。 对 空 栈 调用 POP 会 产生 一 个 错误 。 

由 于 两 个 操作 都 是 OCD TTA, 我们 假定 其 代价 均 为 1。 因此 一 个 n 个 PUSH 和 POP 操作 
的 序列 的 总 代价 为 x， 而 nn 个 操作 的 实际 运行 时 间 为 O). 

我 们 现在 增加 一 个 新 的 栈 操作 MULTIPOP(S，k)， 它 删除 栈 S 栈 顶 的 & 个 对 象 ， 如 果 栈 中 
对 象 数 少 于 k， 则 将 整个 栈 的 内 容 都 弹出 。 当 然 ， 我 们 假定 是 正 整数 ， 否 则 MULTIPOP 会 保 
持 栈 不 变 。 在 下 面 的 伪 代 码 中 ，STACK-EMPTY 在 当前 栈 中 没有 任何 对 象 时 返回 TRUE， 否 则 
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返回 FALSE。 

MULTIPOP(S, &) 

1 while not STACK-EMPTY(S) and k>0 

2 POPS) 

3 k=k-1 

图 17-1 给 出 了 MULTIPOP 的 一 个 例子 。 

在 一 个 包含 个 对 象 的 栈 上 执行 MULTIPOP(S， 忆 操作 的 运行 时 间 应 该 是 怎样 的 呢 ? 真正 的 运 
行 时 间 是 与 实际 执行 的 POP 操作 的 次 数 呈 线 
性 关系 的 ， 因 此 ， 我 们 可 以 用 PUSH 和 POP 
操作 的 抽象 代价 1 来 分 析 描 述 MULTIPOP 的 
代价 。while 循环 执行 的 次 数 等 于 从 栈 中 弹出 oon pa 
的 对 象 数 ， 等 于 min(s，k)。 每 个 循环 步调 用 tb) 
一 次 POP( 第 2 47). Alt, MULTIPOP 的 总 


ws on 图 17-1 对 栈 S 进行 MULTIPOP 操作 ， 栈 的 初始 
代价 为 min(s，A) ， 而 真正 的 运行 时 间 为 此 代 格局 如 Ca) 所 示 。 通 过 MULTIPOP(S, 4) 


价 的 线性 函数 。 弹出 栈 顶 4 个 对 象 ， 结果 如 (b) 所 示 。 因 
我 们 来 分 析 一 下 一 个 由 nn 个 PUSH、POP 为 栈 中 剩 下 的 对 象 不 足 7 个 ， 下 一 个 操作 
和 MULTIPOP 组 成 的 操作 序列 在 一 个 空 栈 上 MULTIPOP(S，7) 将 栈 清空 ， 如 (c) 所 示 


的 执行 情况 。 序 列 中 一 个 MULTIPOP 操作 的 最 坏 情况 代价 为 O(n)， 因 为 栈 的 大 小 最 大 为 x。 因 
此 ,任意 一 个 栈 操作 的 最 坏 情况 时 间 为 O(n)， 从 而 一 个 个 操作 的 序列 的 最 坏 情 况 代价 为 
O(z)， 因 为 序列 可 能 包含 O(n) 个 MULTIPOP 操作 ， 每 个 的 执行 代价 为 O(z) 。 虽 然 这 个 分 析 是 
正确 的 ， 但 我 们 通过 单独 分 析 每 个 操作 的 最 坏 情况 代价 得 到 的 操作 序列 的 最 坏 情况 时 间 OO), 
并 不 是 一 个 确 界 。 

通过 使 用 聚合 分 析 ， 我 们 考虑 整个 序列 的 ”个 操作 ， 可 以 得 到 更 好 的 上 界 。 实 际 上 ， 虽 然 一 
个 单独 的 MULTIPOP 操作 可 能 代价 很 高 , 但 在 一 个 空 栈 上 执行 n 个 PUSH, POP 和 
MULTIPOP 的 操作 序列 ， 代 价 至 多 是 O(n) 。 这 是 为 什么 呢 ? 当 将 一 个 对 象 压 人 栈 后 ， 我 们 至 多 
将 其 弹出 一 次 。 因 此 ， 对 一 个 非 空 的 栈 ， 可 以 执行 的 POP 操作 的 次 数 ( 包 括 了 MULTIPOP 中 调 
用 POP 的 次 数 ) 最 多 与 PUSH 操作 的 次 数 相当 ， 即 最 多 nn 次 。 因 此， 对 任意 的 n 值 ， 任意 一 个 由 
n 个 PUSH、POP 和 MULTIPOP 组 成 的 操作 序列 ， 最 多 花费 O(n) 时 间 。 一 个 操作 的 平均 时 间 为 
O(n)/n 二 O(1)。 在 聚合 分 析 中 ， 我 们 将 每 个 操作 的 摊 还 代价 设 定 为 平均 代价 。 因 此 ， 在 此 例 中 ， 
所 有 三 种 栈 操作 的 摊 还 代价 都 是 O). 

再 次 强调 ， 虽 然 我 们 已 经 证 明 一 个 栈 操作 的 平均 代价 ， 也 就 是 平均 运行 时 间 为 O(1)， 但 并 
未 使 用 概率 分 析 。 我 们 实际 上 得 出 的 是 一 个 ?个 操作 的 序列 的 最 坏 情 况 运 行 时 间 O(z) ARA n 
得 到 了 每 个 操作 的 平均 代价 ， 或 者 说 摊 还 代价 。 

二 进 制 计 数 器 递增 

作为 聚合 分 析 的 另 一 个 例子 ， 我 们 来 看 一 个 & 位 二 进 制 计数 器 递增 的 问题 ， 计 数 器 的 初 值 为 
0。 我 们 用 一 个 位 数组 ALO. .一 1j 作 为 计数 器 ， 其 中 A. length 二 &。 当 计数 器 中 保存 的 二 进 制 值 


为 = 时，z 的 最 低位 保存 在 A[0] 中 ， 而 最 高 位 保存 在 A[k 一 1] 中 ,因此 二 STAC] +2! 。 初 始 
时 z 王 0， 因 此 对 所 有 i=0, 1, =, k—1, ALZ]=0. HTH 1( 模 22) 加 到 计数 器 的 值 上 ， 我 们 使 
用 如 下 过 程 ; 


INCREMENT(A) 
1 i=0 
2 while i < A. length and A[i]==1 
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3 A[iJ=0 

4 i=i+1 

5 fi< A. length 

6 A[i]=1 

图 17-2 显示 了 将 一 个 二 进 制 计数 器 递增 16 次 的 情况 ， 初 始 值 为 0， 最 终 变 为 16。 当 每 次 开 
始 执行 第 2 一 4 行 的 while 循环 时 ， 我 们 希望 将 1 加 在 第 i 位 上 。 如 果 A[ 妇 =1， 那 么 加 1 操作 会 将 
第 ;位 翻转 为 0， 并 产生 一 人 在 下 一 步 循环 迭代 时 将 1 加 到 第 i 1 位 上 。 和 否则 ， 循 环 结 
R, EHEH ;<&， 我 们 知道 A[ 可 =0， 因 此 第 6 行将 1 加 到 第 i 位 上 一 一 将 第 i 位 翻转 为 1。 每 
次 INCREMENT 操作 的 代价 与 翻转 的 二 进 制 位 的 数目 呈 线 性 关系 。 

与 上 一 个 关于 栈 的 例子 类 似 ， 对 此 算法 的 运行 时 间 进 行 粗略 的 分 析 会 得 到 一 个 正确 但 不 紧 
的 界 。 最 坏 情况 下 INCREMENT 执行 一 次 花费 BC&) 时 间 ， 最 坏 情 况 当 数 组 A 所 有 位 都 为 1 时 发 
生 。 因 此 ， 对 初 值 为 0 的 计数 器 执行 2 个 INCREMENT 操作 最 坏 情 况 下 花费 OC(nk) 时 间 。 


计数 器 值 A) 466] ALSI A AB] 42] AL) 40] 总 代价 
0 
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图 17-2 一 个 8 位 的 二 进 制 计 数 器 ， 经 过 16 次 的 INCREMENT 操作 ， 其 值 从 0 增长 到 16。 发 生 翻 转 
而 取得 下 一 个 值 的 位 加 了 阴影 。 右 边 给 出 了 位 翻转 所 需 的 运行 代价 。 注 意 总 代价 始终 不 超过 
INCREMENT 操作 总 次 数 的 2 倍 


对 于 ”个 INCREMENT 操作 组 成 的 序列 ， 我 们 可 以 得 到 一 个 更 紧 的 界 一 一 最 坏 情 况 下 代价 
为 O(n)， 因 为 不 可 能 每 次 INCREMENT 操作 都 翻转 所 有 的 二 进 制 位 。 如 图 17-2 所 示 ， 每 次 调 
用 INCREMENT 时 A[0] 确 实 都 会 翻转 。 而 下 一 位 AL1]， 则 只 是 每 两 次 调用 翻转 一 次 ， 这 样 ， 
对 一 个 初 值 为 0 的 计数 器 执行 一 个 个 INCREMENT 操作 的 序列 ， 只 会 使 ALI1] 翻 转 | n/2 Ite. 
类 似 地 ，A[2j 每 4 次 调用 才 翻 转 一 次 ， 即 执行 一 个 n 个 INCREMENT 操作 的 序列 的 过 程 中 翻转 
Ln/4 次 。 一 般 地 ， 对 一 个 初 值 为 0 的 计数 器 ， 在 执行 一 个 由 个 INCREMENT 操作 组 成 的 序列 
的 过 程 中 ，A[ 站 会 翻转 | n/2' WeG=0, 1, =, k-1). Milk, ALAA, ARASH 
转 。 因 此 ， 由 公式 (A. 6) 知 ， 在 执行 INCREMENT 序列 的 过 程 中 进行 的 翻转 操作 的 总 数 为 


> |Z |< n>) 4 = 2n 
因此 ， 对 一 个 初 值 为 0 的 计数 器 ， 执 行 一 个 n 个 INCREMENT 操作 的 序列 的 最 坏 情 况 时 间 为 
O(Gz) 。 每 个 操作 的 平均 代价 ， 即 摊 还 代价 为 OG) /n=O00). 
练习 


17. 1-1 如 果 栈 操作 包括 MULTIPUSH RE, CH & 个 数据 项 压 信 栈 中 ， 那 么 栈 操作 的 摊 还 代 
价 的 界 还 是 O(1) 吗 ? 
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17.1-2 证 明 : 如 果 位 计数 器 的 例子 中 允许 DECREMENT 操作 ， 那 么 ”个 操作 的 运行 时 间 可 
能 达到 8B@(nk)。 

17. 1-3 ”假定 我 们 对 一 个 数据 结构 执行 一 个 由 nn 个 操作 组 成 的 操作 序列 ， 当 i 严格 为 2 BERT, 
第 i 个 操作 的 代价 为 i， 否 则 代价 为 1。 使 用 聚合 分 析 确 定 每 个 操作 的 挫 还 代价 。 


17.2 核算 法 


用 核算 法 (accounting method) 进 行 推 还 分 析 时 ， 我 们 对 不 同 操作 赋予 不 同 费 用 ， 赋 予 某 些 操 
作 的 费用 可 能 多 于 或 少 于 其 实际 代价 。 我 们 将 赋予 一 个 操作 的 费用 称 为 它 的 摊 还 代价 。 当 一 个 
操作 的 摊 还 代价 超出 其 实际 代价 时 ， 我 们 将 差额 存 人 数据 结构 中 的 特定 对 象 ， 存 和 人 的 差额 称 为 
信用 。 对 于 后 续 操 作 中 挫 还 代价 小 于 实际 代价 的 情况 ， 信 用 可 以 用 来 支付 差额 。 因 此 ， 我 们 可 以 
将 一 个 操作 的 摊 还 代价 分 解 为 其 实际 代价 和 信用 ( 存 人 的 或 用 掉 的 )。 不 同 的 操作 可 能 有 不 同 的 
摊 还 代价 。 这 种 方法 不 同 于 聚合 分 析 中 所 有 操作 都 赋予 相同 摊 还 代价 的 方式 。 

我 们 必须 小 心地 选择 操作 的 摊 还 代价 。 如 果 我 们 希望 通过 分 析 摊 还 代价 来 证 明 每 个 操作 的 
平均 代价 的 最 坏 情 况 很 小 ， 就 应 确保 操作 序列 的 总 摊 还 代价 给 出 了 序列 总 真实 代价 的 上 界 。 而 
且 ， 与 聚合 分 析 一 样 ， 这 种 关系 必须 对 所 有 操作 序列 都 成 立 。 如 果 用 c: 表示 第 i 个 操作 的 真实 代 
Bt» Fc, 表示 其 摊 还 代价 ， 则 对 任意 个 操作 的 序列 ， 要 求 


> a> Da (17.1) 


数据 结构 中 存储 的 信用 恰好 等 于 总 摊 还 代价 与 总 实际 代价 的 差 值 ， DD è- De. 由 不 等 


式 (17. 1) 知 ， 数 据 结构 所 关联 的 信用 必须 一 直 为 非 负 值 。 如 果 在 某 个 步骤， 我 们 允许 信用 为 负 什 
(前 面 操 作 缴 费 不 足 ， 承 诺 在 随后 补 齐 账户 欠 费 )， 那 么 当时 的 总 摊 还 代价 就 会 低 于 总 实际 代价 ， 
对 于 到 那个 时 刻 为 止 的 操作 序列 ， 总 摊 还 代价 就 不 再 是 总 实际 代价 的 上 界 了 。 因 此 ， 我 们 必须 注 
意 保 持 数 据 结构 中 的 总 信用 永远 为 非 负 值 。 

栈 操作 

ae 我 们 回 到 栈 的 例子 。 回 顾 前 面 的 内 容 ， 操 作 的 实际 代价 为 

PUSH 


POP 1 
MULTIPOP min(k, s) 
其 中 是 提供 给 MULTIPOP 的 参数 ，s 是 调用 时 栈 的 规模 。 我 们 为 这 些 操作 赋予 如 下 摊 还 
代 价 
PUSH 2 
POP 0 
MULTIPOP 0 


注意 ，MULTIPOP 的 摊 还 代价 是 一 个 常数 (0) ， 而 其 实际 代价 是 变量 。 在 此 例 中 ， 所 有 三 个 摊 还 
代价 都 是 常数 。 一 般 来 说 ， 所 考虑 的 操作 的 摊 还 代价 可 能 各 不 相同 ， 渐 近 性 也 可 能 不 同 。 

我 们 将 证 明 ， 通 过 按 摊 还 代价 缴费 ， 我 们 可 以 支付 任意 的 栈 操作 序列 (的 实际 代价 )。 假 定 使 
用 1 美元 来 表示 一 个 单位 的 代价 。 我 们 从 一 个 空 栈 开始 。 回 忆 10. 1 节 中 数据 结构 栈 和 自助 餐 店 
里 一 县 盘子 间 的 类 比 。 当 将 一 个 盘子 放 在 一 到 盘子 的 最 上 面 ， 我 们 用 1 美元 支付 压 栈 操作 的 实际 
代价 ， 将 剩余 的 1 美元 存 为 信用 ( 共 缴 费 2 美元 ) 。 在 任何 时 间 点 ， 栈 中 的 每 个 盘子 都 存储 了 与 之 
对 应 的 1 美元 的 信用 。 

每 个 盘子 存储 的 1 美元 ， 实 际 上 是 作为 将 来 它 被 弹出 栈 时 代价 的 预付 费 。 当 执行 一 个 POP 
操作 时 ， 并 不 缴纳 任何 费用 ， 而 是 使 用 存储 在 栈 中 的 信用 来 支付 其 实际 代价 。 为 了 弹出 一 个 盘 
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子 ， 我 们 取出 此 盘子 的 1 美元 的 信用 来 支付 POP 操作 的 实际 代价 。 因 此 ， 通 过 为 PUSH 操作 多 
缴 一 点 费 ， 我 们 可 以 在 POP 时 不 缴纳 任何 费用 。 

而 且 ， 对 于 MULTIPOP 操作 ， 我 们 也 可 以 不 缴纳 任何 费用 。 为 了 弹出 第 一 个 盘子 ， 我们 将 
其 1 美元 信用 取出 来 支付 此 POP 操作 的 实际 代价 。 为 了 弹出 第 二 个 盘子 ， 我们 再 次 取出 盘子 的 1 
美元 信用 来 支付 此 POP 操作 的 实际 代价 ， 依 此 类 推 。 因此， 预付 的 费用 总 是 足够 支付 
MULTIPOP 操作 的 代价 。 换 句 话 说 ， 由 于 栈 中 的 每 个 盘子 都 存 有 1 美元 的 信用 ， 而 栈 中 的 盘子 
数 始 终 是 非 负 的 ， 因 此 可 以 保证 信用 值 也 总 是 非 负 的 。 因 此 ， 对 任意 nn 个 PUSH, POP, 
MULTIPOP 操作 组 成 的 序列 ， 总 摊 还 代价 为 总 实际 代价 的 上 界 。 由 于 总 摊 还 代价 为 O(n)， 因 此 
总 实际 代价 也 是 。 

二 进 制 计 数 器 递增 

作为 核算 法 的 另 一 个 例子 ， 我 们 分 析 在 一 个 从 0 开始 的 二 进 制 计 数 器 上 执行 INCREMENT 
操作 。 如 我 们 之 前 所 观察 到 的 ， 此 操作 的 运行 时 间 与 翻转 的 位 数 成 正比 ， 因 此 对 此 例 ， 可 以 将 翻 
转 的 位 数 作为 操作 的 代价 。 我 们 再 次 使 用 1 美元 表示 一 个 单位 的 代价 (在 此 例 中 是 翻转 1 位 ) 。 

在 挫 还 分 析 中 ， 对 一 次 置 位 操作 ， 我 们 设 其 挫 还 代价 为 2 美元 。 当 进行 置 位 时 ， 用 1 美元 支 
付 置 位 操作 的 实际 代价 ， 并 将 另外 1 美元 存 为 信用 ， 用 来 支付 将 来 复位 操作 的 代价 。 在 任何 时 
刻 ， 计 数 器 中 任何 为 1 的 位 都 存 有 1 美元 的 信用 ， 这 样 对 于 复位 操作 ， 我 们 就 无 需 缴纳 任何 费 
用 ， 使 用 存储 的 1 美元 信用 即 可 支付 复位 操作 的 代价 。 

现在 可 以 确定 INCREMENT 的 摊 还 代价 。while 循环 中 复位 操作 的 代价 用 该 位 储存 的 1 美元 
来 支付 。INCREMENT 过 程 至 多 置 位 一 次 (第 6 行 )， 因 此 ， 其 摊 还 代价 最 多 为 2 美元 。 计 数 器 
中 1 的 个 数 永远 不 会 为 负 ， 因 此 ， 任 何 时 刻 信用 值 都 是 非 负 的 。 所 以 ， 对 于 n 4+ INCREMENT 
操作 ， 总 摊 还 代价 为 O(n)， 为 总 实际 代价 的 上 界 。 


练习 


17.2-1 假定 对 一 个 规模 永远 不 会 超过 的 栈 执行 一 个 栈 操 作 序 列 。 执 行 上 个 操作 后 ， 我 们 复制 
整个 栈 来 进行 备份 。 通 过 为 不 同 的 栈 操 作 赋 予 适合 的 摊 还 代价 ， 证 明 : nn 个 栈 操作 ( 包 
括 复制 栈 ) 的 代价 为 O(n)。 

17.2-2 用 核算 法 重 做 练习 17. 1-3。 

17.2-3 假定 我 们 不 仅 对 计数 器 进行 增 1 操作 ， 还 会 进行 置 0 操作 (即将 所 有 位 复位 )。 设 检测 或 
修改 一 个 位 的 时 间 为 86(1) ， 说 明 如 何 用 一 个 位 数组 来 实现 计数 器 ， 使 得 对 一 个 初 值 为 0 
的 计数 器 执行 一 个 由 任意 nn 个 INCREMENT 和 RESET 操作 组 成 的 序列 花费 时 间 O(n)。 
(提示 : 维护 一 个 指针 一 直 指 向 最 高 位 的 1。) 


17.3 势能 法 


势能 法 摊 还 分 析 并 不 将 预付 代价 表示 为 数据 结构 中 特定 对 象 的 信用 ， 而 是 表示 为 “势能 "， 或 
简称 “ 势 "， 将 势能 释放 即 可 用 来 支付 未 来 操作 的 代价 。 我 们 将 势能 与 整个 数据 结构 而 不 是 特定 对 
象 相 关联 。 

势能 法 工作 方式 如 下 。 我 们 将 对 一 个 初始 数据 结构 D, 执行 个 操作 。 对 每 个 i=1，2，…， 
n， 令 ci 为 第 i 个 操作 的 实际 代价 ， 令 D: 为 在 数据 结构 D;_, 上 执行 第 i 个 操作 得 到 的 结果 数据 结 
构 。 势 函数 中 将 每 个 数据 结构 D 映射 到 一 个 实数 BCD;)， 此 值 即 为 关联 到 数据 结构 D; 的 势 。 第 
i 个 操作 的 摊 还 代价 & A RM © ELH: 

ĉ: = ¢ + ®(D,) — Da) (17. 2) 
因此 ， 每 个 操作 的 摊 还 代价 等 于 其 实际 代价 加 上 此 操作 引起 的 势能 变化 。 由 公式 (17. 2)，n 个 操 
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作 的 总 摊 还 代价 为 
3) a = SG + 0D) — BD)) = Na + OD,) — OD,) (17.3) 
第 二 个 等 式 是 根据 公式 (A. 9) 推 导出 来 的 ， 因 为 OCD SUBSEA, TUME. 
如 果 能 定义 一 个 势 函数 D, E ODDS), MERERI ,给 出 了 总 实际 代价 


Ma 的 一 个 上 界 。 实 际 中 ， 我 们 不 是 总 能 知道 将 要 执行 多 少 个 操作 。 因 此 ， 如 果 对 所 有 i Ri 


BR 8(D;) 宇 B(D,)， 则 可 以 像 核 算法 一 样 保证 总 能 提前 支付 。 我 们 通常 将 OCD, ) 简 单 定义 为 0， 
然后 说 明 对 所 有 i, A B(D;) 宇 90。( 处 理 的 一 种 简单 方法 参见 练习 17. 3-1， 其 中 ®@(D,) 隆 0.) 

直觉 上 ， 如 果 第 i 个 操作 的 势 差 8(D.;) 一 BC(D;_,) 是 正 的 ， 则 挫 还 代价 6 表示 第 i 个 操作 多 付 
费 了 ， 数 据 结构 的 势 增加 。 如 果 势 差 为 负 ， 则 摊 还 代价 表示 第 i 个 操作 少 付 费 了 ， 势 减少 用 于 支 
付 操作 的 实际 代价 。 

公式 (17.2) 和 公式 (17. 3) 定 义 的 摊 还 代价 依赖 于 势 函 数 下 的 选择 。 不 同 的 势 函 数 会 产生 不 
同 的 挫 还 代价 ， 但 摊 还 代价 仍 为 实际 代价 的 上 界 。 在 选择 势 函 数 时 ， 我 们 常常 发 现 可 以 做 出 一 定 
的 权衡 ， 是 否 使 用 最 佳 势 防 数 依赖 于 对 时 间 界 的 要 求 。 

栈 操作 

为 了 展示 势能 法 ， 我 们 再 次 回 到 栈 操作 PUSH、POP 和 MULTIPOP 的 例子 。 我 们 将 一 个 栈 
的 势 函数 定义 为 其 中 的 对 象 数量 。 对 于 初始 的 空 栈 D, ， 我 们 有 BC(D,) 二 0。 由 于 栈 中 对 象 数目 永 
远 不 可 能 为 负 ， 因 此 ， 第 i 步 操 作 得 到 的 栈 D, 具有 非 负 的 势 ， 即 

®@(D) >0= &(D,) 

因此 ， 用 定义 的 n 个 操作 的 总 挫 还 代价 即 为 实际 代价 的 一 个 上 界 。 

下 面 计算 不 同 栈 操作 的 挫 还 代价 。 如 果 第 i 个 操作 是 PUSH 操作 ， 此 时 栈 中 包含 ;个 对 象 ， 
则 势 差 为 

®(D,) — Da) = (s+1)—s=1 
则 由 公式 (17. 2)，PUSH 操作 的 摊 还 代价 为 
2 = ¢, + BD)— Da) =1+1=2 
假设 第 i 个 操作 是 MULTIPOP(S, k), 将 k= 二 min(k，s) 个 对 象 弹出 栈 。 对 象 的 实际 代价 为 &'， 
势 差 为 
@(D.,) — Da) =— k' 
因此 ，MULTIPOP 的 摊 还 代价 为 
& = c; + ®(D,) Da) = k' —k' = 0 

类 似 地 ， 普 通 POP 操作 的 摊 还 代价 也 为 0。 

每 个 操作 的 摊 还 代价 都 是 O(1)， 因 此 ， nn 个 操作 的 总 挫 还 代价 为 O(n)。 由 于 我 们 已 经 论证 
了 @(D,) 宇 BP(D,)， 因 此 ， nn 个 操作 的 总 摊 还 代价 为 总 实际 代价 的 上 界 。 所 以 n 个 操作 的 最 坏 情 
况 时 间 为 O(n)。 

二 进 制 计数 器 递增 

作为 势能 法 的 另 一 个 例子 ， 我们 再 次 分 析 二 进 制 计 数 器 递增 问题 。 这 一 次 ,我 们 将 计数 器 执 
行 i 次 INCREMENT 操作 后 的 势 定义 为 8: 一 一 i 次 操作 后 计数 器 中 1 的 个 数 。 

我 们 来 计算 INCREMENT 操作 的 摊 还 代价 。 假 设 第 i 个 INCREMENT 操作 将 个 位 复位 ， 
则 其 实际 代价 至 多 为 ttl, KARTAN t 个 位 之 外 ， 还 至 多 置 位 1 位 。 如 果 6 二 0， 则 第 i 个 
操作 将 所 有 & 位 都 复位 了 ， 因 此 bii =t =k, WR 6 二 0， 则 6; 二 6 一 十 1。 无论 哪 种 情况 ， 
b; 二 bi_1 一 上 十 1， 势 差 为 
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CDD — (Da) S (4 一 占 十 1) 一 和 1 = 1-4; 
因此 ， 摊 还 代价 为 
é, = ¢, +D) — O(D,,) < @ +D + 0-4) 一 2 

如 果 计 数 器 从 0 开始 ， 则 OCD) =0. FHRA i HA OCD)>0, Alt, 一 个 nn 个 
INCREMENT 操作 的 序列 的 总 摊 还 代价 是 总 实际 代价 的 上 界 ， 所 以 个 INCREMENT 操作 的 最 
坏 情况 时 间 为 O(n)。 

势能 法 给 出 了 分 析 计 数 器 问题 的 一 个 简单 方法 ， 即 使 计数 器 不 是 从 0 开始 也 可 以 分 析 。 计 数 
器 初始 时 包含 b 个 1， 经 过 nn 个 INCREMENT 操作 后 包含 六 个 1， 其 中 OSH, ba< kE RY 
X, & 是 计数 器 二 进 制 位 的 数目 ) 。 于 是 可 以 将 公式 (17. 3) 改 写 为 


ya =) &— PD) + OD.) (17. 4) 


对 所 有 1 委 运 2”， 我 们 有 2 和 2。 由 于 @(D,)= by H ®CD,)=6,, n^ INCREMENT 操作 的 总 实际 
代价 为 


yas 2 b, +b = 2n—b, +b, 


特别 要 注意 ， 由 于 bok, 因此 只 要 二 On), 总 实际 代价 就 是 O(z) 。 换 句 话 说， 如 果 至 少 执行 
n=0(k)4+ INCREMENT 操作 ， 不 管 计 数 器 初 值 是 什么 ， 总 实际 代价 都 是 O(n)。 


练习 


17.3-1 假定 有 势 函数 ©, HHA iE @(D) 三 @(D)， 但 OCD.) A0. 证明: FERRA D, 
使 得 @'(D,)= 二 0， 对 所 有 1 满足 D CD) 三 0， 且 使 用 到 的 摊 还 代价 与 使 用 更 的 摊 还 代 
价 相同 。 

17.3-2 ”使 用 势能 法 重 做 练习 17. 1-3。 

17. 3-3 ”考虑 一 个 包含 ”个 元 素 的 普通 二 叉 最 小 堆 数 据 结构 ， 它 支持 INSERT 和 EXTRACT-MIN 
操作 ， 最 坏 情况 时 间 均 为 Ol(lgn)。 给 出 一 个 势 函 数 ,使 得 INSERT 操作 的 摊 还 代价 为 
Ollgn)， 而 EXTRACT-MIN 操作 的 摊 还 代价 为 0(1)， 证 明 它 是 正确 的 。 

17.3-4 执行 2 个 PUSH、POP 和 MULTIPOP 栈 操作 的 总 代价 是 多 少 ? 假定 初始 时 栈 中 包含 s 
个 对 象 ， 结 束 后 包含 s, PMR. 

17.3-5 假定 计数 器 初 值 不 是 0， 而 是 包含 5 个 1 的 二 进 制 数 。 证 明 : n=), WART nA 
INCREMENT 操作 的 代价 为 O(z) 。( 不 要 假定 2 是 常量 。) 

17.3-6 证 明 : 如 何 用 两 个 普通 的 栈 实 现 一 个 队列 (练习 10. 1-6)， 使 得 每 个 ENQUEUE 和 
DEQUEUE 操作 的 摊 还 代价 为 0(1)。 

17.3-7 为 动态 整数 多 重 集 S( 人 允许 包含 重复 值 ) 设 计 一 种 数据 结构 ， 支 持 如 下 两 个 操作 : 
INSERT(S, zx) 将 zx 插入 S 中。 
DELETE-LARGER-HALF(S) 将 最 大 的 [| S| /2 | 个 元 素 从 S 中 删除 。 
解释 如 何 实现 这 种 数据 结构 ， 使 得 任意 m 4+ INSERT 和 DELETE-LARGER-HALF 操作 的 
序列 能 在 OC(mr?) 时 间 内 完成 。 还 要 实现 一 个 能 在 OC| S| ) 时 间 内 输出 所 有 元 素 的 操作 。 


17.4 动态 表 


对 某 些 应 用 程序 ， 我 们 可 能 无 法 预先 知道 它 会 将 多 少 个 对 象 存储 在 表 中 。 我 们 为 一 个 表 分 
配 一 定 的 内 存 空间 ， 随 后 可 能 会 发 现 不 够 用 。 于 是 必须 为 其 重新 分 配 更 大 的 空间 ， 并 将 所 有 对 象 
从 原 表 中 复制 到 新 的 空间 中 。 类 似 地 ， 如 果 从 表 中 删除 了 很 多 对 象 ， 可 能 为 其 重新 分 配 一 个 更 小 
的 内 存 空间 就 是 值得 的 。 在 本 节 中 ， 我 们 研究 这 种 动态 扩张 和 收缩 表 的 问题 。 我 们 将 使 用 挫 还 分 
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析 证 明 ， 虽 然 插 入 和 删除 操作 可 能 会 引起 扩张 或 收缩 ， 从 而 有 较 高 的 实际 代价 ， 但 它们 的 摊 还 代 
价 都 是 O(1)。 而 且 ， 我 们 将 看 到 如 何 保 证 动态 表 中 的 空闲 空间 相对 于 总 空间 的 比例 永远 不 超过 
一 个 常量 分 数 。 

我 们 假定 动态 表 支 持 TABLE-INSERT 和 TABLE-DELETE 操作 。TABLE-INSERT 将 一 个 
数据 项 插入 表 中 ， 它 占用 一 个 槽 (slot) ， 即 保存 一 个 数据 项 的 空间 。 同 样 ，TABLE-DELETE 从 
表 中 删除 一 个 数据 项 ， 从 而 释放 一 个 槽 。 用 什么 样 的 数据 结构 来 组 织 动态 表 并 不 重要 : 我 们 可 以 
使 用 栈 (10. 1 节 )、 堆 (第 6 章 ) 或 者 散 列表 (第 11 章 ) 。 我 们 也 可 以 使 用 数组 或 数组 集 来 实现 对 象 
的 存储 ， 如 10. 3 节 中 的 方法 。 

我 们 会 发 现 ， 分 析 散 列 方法 时 (第 11 章 ) 引 入 的 一 个 概念 用 于 本 节 可 以 方便 摊 还 分 析 。 我 们 
将 一 个 非 空 表 工 的 装载 因子 c(T) 定 义 为 表 中 存储 的 数据 项 的 数量 除 以 表 的 规模 ( 槽 的 数量 )。 我 
们 赋予 空 表 (没有 数据 项 ) 的 规模 为 0， 并 将 其 装载 因子 定义 为 1。 如果 一 个 动态 表 的 装载 因子 被 
限定 在 一 个 常量 之 下 ， 则 其 空闲 空间 相对 于 总 空间 的 比例 永远 也 不 会 超过 一 个 常数 。 

我 们 首先 分 析 只 允许 插入 数据 项 的 情况 ， 然 后 考虑 既 允 许 插入 也 允许 删除 的 一 般 情况 。 


17.4.1 RYK 


BABE Be BY FF MS EAH. A AB BT. RR, Te RRA 
为 13 。 在 某 些 软件 环境 中 ， 当 试图 向 一 个 满 的 表 插 入 一 个 数据 项 时 ， 唯 一 的 选择 是 报错 退出 。 
但 我 们 假定 ， 我 们 的 软件 环境 与 很 多 现代 软件 系统 一 样 ， 提 供 了 一 个 内 存 管 理 系统 ， 可 以 根据 要 
求 分 配 和 释放 内 存 块 。 因 此 ， 当 试图 向 一 个 满 的 表 插入 一 个 数据 项 时 ， 我 们 可 以 扩张 表 一 一 分 配 
一 个 包含 更 多 槽 的 新 表 。 由 于 我 们 总 是 需要 表 位 于 连续 的 内 存 空间 中 ， 因 此 必须 为 更 大 的 新 表 
分 配 一 个 新 的 数组 ， 然 后 将 数据 项 从 旧 表 复制 到 新 表 中 。 

一 个 常用 的 分 配 新 表 的 启发 式 策略 是 : 为 新 表 分 配 2 倍 于 旧 表 的 柳 。 如 果 只 人 允许 插入 操作 ， 
那么 装载 因子 总 是 保持 在 1/2 以 上 ， 因 此 ， 浪 费 的 空间 永远 不 会 超过 总 空间 的 一 半 。 

在 下 面 的 伪 代 码 中 ， 我 们 假定 工 是 一 个 对 象 ， 对 应 表 。 属 性 T. table 保存 指向 表 的 存储 空间 
的 指针 ，T. num 保存 表 中 的 数据 项 数量 ，T. size 保存 表 的 规模 ( 槽 数 )。 初 始 时 令 表 为 空 : 
T. num=T. size=0, 

TABLE-INSERT(T, x) 
if T. size==0 

allocate T. table with 1 slot 

T. size =1 
if T. num==T. size 

allocate neurtable with 2 + T. size slots 

insert all items in T. table into neurtable 

free T. table 

T. table=neurtable 


O ONGAN fk wn = 


T. size =2 » T. size 


= 
© 


insert x into T. table 
11 T. num=T. num+1 


注意 ， 此 处 有 两 个 “插入 ”过 程 ， TABLE-INSERT 自身 及 第 6 行 和 第 10 行 的 基本 插入 
(elementary insertion) 过 程 。 我 们 可 以 将 每 次 基本 插入 操作 的 代价 设 定 为 1， 然 后 用 基本 插 人 操 
作 的 次 数 来 描述 TABLE-INSERT 的 运行 时 间 。 假 定 TABLE-INSERT 的 实际 运行 时 间 与 插入 数 


日 ”在 某 些 情况 下 ,例如 在 一 个 开 地 址 的 散 列 表 中 ， 我们 可 能 将 表 满 定义 为 装载 因子 等 于 某 个 严格 小 于 1 的 常数 ( 参 
见 练习 17. 4-1)。 
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据 项 的 时 间 呈 线性 关系 ， 即 第 2 行 分 配 初始 表 的 开销 为 常量 ， 而 第 5 行 和 第 7 行 分 配 与 释放 内 存 
空间 的 开销 是 由 第 6 行 的 数据 复制 代价 决定 的 。 我 们 称 第 5~9 行 执行 了 一 次 扩张 动作 。 

接 下 来 ， 我 们 分 析 对 一 个 空 表 执 行 上 个 TABLE-INSERT 操作 的 代价 。 第 i 个 操作 的 代价 c; 
是 怎样 的 呢 ? 如 果 当 前 的 表 有 空间 容纳 新 的 数据 项 (或 者 这 是 第 一 个 插入 操作 )， 则 ;一 1， 因 为 
只 需 执行 一 次 基本 插入 操作 (第 10 行 )。 但 如 果 当 前 表 满 ， 会 发 生 一 次 扩张 ， 则 is 第 10 行 
基本 插入 操作 的 代价 为 1， 再 加 上 第 6 行将 数据 项 从 旧 表 复制 到 新 表 的 代价 ;一 1。 如 果 执行 上 个 
操作 ， 一 个 操作 的 最 坏 情况 时 间 为 O(n) ， 从 而 可 得 ”个 操作 总 运行 时 间 的 上 界 OC )。 

这 不 是 一 个 紧 确 界 ， 因 为 在 执行 a 个 TABLE-INSERT 操作 的 过 程 中， 扩张 操作 是 很 少 的 。 
具体 地 说 , 仅 当 i 一 1 恰 为 2 的 午时 ,第 i 个 操作 才 会 引起 一 次 扩张 。 一 次 插入 操作 的 挫 还 代价 实 
际 上 是 0(1) ,我们 可 以 用 秦 合 分 析 来 证 明 这 一 点 。 第 i 个 操作 的 代价 为 

yfi te eae 
1 其 他 
因此 ， nn 个 TABLE-INSERT 操作 的 总 tN 


ye <nt+ Hy <nton= 3 


由 于 包含 至 多 nn 个 代价 为 1 的 操作 ， 而 其 他 操作 的 代价 形成 一 个 等 比 数列 ， 所 以 我 们 得 到 了 上 述 结 
果 。 由 于 ”个 TABLE-INSERT 操作 的 总 代价 以 3 为 上 界 ， 因 此 ， 单 一 操作 的 摊 还 代价 至 多 为 3。 

通过 使 用 核算 法 ， 我 们 会 对 为 什么 一 次 TABLE-INSERT 操作 的 摊 还 代价 应 该 为 3 有 一 点 感 
觉 。 直 观 上 ， 处 理 每 个 数据 项 要 付出 3 次 基本 插入 操作 的 代价 : 将 它 插 和 人 当前 表 中 ， 当 表 扩 张 时 
移动 它 ， 当 表 扩 张 时 移动 另 一 个 已 经 移动 过 一 次 的 数据 项 。 例 如 ， 假 定 表 的 规模 在 一 次 扩张 后 变 
为 m， 则 表 中 保存 了 m/2 个 数据 项 ， 且 它 当 前 没有 储存 任何 信用 。 我 们 为 每 次 插入 操作 付 3 美 
元 。 立 刻 发 生 的 基本 插 人 操作 花 去 1 美元 。 我 们 将 另外 1 美元 储存 起 来 作为 插 人 数据 项 的 信用 。 
我 们 将 最 后 1 美元 储存 起 来 作为 已 在 表 中 的 m/2 个 数据 项 中 某 一 个 的 信用 ， 这 样 ， 当 表 中 保存 
了 m 个 数据 项 已 满 时 ， 每 个 数据 项 都 储存 了 1 美元 ， 用 于 支付 扩张 时 基本 插入 操作 的 代价 。 

我 们 也 可 以 用 势能 法 来 分 析 个 TABLE-INSERT 操作 的 序列 ， 我 们 还 将 在 17. 4.2 节 中 用 
势能 法 设计 一 个 摊 还 代价 为 O(1) 的 TABLE-DELETE 操作 。 我 们 定义 一 个 势 函数 ©, HED KR 
作 之 后 其 值 为 0， 而 表 满 时 其 值 为 表 的 规模 ， 这 样 就 可 以 用 势能 来 支付 下 次 扩张 的 代价 。 势 函数 
定义 为 

CT) = 2+ T. mm — T. size (17.5) 
可 以 满足 上 述 要 求 。 当 一 次 扩张 后 ， 我 们 有 T. num=T. size/2, AK O(D=0. MPRA, R 
们 有 T. num=T. size, Ak B( 了 T= 二 T.num。 势 的 初 值 为 0， 且 表 总 是 至 少 半 满 的 ， 即 T. num> 
T. size/2， 于 是 OT) ŠEIN. K, n^ TABLE-INSERT 操作 的 摊 还 代价 之 和 给 出 了 实际 
代价 之 和 的 上 界 。 

为 了 分 析 第 i 个 TABLE-INSERT 操作 的 摊 还 代价 ， 我 们 令 num, 表示 第 i 个 操作 后 表 中 数据 
TRAN BUR, size 表示 第 i 个 操作 后 表 的 总 规模 ，@; 表示 第 i 个 操作 后 的 势 。 初 始 时 ， 我们 有 
num =Q, size =0 及 &=0, 

如 果 第 i 个 TABLE-INSERT 操作 没有 触发 扩张 ， 那 么 有 size; 二 size; ! ， 此 操作 的 摊 还 代价 为 


= ci + ®; — @, 
=1+ (2 « mm, — size;) — (2 « num; — size ) 
= 14+ (2 + mm, — size;) — (2(mum; — 1) — size;) 


8 
如 果 第 i 个 TABLE-INSERT 操作 触发 了 一 次 扩张 ， 则 有 size, 二 2 ，size; 1 及 size; = num; = 
num; 一 1 ， 这 意味 着 size 二 2，(num; 一 1)。 因 此 ， 此 操作 的 摊 还 代价 为 
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6 一 ci + ®; — a 
= num; + (2 + num; — size;) — (2 * num; — size; ) 
= num, + (2 + num; — 2 + (num; — 1)) — (2 (mum; — 1) — (num; — 1)) 


= num; + 2— (mm; — 1) 
= 3 
图 17-3 MH T num, size, 和 ®, 随 i 变化 的 情况 。 注 意 势 是 如 何 累积 来 支付 表 扩 张 代价 的 。 
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图 17-3 执行 n 个 TABLE-INSERT 操作 过 程 中 ， 表 中 数据 项 数量 nz: 、 表 规模 size, 及 势 忠 =2 
num; — size; 的 变化 ， 每 个 值 都 是 在 第 ;个 操作 后 测量 。 细 线 显示 了 num, 的 变化 ， 虚 线 显 示 了 
size; 的 变化 ， 粗 线 显示 了 @; 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 变 为 表 中 数据 项 的 数量 ， 因 此 可 
以 用 来 支付 将 所 有 数据 项 移动 到 新 表 所 需 的 代价 。 而 扩张 之 后 ， 势 变 为 0， 但 会 立即 变 为 2 一 一 
引起 扩张 的 那个 数据 项 被 插入 表 中 


17.4.2 表 扩 张 和 收 缩 


为 了 实现 TABLE-DELETE 操作 ， 将 指定 数据 项 从 表 中 删除 是 很 简单 的 。 但 为 了 限制 浪费 
的 空间 ， 我 们 可 以 在 装载 因子 变 得 太 小 时 对 表 进 行 收缩 操作 。 表 收缩 与 表 扩 张 是 类 似 的 操作 ， 当 
表 中 的 数据 项 数量 下 降 得 太 少 时 ， 我 们 分 配 一 个 新 的 更 小 的 表 ， 然 后 将 数据 项 从 旧 表 复制 到 新 
表 中 。 之 后 可 以 释放 旧 表 占用 的 内 存 空间 ， 将 其 归还 内 存 管 理 系统 。 理 想 情 况 下 ， 我 们 希望 保持 
两 个 性 质 : 

。 动态 表 的 装载 因子 有 一 个 正 的 常数 的 下 界 。 

。 一 个 表 操作 的 摊 还 代价 有 一 个 常数 上 界 。 

我 们 假定 用 基本 插入 、 删 除 操作 的 次 数 来 衡量 动态 表 操 作 的 代价 。 

你 可 能 认为 当 插入 一 个 数据 项 到 满 表 时 应 该 将 表 规 模 加 倍 ， 那 么 当 删 除 一 个 数据 项 导致 表 
空间 利用 率 不 到 一 半 时 就 应 该 将 表 规 模 减 半 。 此 策略 可 以 保证 表 的 装载 因子 永远 不 会 低 于 1/2, 
但 遗憾 的 是 ， 这 会 导致 操作 的 摊 还 代价 过 大 。 考 虑 如 下 场景 。 我 们 对 一 个 表 工 执行 2 个 操作 ， 
其 中 恰好 是 2 FE. Bi n/2 个 操作 是 插入 ， 由 之 前 的 分 析 可 知 ， 其 总 代价 为 BCz) 。 在 插入 序 
列 结束 时 ，T. num=T. size 二 n/2。 接 下 来 的 mn/2 个 操作 是 这 样 的 : 

插 和 入、 删除、 删除、 插 和 入、 插入、 删除、 删除 、 插 入 、 插 入 、…… 

第 一 个 插入 操作 导致 表 规 模 扩 张 至 n。 接 下 来 两 个 删除 操作 导致 表 规 模 收缩 至 n/2。 接 下 来 两 个 
插入 操作 引起 另 一 次 扩张 ， 依 此 类 推 。 每 次 扩张 和 收缩 的 代价 为 8(n)， 而 收缩 和 扩张 的 次 数 为 
Q@(n)。 因 此 ，nn 个 操作 的 总 代价 为 8(2 ) ， 使 得 每 个 操作 的 摊 还 代价 为 On). 
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此 策略 的 缺点 是 很 明显 的 : 在 表 扩 张 之 后 ， 我 们 无 法 删除 足够 多 的 数据 项 来 为 收缩 操作 支 
付费 用 ; 类 似 地 ， 在 表 收 缩 之 后 ， 我 们 无 法 插入 足够 多 的 表 项 来 支付 扩张 操作 。 

我 们 可 以 改进 此 策略 ， 人 允许 表 的 装载 因子 低 于 1/2。 具 体 地 ， 当 向 一 个 满 表 插入 一 个 新 数据 
项 时 ， 我 们 仍然 将 表 规模 加 倍 ， 但 只 有 当 装 载 因子 小 于 1/4 而 不 是 1/2 时 ,我 们 才 将 表 规模 减 
半 。 因 此 装载 因子 的 下 界 为 1/4。 

可 能 我 们 直觉 上 认为 装载 因子 为 1/2 比较 理想 ， 而 表 的 势 此 时 应 该 为 0。 随 着 装载 因子 偏离 
1/2， 势 应 该 增长 ， 使 得 当 扩 张 或 收缩 表 时 ， 表 已 经 储存 了 足够 的 势 来 支付 复制 所 有 数据 项 至 新 
表 的 代价 。 因 此 ， 我 们 需要 这 样 一 个 势 函数 ， 当 装载 因子 增长 为 1 或 下 降 为 1/4 时 ， 势 函数 值 增 
长 为 T.num。 而 表 扩 张 或 收缩 之 后 ， 装 载 因子 重新 变 为 1/2， 而 表 的 势 降 回 0。 

我 们 略 过 TABLE-DELETE 的 代码 ， 因 为 它 与 TABLE-INSERT 完全 类 似 。 对 于 分 析 ， 我 们 
需要 假定 无 论 何 时 表 中 数据 项 数量 下 降 为 0， 都 会 将 表 占 用 的 内 存 空间 释放 掉 。 也 就 是 说 ， 若 
T. num=0, Wil] T. size=0, 

现在 我 们 用 势能 法 分 析 n 个 TABLE-INSERT #1 TABLE-DELETE 操作 组 成 的 序列 的 代价 。 
首先 定义 一 个 势 函数 中， 在 扩张 或 收缩 操作 之 后 其 值 为 0， 而 当 装载 因子 增长 到 1 或 降低 到 1/4 
时 ， 累 积 到 足够 支付 扩张 或 收缩 操作 代价 的 值 。 我 们 将 非 空 表 了 的 装载 因子 定义 为 a(T) = 
T.num/T. size 。 由 于 对 空 表 T. num=T. size=0 且 a(T) = 1, Alt, KIRERAS, RNS 
是 有 T.num = a(T)。T. size 。 定 义 势 函数 如 下 : 

2。T.mm 一 7T.size #a(T) >1/2 
aD = des # a(T) < 1/2 RG? 
观察 到 空 表 的 势 为 0， 且 势 永 远 不 可 能 为 负 。 因 此 ， 用 势 函数 更 定义 的 操作 序列 的 总 摊 还 代价 是 
总 实际 代价 的 上 界 。 

在 进行 精确 分 析 之 前 ， 我 们 先 观察 图 17-4 所 示 的 势 函数 的 一 些 特性 。 注 意 到 ， 当 装载 因子 
为 1/2 时 ， 势 为 0。 当 装载 因子 为 1 时 ，T. size 二 T.num， 意 味 着 OCT) = T. num ， 因 此 ， 势 足 
够 支付 插入 操作 引起 的 表 扩 张 的 代价 。 当 装载 因子 为 1/4 时 ， 我 们 有 T. size 二 4，T.num， 这 意 
味 着 OCT) = T. num ， 因 此 ， 势 也 足够 支付 删除 操作 引起 的 表 收 缩 的 代价 。 
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17-4 $4 n^ TABLE-INSERT 和 TABLE-DELETE 操作 的 过 程 中 ， 表 中 数据 项 数量 num;、 
表 规 模 size; 及 势 的 变化 情况 ， 其 中 势 的 定义 为 
= K . num; — size; Æ ai > 1/2 
size;/2— num; 车 a; < 1/2 
每 个 值 都 是 在 第 i 个 操作 后 测量 得 到 的 。 细 线 显示 了 num: 的 变化 ， 虚 线 显 示 了 size; 的 变化 ， 
粗 线 显示 了 © 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 累积 到 表 中 数据 项 的 数量 ， 因 此 可 以 用 来 
支付 扩张 过 程 中 数据 项 移动 的 代价 。 同 样 ， 在 一 次 收缩 前 ， 势 也 累积 到 表 中 数据 项 的 数量 
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为 了 分 析 nn 个 TABLE-INSERT 和 TABLE-DELETE 操作 的 序列 ， 令 c 表示 第 i 个 操作 的 实 
际 代价 ，8; 为 用 势 函数 © ME APE OY, num 表示 表 中 第 i 个 操作 后 存储 的 数据 项 的 数量 ， 
size, 表示 第 i 个 操作 后 表 的 规模 ，a; 表示 第 i 个 操作 后 的 装载 因子 ，g; 表示 第 i 个 操作 后 的 势 。 
PIAA, num, =0, size =0, a=1l, B=. 
首先 分 析 第 i 个 操作 为 TABLE-INSERT 的 情况 。 若 a1 1/2, APTA 17.4.1 节 表 扩张 的 
分 析 相 同 。 无 论 表 是 否 扩张 ， 操 作 的 摊 还 代价 6 至 多 为 3。 若 a;_1 二 1/2， 则 第 i 个 操作 并 不 能 令 
表 扩 张 ， 因 为 只 有 当 a =l 时 表 才 会 扩张 。 若 w 也 小 于 1/2， 则 第 i 个 操作 的 挫 还 代价 为 
6 =e +O; — Bi 
= 1+ (size;/2 —num;) — (size /2 — num; ) 
= 1 + (size;/2— num;) — (size;/2— (num; — 1)) 
=0 
若 ai <1 /2 fa 1/2, W 
4 = c +O; — Dn 
=1+ (2 + num; — size;) — (size; /2 — num; ) 
= 1+ (2(num;., + 1) — size) — (size /2 — num; ) 


= 3+ numi 一 3 sizes, +3 
ai $ 
= 3a;-) Size 一 g sive +3 


< 4 size. = 4 size, i 二 3 


一 3 
因此 ， 一 个 TABLE-INSERT 操作 的 摊 还 代价 至 多 为 3。 

我 们 现在 来 分 析 第 i 个 操作 是 TABLE-DELETE 的 情况 。 在 此 情况 下 ，num; 二 num; 1 一 1。 
Bia; 二 1/2， 则 必须 考虑 删除 操作 是 否 引起 表 收 缩 。 如 果 未 引起 表 收 缩 操作 ， 则 size; = size, A 
操作 的 摊 还 代价 为 

6 = c +O; — Dm 
= ] + (size;/2 — num;) — (size; ,/2—num;,) 
= 1+ (size;/2 —num;) — (size;/2 — (num; + 1)) 
=2 
若 ai 1/2 且 第 i 个 操作 触发 了 收缩 操作 ， 则 操作 的 实际 代价 为 c; 二 numi; 十 1， 因 为 我 们 删除 了 
一 个 数据 项 ， 又 移动 了 num, 个 数据 项 。 我 们 知道 size, /2= size, /4—=num,,=num,+1, Ae 
作 的 摊 还 代价 为 
ĉ = c t D — Bn 
= (num; + 1) + (size;/2 — num;) — (size; /2 — num; ) 
(num, +1) + C((num; +1) — num;) — ((2 + num; + 2) — (num; + 1)) 
=1 
当 第 i 个 操作 是 TABLE-DELETE F a- >1/2 时 ， 摊 还 代价 上 界 是 一 个 常数 ， 我 们 将 这 个 分 析 
过 程 留 作 练习 17. 4-2。 

总 之 ， 由 于 每 个 操作 的 挫 还 代价 的 上 界 是 一 个 常数 ， 在 一 个 动态 表 上 执行 任意 个 操作 的 实 

际 运行 时 间 是 O(n) 。 


练习 
17.4-1 假定 我 们 希望 实现 一 个 动态 的 开 地 址 散 列表 。 为 什么 我 们 需要 当 装 载 因子 达到 一 个 严格 
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17. 4-3 


第 四 部 分 “高 级 设计 和 分 析 技 术 


小 于 1 的 值 时 就 认为 表 满 ? 简要 描述 如 何 为 动态 开 地 址 散 列表 设计 一 个 插入 算法 ， 使 
得 每 个 插入 操作 的 摊 还 代价 的 期 望 值 为 Od) 。 为 什么 每 个 插入 操作 的 实际 代价 的 期 望 
值 不 必 对 所 有 插入 操作 都 是 OC) ? 
证 明 : 如 果 动 态 表 的 :三 1/2 且 第 i 个 操作 是 TABLE-DELETE， 那 么 用 势 函 数 
公式 (17. 6) 定 义 的 操作 的 摊 还 代价 的 上 界 是 一 个 常数 。 
假定 我 们 改变 表 收 缩 的 方式 ， 不 是 当 装载 因子 小 于 1/4 时 将 表 规 模 减 半 ， 而 是 当 装 载 因 
子 小 于 1/3 时 将 表 规 模 变 为 原来 的 2/3。 使 用 势 函 数 

CT) = |2+ T. num — T. size | 
证 明 : 使 用 此 策略 ，TABLE-DELETE 操作 的 摊 还 代价 的 上 界 是 一 个 常数 。 


思考 题 


ye 


17-2 


(位 逆序 的 二 进 制 计数 器 ) 第 30 章 介绍 了 一 个 称 为 快速 傅 里 叶 变换 (Fast Fourier 
Transform，FFT) 的 重要 算法 。FFT 算 法 的 第 一 步 是 对 一 个 输入 数组 A[0. .一 1] 执行 一 
个 称 为 位 逆序 置换 (bit-reversal permutation) 的 操作 ， 数 组 的 长 度 n= 二 2 ,上 是 一 个 非 负 整 
数 。 这 个 置换 操作 将 下 标的 二 进 制 表示 互 为 逆序 的 数组 元 素 进行 交换 。 

我 们 将 每 个 下 标 a RAR AH RE HE HR Cais ars oy ao), HP a = 


daz. 我 们 定义 


rev; ( (arı 9Qp-29°** ,a0)) = 《ao sâ RELLE, PEED 


因此 ， 
| 
rev; (a) = a 12 


例如 ， 若 "一 16( 或 等 价 地 ，& 一 4) ， 则 revi (3) = 12 ， 因 为 3 的 4 位 二 进 制 表示 为 0011， 

其 逆序 为 1100， 是 12 的 4 位 二 进 制 表示 。 

a. 设计 一 个 运行 时 间 为 8(k) 的 函数 rev， 编 写 算法 在 Onk) 时 间 内 对 长 度 为 n= 二 2* 的 数 
组 执行 位 逆序 置换 。 

我 们 可 以 使 用 一 个 基于 摊 还 分 析 的 算法 来 改进 位 逆序 置换 操作 的 运行 时 间 。 我 们 可 

以 维护 一 个 “位 逆序 计数 器 ”， 并 设计 一 个 过 程 BIT-REVERSED-INCREMENT， 当 给 定 一 

个 位 逆序 计数 器 值 a， 该 过 程 能 得 到 rev, Crev, (a) 十 1) 。 例 如 ， 若 & 一 4， 位 逆序 计数 器 从 

0 开始 ， 则 连续 调用 BIT-REVERSED-INCREMENT 会 得 到 序列 

0000,1000,0100,1100,0010,1010,… 一 0,8,4,12,2,10… 

b. 假定 你 的 计算 机 的 每 个 机 器 字 保 存 & 位 二 进 制 数 ， 而 一 个 机 器 字 中 的 值 进行 一 次 任意 偏 
移 量 的 左 / 右 移 位 、 位 与 、 位 或 等 操作 只 需 单位 时 间 。 设 计 一 个 BIT-REVERSED- 
INCREMENT 过 程 ， 能 使 一 个 n 个 元 素 的 数组 上 的 位 逆序 置换 操作 在 OGD 时 间 内 完成 。 

c 假定 在 单位 时 间 内 你 只 能 完成 左 / 右 移 一 位 的 操作 。 还 可 能 实现 O(n) 时 间 的 位 逆序 置 
换 操作 吗 ? 

(动态 二 分 查找 ) 有 序数 组 上 的 二 分 查找 花费 对 数 时 间 ， 但 插入 一 个 新 元 素 的 时 间 与 数组 

规模 呈 线 性 关系 。 我 们 可 以 通过 维护 多 个 有 序数 组 来 提高 插入 性 能 。 

具体 地 ， 假 定 我 们 希望 支持 n 元 集合 上 的 SEARCH 和 INSERT HE. 4 k = [lg(Cz 十 1D)]， 
& n 的 二 进 制 表示 为 (zi > M29 "s Mo 我 们 维护 k 个 有 序数 组 Ao» Ais 5 Aris 
对 0 数组 A; 的 长 度 为 2 。 每 个 数组 或 满 或 空 ， 取决 于 n=1 还 是 n= 


0。 因 此 ， 所 有 上 个 数组 中 保存 的 元 素 总 数 为 Sn2'=n. 虽然 单独 每 个 数组 都 是 有 序 的 ， 
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但 不 同 数组 中 的 元 素 之 间 不 存在 特定 的 大 小 关系 。 

a. 设计 算法 ， 实 现 这 种 数据 结构 上 的 SEARCH 操作， 分 析 其 最 坏 情 况 运行 时 间 。 

b. 设计 INSERT 算 法。 分 析 最 坏 情 况 运 行 时 间 和 摊 还 时 间 。 

c 讨论 如 何 实现 DELETE, 

( 摊 还 加 权 平 衡 树 ) ”考虑 扩充 普通 二 又 搜索 树 ， 为 每 个 结 点 工 增加 属性 zx. size， 此 属性 给 

出 了 根 为 z 的 子 树 中 关键 字 的 数量 。 令 a Æ 1/2<e<1 之 间 的 一 个 常数 。 当 x. left. size< 

a? x. size Hx. right. size<a* x. size 时 ， 我 们 称 结 点 she 平衡 的 。 如 果树 中 每 个 结 点 都 

是 平衡 的 ， 则 称 树 整体 是 a 平衡 的 。G. Varghese 提出 了 如 下 摊 还 方法 来 维护 加 权 平 

衡 树 。 

a. 在 某 种 意义 上 ， 一 棵 1/2 平衡 树 达到 了 极限 的 平衡 。 给 定 任意 一 棵 二 又 搜索 树 中 的 一 个 
结 点 zx， 证 明 : 如 何 重建 以 z 为 根 的 子 树 ， 使 得 它 变 为 1/2 平衡 的 。 你 的 算法 的 运行 时 
间 应 该 为 8(z. size) ， 可 以 使 用 O(z. size) 的 辅助 空间 。 

b. 证 明 : 在 一 棵 个 结 点 的 a 平衡 二 叉 搜 索 树 中 执行 一 次 搜索 操作 的 最 坏 情况 时 间 为 
O(lgn) 。 

对 于 本 问题 的 剩余 部 分 ， 假定 常数 a 严格 大 于 1/2。 假 定 你 实现 的 INSERT 和 
DELETE 算法 与 普通 nr 结 点 二 又 搜索 树 的 算法 是 一 样 的， 差别 仅 在 于 ， 如 果 发 现 树 中 任何 
结 点 不 再 是 a 平衡 的 ， 则 在 最 高 的 不 平衡 结 点 ， 对 以 它 为 根 的 子 树 执行 “重建 ,使 其 变 为 
1/2 平衡 的 。 

我 们 用 势能 法 分 析 此 重建 方法 。 对 于 二 又 搜索 树 工 中 的 一 个 结 点 工 ， 定 义 

A(x) = |z. left. size — x. right. size | 

KEM T HARRO 

XT) =c >) Az) 


其 中 < 是 一 个 足够 大 的 常数 ， 它 依赖 于 a。 

c 证 明 : 任意 二 又 搜索 树 的 势 都 是 非 负 的 ，1/2 平衡 树 的 势 为 0。 

d. 假定 m 个 单位 的 势 够 支付 重建 m 结 点 子 树 的 代价 。 相 对 于 来 说 ，c 应 该 多 大 才能 使 得 
重建 一 棵 非 a 平衡 的 子 树 的 摊 还 时 间 为 O(1) 。 

e 证 明 : 在 一 棵 nn 结 点 的 a 平衡 树 中 插入 一 个 结 点 或 删除 一 个 结 点 的 摊 还 时 间 为 Ollgn) 。 

( 重 构 红 黑 树 的 代价 )” 红 黑 树 有 4 种 基本 的 结构 性 修改 (structural modification) 操 作 : Bi 

点 插入 、 结 点 删除 、 旋 转 及 更 改 颜色 。 我 们 已 经 看 到 RB-INSERT 和 RB-DELETE 操作 仅 

使 用 O(1) 次 旋转 、 结 点 插入 和 结 点 删除 操作 来 维持 红 黑 树 的 性 质 ， 但 它们 可 能 需要 很 多 

次 更 改 颜色 操作 。 

a 设计 一 个 nn 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-INSERT 添加 第 z 十 1 个 结 点 会 引起 
Agn) 次 颜色 更 改 。 然 后 设计 一 个 n 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-DELETE 删 
除 一 个 特定 结 点 会 引起 Agn) 次 颜色 更 改 。 

虽然 每 个 操作 所 引起 的 颜色 更 改 的 最 坏 情况 次 数 可 能 是 对 数 的 ， 但 我 们 可 以 证 

明 ， 在 一 个 空 红 黑 树 上 执行 任意 m 4 RB-INSERT 和 RB-DELETE 操作 构成 的 序列 ， 

最 坏 情 况 也 只 会 引起 Om) 次 结构 性 修改 。 注 意 ， 我 们 将 每 次 颜色 更 改 都 计 为 一 次 结 

构 性 修改 。 

b. RB-INSERT-FIXUP 和 RB-DELETE-FIXUP 的 代码 的 主 循环 都 处 理 一 些 终结 性 的 情况 : 
一 旦 遇 到 这 些 情况 ,会 导致 循环 在 常数 次 操作 后 终止 。 对 于 RB-INSERT-FIXUP 和 RB- 
DELETE-FIXUP 中 处 理 的 各 种 情况 ， 指 出 其 中 哪些 是 终结 性 的 ， 哪 些 不 是 。( 提 示 : 
参见 图 13-5、 图 13-6 和 图 13-7.) 
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我 们 首先 分 析 仅 仅 执行 插入 操作 时 引起 的 结构 性 修改 。 令 T 为 一 棵 红 黑 树 ， 定 义 
@(T) 是 工 中 红 结 点 数量 。 假 定 一 个 单位 的 势 可 以 支付 RB-INSERT-FIXUP 的 三 种 情况 的 
任意 一 种 所 引起 的 结构 性 修改 的 代价 。 

c. 令 T' 表 示 对 工 应 用 RB-INSERTFIXUP 的 情况 1 得 到 的 结果 。 证 明 : @(T ) = AD. 
d. 当 使 用 RB-INSERT 向 一 棵 红 黑 树 中 插入 一 个 结 点 时 ， 我 们 可 以 将 操作 分 解 为 三 部 分 。 

列 出 RB-INSERT 的 第 1 一 16 行 引起 的 结构 性 改变 和 势 的 变化 ， 以 及 RB-INSERT- 

FIXUP 的 非 终结 性 情况 引起 的 变化 和 终结 性 情况 引起 的 变化 。 

e. 使 用 (d) 证 明 : 任意 一 次 RB-INSERT 执行 所 导致 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 

我 们 现在 希望 证 明 既 执行 插入 也 执行 删除 时 ， 所 引起 的 结构 性 修改 次 数 为 Ol(m) 。 对 
每 个 结 点 zx， 我 们 定义 
0 车工 是 红 结 点 
1 若 工 是 黑 结 点 且 没 有 红 孩 子 
0 若 工 是 黑 结 点 且 有 一 个 红 孩 子 
2 若 工 是 黑 结 点 且 有 两 个 红 孩 子 


u(x) = 


现在 定义 红 黑 树 的 势 函数 为 
®(T) = Dwl) 


HS T 为 对 工 应 用 RB-INSERT-FIXUP 或 RB-DELETE-FIXUP 的 任意 非 终 结 性 情况 后 的 
结果 。 


f. WEB]: 对 RB-INSERT-FIXUP 的 任意 非 终结 性 情况 ， 有 @(T ) 过 @(T) 一 1 。 证明: RB 
INSERT-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 挫 还 次 数 为 O(1) 。 
g 证 明 : 对 RB-DELETE-FIXUP 的 任意 非 终结 性 情况 ， 有 OCT’) < @(T) 一 1。 证 明 : 


RB-DELETE-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 
h. 证 明 : £2 m^ RB-INSERT 和 RB-DELETE 操作 构成 的 序列 最 坏 情况 下 执行 OO) 次 
结构 性 修改 。 
( 移 至 前 端 自 组 织 列表 的 竞争 分 析 )” 自 组 织 列 表 是 nn 个 元 素 的 链表 ， 每 个 元 素 有 一 个 唯一 
的 关键 字 。 当 我 们 在 列表 中 搜索 元 素 时 ， 需 要 给 定 一 个 关键 字 ， 我 们 搜索 的 是 具有 这 个 关 
键 字 的 元 素 。 
一 个 自 组 织 列 表 有 两 个 重要 性 质 : 
1. 为 了 在 列表 中 查找 一 个 元 素 ， 我 们 必须 从 表 头 开始 遍历 列表 ， 直 至 遇 到 具有 给 定 关键 
字 的 元 素 位 置 。 如 果 此 元 素 是 列表 的 第 & 个 元 素 ， 则 查找 代价 为 k- 
2. 我 们 可 以 在 任意 一 个 操作 后 根据 给 定 规则 重 排列 表 元 素 ， 产 生 一 定 的 代价 。 我 们 可 以 
使 用 任何 我 们 喜欢 的 启发 式 策略 来 决定 如 何 重 排列 表 。 
假定 从 一 个 给 定 的 nn 个 元 素 的 列表 开始 ， 并 且 给 定 了 一 个 访问 序列 一 一 关键 字 搜索 序 
列 c= 一 (om ，o，…，om)。 序 列 的 代价 是 序列 中 单个 访问 的 代价 之 和 。 
在 多 种 可 能 的 列表 重 排 方 法 中 ， 本 问题 关注 相 邻 元 素 转 置 操作 一 一 交换 相 邻 元 素 在 列 
表 中 的 位 置 ， 一 次 转 置 的 代价 为 单位 时 间 。 你 可 以 用 势 函数 证 明 : 针对 移 至 前 端 列表 的 重 
排 问题 ， 一 种 特定 的 启发 式 策略 的 代价 最 坏 情况 也 不 会 超过 任何 其 他 启发 式 策略 的 代价 的 
4 倍 ， 即 使 其 他 启发 式 策略 预先 知道 访问 序列 ! 我 们 称 这 种 分 析 为 竞争 分 析 。 
对 于 一 个 启发 式 策略 H 和 列表 的 一 个 给 定 的 初始 顺序 ， 我 们 将 序列 o 的 访问 代价 记 为 
Cue). om RR o 中 访问 的 数量 。 
a 证 明 : 若 启发 式 策略 H 预先 不 知道 访问 序列 ， 那 么 利用 HH 来 处 理 访 问 序列 o 的 最 坏 情 
MARMA Culo) = AGm) 。 
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当 使 用 移 至 前 端 启 发 式 策略 时 ， 搜 索 到 元 素 工 后 ， 我 们 将 z 移 动 到 列表 的 第 一 个 位 置 
〈 即 列表 的 前 端 ) 。 
令 rank, (z) 表示 元 素 z 在 列表 L 中 的 序号 ， 即 z 在 工 中 的 位 置 。 例 如 ， 若 开 是 工 中 
第 4 个 元 素 ， 那 么 rank' (zx) = 4. Oo 表示 用 移 至 前 端 策略 处 理 访 问 c; 的 代价 ， 包 括 在 
列表 中 查找 元 素 的 代价 和 通过 一 系列 相 邻 元 素 转 置 操作 将 其 移 至 列表 前 端的 代价 。 
b. 证 明 : WR o 使 用 移 至 前 端 策略 在 工 中 访问 元 素 z， 则 c = 2+ rank,(z)—1, 
现在 我 们 比较 移 至 前 端 策略 与 其 他 任何 按照 上 述 两 个 性 质 处 理 访问 序列 的 启发 式 策略 
H. R H 可 能 按 任何 它 想 用 的 方式 转 置 列表 中 的 元 素 ， 它 甚至 可 能 预先 知道 整个 访问 
序列 。 
令 Li 表示 使 用 移 至 前 端 策略 处 理 访问 o; 后 得 到 的 列表 ，L; 表示 使 用 策略 H 后 得 到 
的 列表 。 我 们 用 c; 表示 移动 前 端 策略 的 代价 ，c "表示 策略 H 的 代价 。 假 定 策略 H 在 处 理 
访问 ec 时 执行 1; 次 转 置 。 
c 在 (b) 中 ， 你 证 明了 c = 2 e rank, (x) 一 1 。 现 在 证 明 : c = ranks, (2) +t; o 
我 们 定义 逆序 (inversion) 关 系 : L: 中 一 对 元 素 > Mz, FEL, Py fez 之 前 , HEL, Pez 
在 y 之 前 。 假 定 处 理 完 访问 序列 (mc ，o ，…，o;)，L; PAG: 个 逆序 关系 。 然 后 ， 我 们 定 
义 一 个 势 函 数 B， 将 L; 映射 到 实数 OL) = 2q,. PIN, WIR L 有 元 素 (e，c，a，d，D)， 
而 L;" 有 元 素 (c，a，6b，d，e)， PAL, A 5 HBF ((e,c),(e,a),(e,d),(e,b),(d,b))， 
因此 @(L;) = 10 。 观 察 到 对 所 有 i， 都 有 OL) 三 0 ， 并 且 如 果 移 至 前 端 策略 和 策略 H 从 
相同 的 列表 Lo 开始 ， 那 么 BCL.) = 0. 
d. WH: 转 置 操 作 要 么 将 势 增加 2， 要 么 减少 2。 
假定 访问 o 查找 元 素 z。 为 了 理解 势 是 如 何 根据 o 来 变化 的 ， 我 们 将 除 zx 之 外 的 元 素 
划分 为 4 个 集合 ， 划 分 的 依据 是 在 第 i 次 访问 之 前 它们 在 列表 中 的 位 置 : 
。 集合 A 包含 在 L;_ A Li PLF r ZMR. 
。 集合 B 包 含 在 L;_! 中 位 于 工 之 前 的 元 素 ， 在 L PAF r ARTE. 
。 集合 C 包 含 在 L; 1 中 位 于 xz 之 后 的 元 素 ， E La PAF r eME. 
。 集合 DABSEL,. ALL, 中 都 位 于 工 之 后 的 元 素 。 
e 证 明 : rank,,(z) = |A| + |B| +1 H ranky, (z) = |A| +/C| +1. 
f. 证 明 : 处 理 访问 o, 会 引起 势 的 变化 
SLD — PL) < 2¢|A| — | B| +27) 
BH, tf 表示 用 启发 式 策略 H 处 理 访问 e 期 间 执行 的 转 置 操 作 次 数 。 
我 们 定义 处 理 访问 s 的 摊 还 代价 为 6 = c + OCL;) — O(L;.). 
g 证 明 : 处 理 访问 o: 的 摊 还 代价 的 上 界 为 4c; 。 
h. 证 明 : 使 用 移 至 前 端 策略 处 理 访问 序列 o 的 代价 Cwr(c) 至 多 是 用 其 他 任何 启发 式 策略 
开 处 理 c 的 代价 Cn(o) 的 4 倍 ， 假定 两 种 启发 式 策略 都 是 从 相同 的 列表 开始 处 理 访 
问 序列 。 


本 章 注 记 

Aho, Hopcroft 和 Ullman [5j] 使 用 聚合 分 析 方 法 来 确定 不 相交 集合 森林 上 的 操作 的 运行 时 
间 ; 我 们 将 在 第 21 章 用 势能 法 来 分 析 这 种 数据 结构 。Tarjan [331] 考 察 了 摊 还 分 析 的 核算 法 和 势 
能 法 ,， 并 提出 了 多 个 应 用 。 他 将 核算 法 的 提出 归功 于 多 位 作者 ,包括 M. R. Brown, 
R. E. Tarjan, S. Huddleston 和 K. Mehlhorn， 将 势能 法 归功 于 D. D. Sleator， 而 “ 挫 还 ”一 词 则 归 
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功 于 D. D. Sleator 和 R. E. Tarjan. 

势 函 数 对 证 明 某 些 特定 类 型 的 问题 的 下 界 也 很 有 用 。 对 问题 的 每 个 局 面 ， 我 们 定义 一 个 势 
函数 将 局 面 映射 到 一 个 实数 。 接 着 确定 初始 局 面 的 势 @.， 结 束 局 面 的 势 Ba 及 任何 步骤 引起 的 
最 大 势 变化 AD MERREN | Bo 一 Bi | / | ABr | 。 这 方面 的 例子 包括 用 势能 法 证 明 MO 
复杂 性 的 下 界 ， 出 现在 Cormen, Sundquist 和 Wisniewski[79] 的 工作 中 、Floyd [107] 的 工作 中 及 
Aggarwal 和 Vitter [3] 的 工作 中 。Krumme、Cybenko 和 Venkataraman [221] 将 势能 法 用 于 证 明 
流言 问题 的 下 界 : 在 一 个 图 中 从 每 个 顶点 传输 一 个 独一无二 的 数据 项 到 所 有 其 他 顶点 。 

思考 题 17-5 提 及 的 移 至 前 端 启发 式 策略 在 实际 应 用 中 效果 非常 好 。 而 且 ， 当 我 们 查找 到 一 
个 元 素 时 ， 我们 可 以 在 常量 时 间 内 将 它 从 列表 中 原来 位 置 抽 离 并 放置 在 列表 前 端 ， 我 们 可 以 证 
明 移 至 前 端 策略 的 代价 至 多 是 其 他 任何 启发 式 策略 的 代价 的 2 倍 ， 再 次 重申 ， 即 使 其 他 策略 预先 

知道 完整 的 访问 序列 也 是 如 此 。 
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这 部 分 再 回 过 来 讨论 支持 动态 数据 集 上 操作 的 数据 结构 ， 但 是 在 比 第 
三 部 分 更 高 的 层次 上 进行 。 例 如 ， 其 中 有 两 章 要 广泛 地 使 用 在 第 17 章 中 
介绍 的 摊 还 分 析 技 术 。 

第 18 章 介 绍 B 树 ， 这 是 为 磁盘 存储 而 专门 设计 的 一 类 平衡 搜索 树 。 由 
于 磁盘 操作 比 随机 存 取 存 储 器 要 慢 得 多 ， 因 此 度量 B 树 的 性 能 ， 不 仅 要 考 
虑 动态 集合 操作 消耗 了 多 少 计算 时 间 ， 而 且 还 要 考虑 这 些 操 作 执 行 了 多 少 
次 磁盘 存 取 。 对 每 个 B 树 操作 ， 磁 盘存 取 的 次 数 随 着 B 树 的 高 度 增 加 。 

第 19 章 给 出 一 种 可 合并 堆 的 实现 ， 它 支持 INSERT, MINIMUM, 
EXTRACT-MIN 和 UNION 操作 s 。UNION 操作 合并 两 个 堆 。 第 19 章 中 
介绍 的 数据 结构 一 一 斐 波 那 契 堆 还 支持 DELETE 和 DECREASE-KEY 操 
作 。 我 们 使 用 摊 还 时 间 界 来 度量 斐 波 那 契 堆 的 性 能 。 在 斐 波 那 超 堆 上 ， 
INSERT, MINIMUM 和 UNION 操作 仅 花 费 OC) 的 实际 时 间 和 摊 还 时 
间 ，EXTRACT-MIN 和 UNION 操作 要 花费 O(lgn) 的 摊 还 时 间 。 然 而 ， 
斐 波 那 契 堆 的 最 显著 优点 是 DECREASE-KEY 操作 只 需 花 费 0(1) 的 摊 还 
时 间 。 正 是 由 于 该 操作 只 需 常 数 摊 还 时 间 ， 才 使 得 斐 波 那 契 堆 成 为 某 些 迄 
今 为 止 渐 近 最 快 的 图 问题 算法 的 核心 部 分 。 

注意 到， 当 关 键 字 是 有 限 范围 内 的 整数 时 ， 排 序 算法 可 以 超越 Q(nlgn) 时 
间 的 下 界 。 第 20 章 提 出 了 这 样 一 个 问题 : 当 关键 字 同 为 有 限 范围 内 的 整数 时 ， 
是 否 可 以 设计 一 种 数据 结构 ,使 其 支持 动态 集 上 的 SEARCH, INSERT, 
DELETE, MINIMUM, MAXIMUN, SUCCESSOR 和 PREDECESSOR 
操作 仅 花 费 O(lgn) 时 间 。 答 案 告诉 我 们 可 以 做 到 ， 那 就 是 通过 使 用 一 种 
称 为 van Emde Boas 树 的 递归 数据 结构 。 如 果 关 键 字 是 唯一 整数 是 来 自 集 
合 10，1，2，…，zx 一 1| ， 这 里 x 恰 是 2 0K, HbA van Emde Boas 树 就 能 


昌 如 思考 题 10-2 中 一 样 ， 我 们 已 经 定义 了 支持 MINIMUM 和 EXTRACT-MIN 的 可 合并 堆 ， 因 此 可 以 把 它 称 为 可 


合并 的 最 小 堆 。 或 者 ， 如 果 它 支持 MAXIMUM 和 EXTRACT-MAX， 则 它 是 一 个 可 合并 的 最 大 堆 。 除 非 我 们 另 
外 指定 ， 可 合并 的 堆 默认 就 是 可 合并 的 最 小 堆 。 
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在 O(lglgz) 的 时 间 内 完成 上 述 的 每 个 操作 。 

最 后 ， 第 21 章 介 绍 用 于 不 相交 集合 的 一 些 数据 结构 。 由 n 个 元 素 构成 的 全 域 被 划分 成 若干 
动态 集合 。 开 始 时 ， 每 个 元 素 属 于 由 其 自身 所 构成 的 单元 集合 。 操 作 UNION 将 两 个 集合 进行 合 
并 ， 而 查询 操作 FIND-SET 则 可 以 确定 给 定 的 元 素 当前 所 属 的 那个 集合 。 通 过 将 每 个 集合 表示 
为 一 棵 简单 有 根 树 的 方法 ， 就 可 以 得 到 一 些 惊 人 的 快速 的 操作 : 一 个 由 m 个 操作 构成 的 序列 ， 
其 运行 时 间 为 O(ma(n)) ， 这 里 aln) 是 一 个 增长 得 极 慢 的 函数 一 一 在 任何 可 想象 的 应 用 中 aln) 
至 多 为 4。 证明 这 个 时 间 界 的 摊 还 分 析 是 比较 复杂 的 ， 而 其 数据 结构 却 是 简单 的 。 

这 一 部 分 包含 的 主题 不 是 仅仅 上 面 提 到 的 这 几 种 “高 级 "数据 结构 ， 还 包含 如 下 一 些 其 他 高 
级 数据 结构 : 


动态 树 ， 由 Sleator 和 Tarjan[319] 引 入 ， 并 由 Tarjan[330] 所 论述 ， 它 维护 一 个 不 相交 的 
有 根 树 的 森林 。 每 棵 树 内 的 每 条 边 都 有 一 个 实数 值 的 代价 。 动 态 树 支持 查询 双亲 、 根 、 
边 的 代价 ， 以 及 从 一 个 结 点 到 根 的 路 径 上 的 最 小 边 代价 的 查询 。 这 种 树 允 许 的 操作 有 : 
割 边 ， 更 新 从 一 个 结 点 到 根 的 路 径 上 所 有 边 的 代价 ， 将 一 个 根 链接 到 另 一 棵 树 ， 以 及 将 
某 个 结 点 变 为 其 所 在 树 的 根 。 在 动态 树 的 一 种 实现 中 ， 对 每 种 操作 具有 O(lgn) 的 挫 还 时 
WA; 在 另 一 种 更 复杂 的 实现 中 ， 最 坏 情况 时 间 界 为 O(lgn) 。 动 态 树 被 用 于 一 些 渐 近 最 
快 的 网 络 流 算法 中 。 

伸展 树 (splay trees), H Sleator 和 Tarjan[ 320] 发 展 而 来 ， 并 再 由 Tarjan[ 330] 所 论述 ， 
是 二 叉 搜 索 树 的 一 种 形式 。 在 其 上 进行 的 标准 搜索 树 操作 的 挫 还 时 间 为 O(lgn) 。 促 展 树 
的 应 用 之 一 是 简化 动态 树 。 

持久 数据 结构 允许 在 过 去 版 本 的 数据 结构 上 进行 查询 ， 甚 至 有 时 候 可 以 进行 更 新 。 
Driscoll, Sarnak, Sleator 和 Tarjan[ 97] 给 出 了 只 需 很 小 的 时 空 代价 就 可 以 使 链 式 数据 结 
构 持久 化 的 技术 。 思 考题 13-1 给 出 一 个 持久 动态 集 的 简单 示例 。 


。 正如 在 第 20 章 中 介绍 的 ， 一 些 数 所 结构 允 许 在 关键 字 的 一 个 带 限制 全 域 上 实现 一 个 更 快 的 字 


典 操作 (INSERT、DELETE 和 SEARCH)。 利 用 这 些 限 制 的 优点 ， 它 们 能 够 得 到 比 基 于 比较 
的 数据 结构 更 好 的 最 坏 情况 渐 近 运行 时 间 。Fredman 和 Willard [115] 引 入 了 聚合 树 (fusion 
trees) ， 它 是 当 限 制 全 域 为 整数 时 ， 第 一 种 允许 更 快 的 字典 操作 的 数据 结构 。 他 们 说 明了 如 何 
H O(lgn/glgn) 时 间 内 实现 这 些 操作 。 几 个 后 来 的 数据 结构 ， 包 括 指数 搜索 树 [16]， 也 给 出 
某 些 或 全 部 字典 操作 的 改进 的 界 ， 本 书 的 章节 注 记 中 会 提 到 它们 。 

动态 图 数据 结构 在 允许 通过 插入 或 删除 顶点 或 边 的 操作 来 改变 图 结构 的 同时 ， 还 支持 各 种 
查询 。 支 持 查 询 的 例子 包括 顶点 连通 性 [166]、 边 连通 性 、 最 小 生成 树 [165] 、 双 连通 性 ， 
以 及 传递 闭 包 [164]。 


本 书 的 章节 注 记 中 还 会 提 到 另外 一 些 数据 结构 。 
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B 树 


B 树 是 为 磁盘 或 其 他 直接 存 取 的 辅助 存储 设备 而 设计 的 一 种 平衡 搜索 树 。B 树 类 似 于 红 黑 树 
(第 13 章 )， 但 它们 在 降低 磁盘 IO 操作 数 方面 要 更 好 一 些 。 许 多 数据 库 系 统 使 用 B 树 或 者 B 树 
的 变种 来 存储 信息 。 

B 树 与 红 黑 树 的 不 同 之 处 在 于 B 树 的 结 点 可 以 有 很 多 孩子 ， 从 数 个 到 数 千 个 。 也 就 是 说 ,一 
个 B 树 的 “分 支 因 子 ” 可 以 相当 大 ， 尽 管 它 通常 依赖 于 所 使 用 的 磁盘 单元 的 特性 。B 树 类 似 于 红 黑 
树 ， 就 是 每 棵 含有 个 结 点 的 B 树 的 高 度 为 Ol(lgn) 。 然 而 ,一 棵 B 树 的 严格 高 度 可 能 比 一 棵 红 
黑 树 的 高 度 要 小 许多 ， 这 是 因为 它 的 分 支 因 子 ， 也 就 是 表示 高 度 的 对 数 的 底数 可 以 非常 大 。 因 
此 ， 我 们 也 可 以 使 用 B 树 在 时 间 OU gn) 内 完成 一 些 动态 集合 的 操作 。 

B 树 以 一 种 自然 的 方式 推广 了 二 叉 搜 索 树 。 图 18-1 给 出 了 一 棵 简单 的 B 树 。 如 果 B 树 的 一 
个 内 部 结 点 包含 x.n 个 关键 字 ， 那 么 结 点 RA r n 十 1 个 孩子 。 结 点 x 中 的 关键 字 就 是 分 隔 
点 ， 它 把 结 点 工 中 所 处 理 的 关键 字 的 属性 分 隔 为 zx. n 十 1 个 子 域 ， 每 个 子 域 都 由 z 的 一 个 孩子 处 
理 。 当 在 一 棵 B 树 中 查找 一 个 关键 字 时 ， 基 于 对 存储 在 x 中 的 z.7 个 关键 字 的 比较 ， 做 出 一 个 
(Zz.n 十 1) 路 的 选择 。 叶 结 点 的 结构 与 内 部 结 点 的 结构 不 同 ，18. 1 节 将 讨论 这 些 差别 。 


Troot 





Bi ux 





图 18-1 一 棵 关键 字 为 英语 中 辅音 字母 的 B 树 。 一 个 内 部 结 点 包含 zn 个 关键 字 以 及 x.n 十 1 个 孩 
子 ， 所 有 叶 结 点 处 于 树 中 相同 的 深度 。 浅 阴影 的 结 点 是 在 查找 字母 R 时 检查 过 的 结 点 

18. 1 节 给 出 B 树 的 精确 定义 ， 并 证 明了 B 树 的 高 度 仅 随 它 所 包含 的 结 点 数 按 对 数 增长 。 
18. 2 节 介绍 如 何在 B 树 中 查找 和 插入 一 个 关 主轴 
键 字 ，18. 3 节 讨论 删除 操作 。 然 而 ， 在 开始 BE 
之 前 ， 需 要 弄 清 楚 为 什么 针对 磁盘 设计 的 数 
据 结构 不 同 于 针对 随机 访问 的 主 存 所 设计 的 
数据 结构 。 

辅 存 上 的 数据 结构 

计算 机 系统 利用 各 种 技术 来 提供 存储 能 
力 。 一 个 计算 机 系统 的 主 存 (primary memory 
或 main memory) 通 常 由 硅 存储 芯片 组 成 。 这 种 
技术 每 位 的 存储 代价 一 般 要 比 磁 存 储 技术 
(如 磁带 或 磁盘 ) 高 不 止 一 个 数量 级 。 许 多 计 图 18-2 ”一 个 典型 的 磁盘 驱动 器 。 它 包括 了 一 个 或 








读 / 写 磁头 


算 机 系统 还 有 基于 磁盘 的 辅 存 (secondary Op re Yt eee ee 
storage) ; 这 种 辅 存 的 容量 通常 要 比 主 存 的 写 。 这 些 磁 辟 围绕 着 一 个 共同 的 旋转 轴 旋 
容量 高 出 至 少 两 个 数量 级 。 转 。 当 读 / 写 磁头 静止 时 ， 由 它 下 方 经 过 的 


图 18-2 是 一 个 典型 的 磁盘 驱动 器 。 驱 动 磁盘 表面 就 是 一 个 磁道 
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器 由 一 个 或 多 个 盘 片 (platter) 组 成 ， 它 们 以 一 个 固定 的 速度 绕 着 一 个 共同 的 主轴 (spindle) 旋 转 。 
每 个 盘 的 表面 覆盖 着 一 层 可 磁化 的 物质 。 驱 动 器 通过 磁 臂 (arm) 末 尾 的 磁头 (head) 来 读 / 写 盘 片 。 
磁 臂 可 以 将 磁头 向 主轴 移 近 或 移 远 。 当 一 个 给 定 的 磁头 处 于 静止 时 ， 它 下 面 经 过 的 磁盘 表面 称 
为 一 个 磁道 (track) 。 多 个 盘 片 增加 的 仅仅 是 磁盘 驱动 器 的 容量 ， 而 不 影响 性 能 。 

尽管 磁盘 比 主 存 便宜 并 且 具 有 更 多 的 容量 ,但 是 它们 比 主 存 慢 很 多 ， 因 为 它们 有 机 械 运动 
的 部 分 8 。 磁 盘 有 两 个 机 械 运动 的 部 分 : 盘 片 旋转 和 磁 辟 移动 。 在 撰写 本 书 时 ， 商 用 磁盘 的 旋转 
速度 是 5 400~15 000 转 / 分 钟 (RPM) 。 通 常 看 到 的 15 OOORPM 的 速度 是 用 于 服务 器 级 的 驱动 器 
上 ，7 200RPM 的 速度 用 于 台式 机 的 驱动 器 上 ，5 400RPM 的 速度 用 于 笔记 本 的 驱动 器 上 。 尽 管 
7 200RPM 看 上 去 很 快 ， 但 是 旋转 一 圈 需 要 8. 33ms， 比 硅 存 储 的 常见 存 取 时 间 50ns 要 高 出 5 个 
数量 级 。 也 就 是 说 ， 如 果 不 得 不 等 待 一 个 磁盘 旋转 完整 的 一 图 ， 让 一 个 特定 的 项 到 达 读 / 写 磁 头 
下 方 ， 在 这 个 时 间 内 ， 我 们 可 能 存 取 主 存 超 过 100 000 次 。 平 均 来 讲 ， 只 需 等 待 半 圈 ， 但 硅 存 储 
存 取 时 间 和 磁盘 存储 存 取 时 间 的 差距 仍然 是 巨大 的 。 移 动 磁 辟 也 要 耗费 时 间 。 在 撰写 本 书 时 ， 商 
用 磁盘 的 平均 存 取 时 间 在 8~ 1 1 ms 范围 内 。 

为 了 摊 还 机 械 移 动 所 花费 的 等 待 时 间 ， 磁 盘 会 一 次 存 取 多 个 数据 项 而 不 是 一 个 。 信 息 被 分 
为 一 系列 相等 大 小 的 在 柱 面 内 连续 出 现 的 位 页 面 (page)， 并 且 每 个 磁盘 读 或 写 一 个 或 多 个 完整 的 
页 面 。 对 于 一 个 典型 的 磁盘 来 说 ， 一 页 的 长 度 可 能 为 2”~2* 字 节 。 一 旦 读 / 写 磁头 正确 定位 ， 并 
且 盘 片 已 经 旋转 到 所 要 页 面 的 开头 位 置 ， 对 磁盘 的 读 或 写 就 完全 电子 化 了 (除了 磁盘 的 旋转 外 )， 
磁盘 能 够 快速 地 读 或 写 大 量 的 数据 。 

通常 ， 定 位 到 一 页 信息 并 将 其 从 磁盘 里 读 出 的 时 间 要 比 对 读 出 信息 进行 检查 的 时 间 要 长 得 
多 。 因 此 ， 本 章 将 对 运行 时 间 的 两 个 主要 组 成 成 分 分 别 加 以 考虑 : 

。 磁盘 存 取 次 数 。 

。 CPU( 计 算 ) 时 间 。 

我 们 使 用 需要 读 出 或 写 人 磁盘 的 信息 的 页 数 来 衡量 磁盘 存 取 次 数 。 注 意 到 ， 磁 盘存 取 时 间 
并 不 是 常量 一 一 它 依赖 于 当前 磁道 和 所 需 磁道 之 间 的 距离 以 及 磁盘 的 初始 旋转 状态 。 但 是 ， 我 
们 仍然 使 用 读 或 写 的 页 数 作为 磁盘 存 取 总 时 间 的 主要 近似 值 。 

在 一 个 典型 的 也 树 应 用 中 ， 所 要 处 理 的 数据 量 非常 大 ， 以 至 于 所 有 数据 无 法 一 次 装 人 主 存 。 
B 树 算法 将 所 需 页 面 从 磁盘 复制 到 主 存 ， 然 后 将 修改 过 的 页 面 写 回 磁盘 。 在 任何 时 刻 ，B 树 算法 
都 只 需 在 主 存 中 保持 一 定数 量 的 页 面 。 因 此 ， 主 存 的 大 小 并 不 限制 被 处 理 的 B 树 的 大 小 。 

用 以 下 的 伪 代 码 来 对 磁盘 操作 进行 建 模 。 设 z 为 指向 一 个 对 象 的 指针 。 如 果 该 对 象 正 在 主 
存 中 ， 那 么 可 以 像 平 常 一 样 引用 该 对 象 的 各 个 属性 : 如 zx. key。 然 而 ， 如 果 x 所 指向 的 对 象 驻 留 
在 磁盘 上 ， 那 么 在 引用 它 的 属性 之 前 ， 必 须 先 执行 DISK-READ(z)， 将 该 对 象 读 入 主 存 中 。( 假 
HUR z 已 经 在 主 在 中 ,那么 DISK-READ(z) 不 需要 磁盘 存 取 ， 即 它 是 个 空 操作 。) 类 似 地 ， 操 
作 DISK-WRITE(z) 用 来 保存 对 象 z 的 属性 所 做 的 任何 修改 。 也 就 是 说 ， 一 个 对 象 操作 的 典型 模 
式 如 下 : 

x = a pointer to some object 

DISK-READ(x) 

operations that access and/or modify the attributes of z 

DISK-WRITE(z) // omitted if no attributes of z were changed 

other operations that access but do not modify attributes of x 


在 任何 时 刻 ， 这 个 系统 可 以 在 主 存 中 只 保持 有 限 的 页 数 。 假 定 系统 不 再 将 被 使 用 的 页 从 主 


O 在 撰写 本 书 时 ， 固 态 硬盘 刚刚 出 现在 消费 市 场 。 尽 管 它们 比 机 械 的 磁盘 驱动 器 快 ， 但 是 它们 每 GB 的 成 本 更 高 ， 
并 且 比 机 械 磁 盘 驱动 器 的 容量 更 小 。 
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存 中 换 出 ; 后 面 的 B 树 算法 会 忽略 这 一 点 。 

由 于 在 大 多 数 系统 中 ， 一 个 B 树 算法 的 运行 时 间 主 要 由 它 所 执行 的 DISK-READ 和 DISK- 
WRITE 操作 的 次 数 决定 ， 所 以 我 们 希望 这 些 操 作 能 够 读 或 写 尽 可 能 多 的 信息 。 因 此 ,一 个 B 树 
结 点 通常 和 一 个 完整 磁盘 页 一 样 大 ， 并 且 磁 盘 页 的 大 小 限制 了 一 个 B 树 结 点 可 以 含有 的 孩子 
个 数 。 

对 存储 在 磁盘 上 的 一 棵 大 的 B 树 ， 通 常 看 到 分 支 因 子 在 50 一 2 000 之 间 ， 具 体 取决 于 一 个 关 
键 字 相对 于 一 页 的 大 小 。 一 个 大 的 分 支 因子 可 以 大 大 地 降低 树 的 高 度 以 及 查找 任何 一 个 关键 字 
所 需 的 磁盘 存 取 次 数 。 图 18-3 显示 的 是 一 棵 分 支 因 子 为 1001、 高 度 为 2 的 B 树 ， 它 可 以 存储 超 
过 10 亿 个 关键 字 。 不 过 ， 由 于 根 结 点 可 以 持久 地 保存 在 主 存 中 ， 所 以 在 这 棵 树 中 查找 某 个 关键 
字 至 多 只 需 两 次 磁盘 存 取 。 


Troot 


1 个 结 点 ， 
1 000 个 关键 字 


1 001 个 结 点 ， 
1 001 000 个 关键 字 





1 002 001 个 结 点 ， 
1 002 001 000 个 关键 字 


图 18-3 一 棵 高 度 为 2 的 B 树 包含 10 亿 多 个 关键 字 。 显 示 在 每 个 结 点 xz 内 的 是 x.n， 表 示 zx 中 关键 
字 个 数 。 每 个 内 部 结 点 及 叶 结 点 包含 1 000 个 关键 字 。 这 棵 B 树 在 深度 1 上 有 1 001 个 结 
点 ,在 深度 2 上 有 超过 100 万 个 叶 结 点 


18. 1 B 树 的 定义 


为 简 音 起见， 我们 假定 ， 就 像 二 又 搜索 树 和 红 黑 树 中 一 样 ， 任 何 和 关键 字 相 联系 的 “卫星 数 
据 ”(satellite information) 将 与 关键 字 一 样 存放 在 同一 个 结 点 中 。 实 际 上 ， 人 们 可 能 只 是 为 每 个 关 
键 字 存放 一 个 指针 ， 这 个 指针 指向 存放 该 关键 字 的 卫星 数据 的 磁盘 页 。 这 一 章 的 伪 代 码 都 隐 含 
地 假设 了 当 一 个 关键 字 从 一 个 结 点 移动 到 另 一 个 结 点 时 ， 无 论 是 与 关键 字 相 联系 的 卫星 数据 ， 
还 是 指向 卫星 数据 的 指针 ， 都 会 随 着 关键 字 一 起 移动 。 一 个 常见 的 B 树 变种 ， 称 为 Bte B- 
tree)， 它 把 所 有 的 卫星 数据 都 存储 在 叶 结 点 中 ， 内 部 结 点 只 存放 关键 字 和 孩子 指针 ， 因 此 最 大 


化 了 内 部 结 点 的 分 支 因子 。 
一 棵 B 树 工 是 具有 以 下 性 质 的 有 根 树 ( 根 为 T. root): 
1. 每 个 结 点 zz 有 下 面 属性 : 
a. z. n， 当 前 存储 在 结 点 z 中 的 关键 字 个 数 。 
b.xz.n 个 关键 字 本 身 zx.key，x.key,，…，X.key:»， 以 非 降序 存放 ， 使 得 zx. keyi < 


x. key LKT. heyy no 

c x. Leaf， 一 个 布尔 值 ， 如 果 工 是 叶 结 点 ， 则 为 TRUE; WR 2 HARE, Wy FALSE, 

2. 每 个 内 部 结 点 工 还 包含 z.z 十 1 个 指向 其 孩子 的 指针 zx. cl ，z. ce ，…，ZX. cznt1。 叶 结 点 没 
有 孩子， 所 以 它们 的 c; 属性 没有 定义 。 

3. 关键 字 x. key, 对 存储 在 各 子 树 中 的 关键 字 范 围 加 以 分 割 : 如 果 & 为 任意 一 个 存储 在 以 
x. ci 为 根 的 子 树 中 的 关键 字 ， 那 么 

ki Sax. key, Shy Sx. hey, Je S T. heen S krn 
4. 每 个 叶 结 点 具有 相同 的 深度 ， 即 树 的 高 度 ho 
5 每 个 结 点 所 包含 的 关键 字 个 数 有 上 界 和 下 界 。 用 一 个 被 称 为 B 树 的 最 小 度数 (minmum 
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degree) 的 固定 整数 :人 2 来 表示 这 些 界 : 

a. 除了 根 结 点 以 外 的 每 个 结 点 必须 至 少 有 :一 1 个 关键 字 。 因 此 ， 除 了 根 结 点 以 外 的 每 个 内 
部 结 点 至 少 有 上 个 孩子 。 如 果树 非 空 ， 根 结 点 至 少 有 一 个 关键 字 。 

b. 每 个 结 点 至 多 可 包含 2! 一 1 个 关键 字 。 因 此 ， 一 个 内 部 结 点 至 多 可 有 2 个 孩子 。 当 一 个 
结 点 恰好 有 2 一 1 个 关键 字 时 ， 称 该 结 点 是 满 的 (fulD) .° 

t=2 时 的 B 树 是 最 简单 的 。 每 个 内 部 结 点 有 2 个 、3 个 或 4 个 孩子 ， 即 一 棵 2-3-4 树 。 然 而 
在 实际 中 ，t 的 值 越 大 ，B 树 的 高 度 就 越 小 。 

B 树 的 高 度 

B 树 上 大 部 分 的 操作 所 需 的 磁盘 存 取 次 数 与 B 树 的 高 度 是 成 正比 的 。 现 在 来 分 析 B 树 最 坏 情 
况 下 的 高 度 。 

定理 18. 1 如 果 n 宇 1， 那 么 对 任意 一 棵 包含 放 n 个 关键 字 、 高 度 为 h、 最 小 度数 t2 t BA 
T， 有 


n+1 
2 


证 明 B 树 工 的 根 至 少 包含 一 个 关键 字 ， 而 且 所 有 其 他 的 结 点 至 少 包含 :一 1 个 关键 字 。 因 
I, ee BEA h H BI TERE 1 至 少 包 含 2 个 结 点 ， 在 深度 2 至 少 包含 2 个 结 点 ， 在 深度 3 至 
少 包含 2 DER GF, HARE h ELA Oe 个 结 点 。 图 18-4 给 出 了 /一 3 时 的 一 棵 树 。 因 
此 ， 关 键 字 的 个 数 ”满足 不 等 式 : 

n>1+(—1) Yat =1420—1(L=4) 一 2 一 1 


由 简单 的 代数 变换 ， 可 以 得 到 < (n 十 1)/2 。 两 边 取 以 :为 底 的 对 数 就 证 明了 定理 。 CU 


h< log, 





深度 结 点 数 





图 18-4 一 棵 高 度 为 3 的 B 树 可 以 包含 的 最 小 可 能 关键 字 个 数 。 每 个 结 点 zx 内 部 显示 的 是 zx. n 


与 红 黑 树 对 比 ， 这 里 我 们 看 到 了 B 树 的 能 力 。 尽 管 二 者 的 高 度 都 以 O(lgz) 的 速度 增长 (注意 
t 是 个 常数 )， 但 对 B 树 来 说 ， 对 数 的 底 可 以 大 很 多 倍 。 因 此 ， 对 大 多 数 树 的 操作 来 说 ， 要 检查 
的 结 点 数 在 B 树 中 要 比 在 红 黑 树 中 少 大 约 lee 的 因子 。 由 于 在 一 棵 树 中 检查 任意 一 个 结 点 都 需要 
一 次 磁盘 访问 ， 所 以 B 树 避免 了 大 量 的 磁盘 访问 。 


练习 
18. 1-1 为 什么 不 允许 最 小 度数 :二 1? 
18.1-2 当 t 取 何 值 时 ， 图 18-1 所 示 的 树 是 一 棵 合法 的 B 树 ? 


O 另 一 个 常见 的 BB 树 变种 称 为 B* 树 ， 它 要 求 每 个 内 部 结 点 至 少 是 2/3 满 的 ， 而 不 像 B 树 要 求 的 至 少 是 半 满 的 。 
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18.1-3 ”请 给 出 表示 {1，2，3，4，5} 的 最 小 度数 为 2 的 所 有 合法 BH. 

18. 1-4 一 棵 高 度 为 hh 的 B 树 中 ， 可 以 存储 最 多 多 少 个 关键 字 ? 用 最 小 度数 上 的 函数 表示 。 

18.1-5 如果 红 黑 树 中 每 个 黑 结 点 吸收 它 的 红色 孩子 ， 并 把 它们 的 孩子 并 和 人 作为 自己 的 孩子 ， 描 
述 这 个 结果 的 数据 结构 。 


18.2 B 树 上 的 基本 操作 

本 节 将 给 出 B-TREE-SEARCH、B-TREE-CREATE 和 B-TREE-INSERT 操作 的 细节 。 在 这 
些 过 程 中 ,我 们 采用 两 个 约定 : 

。 B 树 的 根 结 点 始终 在 主 存 中 ， 这 样 无 需 对 根 做 DISK-READ 操作 ; 然而， 当 根 结 点 被 改 

变 后 ， 需 要 对 根 结 点 做 一 次 DISK-WRITE 操作 。 

。 任何 被 当做 参数 的 结 点 在 被 传递 之 前 ， 都 要 对 它们 先 做 一 次 DISK-READ 操作 。 

我 们 给 出 的 过 程 都 是 “单程 算法 ， 即 它们 从 树 的 根 开始 向 下 ， 没 有 任何 返回 向 上 的 过 程 。 

搜索 B 树 

搜索 一 棵 B 树 和 搜索 一 棵 二 叉 搜 索 树 很 相似 ， 只 是 在 每 个 结 点 所 做 的 不 是 二 叉 或 者 “两 路 ” 
分 支 选择 ， 而 是 根据 结 点 的 孩子 数 做 多 路 分 支 选 择 。 更 严格 地 说 ， 对 每 个 内 部 结 点 z， 做 的 是 一 
个 (z.n 十 1) 路 的 分 支 选 择 。 

B-TREE-SEARCH 是 定义 在 二 叉 搜索 树 上 的 TREE-SEARCH 过 程 的 一 个 直接 推广 。 它 的 输 
入 是 一 个 指向 某 子 树 根 结 点 工 的 指针 ， 以 及 要 在 该 子 树 中 搜索 的 一 个 关键 字 &。 因 此 ， 项 层 调 用 
的 形式 为 BTREE-SEARCH(T', root, k), WẸ k Æ BHH, 那么 B-TREE-SEARCH 返回 的 是 由 
结 点 y 和 使 得 y. key: =k H FER i 组 成 的 有 序 对 (y， DO; 否则 ， 过 程 返回 NIL. 


B-TREE-SEARCH(z, k) 

i=1 

while i < z. n and k > z. key; 
i=it+l 

if i S< x. n and k == z. key; 
return (x, i) 

elseif x. lea f 
return NIL 

8 else DISK-READ(z, c;) 

9 return B-TREE-SEARCH (2. c;, k) 


利用 一 个 线性 搜索 过 程 ， 第 1 一 3 行 找 出 最 小 下 标 i EF <2. key;， 若 找 不 到 ， 则 置 i 为 
Zz.n 十 1。 第 4 一 5 行 检查 是 否 已 经 找到 该 关键 字 ， 如 果 找 到 ， 则 返回 ， 和 否则， 第 6 一 9 行 结束 这 次 
不 成 功 查找 (如 果 工 是 叶 结 点 )， 或 者 在 对 孩子 结 点 执行 必要 的 DISK-READ 后 ， 递 归 搜索 的 相 
应 子 树 。 

图 18-1 显示 了 BTREE-SEARCH 的 操作 过 程 。 浅 阴影 的 结 点 是 在 搜索 关键 字 R 的 过 程 中 被 
检查 的 结 点 。 

就 像 二 又 搜索 树 的 TREE-SEARCH 过 程 一 样 ， 在 递归 过 程 中 所 遇 到 的 结 点 构成 了 一 条 从 树 
根 向 下 的 简单 路 径 。 因 此 ， 由 BTREE-SEARCH 过 程 访问 的 磁盘 页 面 数 为 O(h) = O(log,n)， 
其 中 有 为 B 树 的 高 ，n 为 B 树 中 所 含 关键 字 个 数 。 由 于 zx.n 二 2:， 所 以 第 2 一 3 TH while 循环 在 
每 个 结 点 中 花费 的 时 间 为 OC) ， 总 的 CPU 时 间 为 O(th)= 二 Oltlog,n)。 

创建 一 棵 空 的 B 树 

为 构造 一 棵 B 树 T， 先 用 B-TREE-CREATE 来 创建 一 个 空 的 根 结 点 ， 然 后 调用 B-TREE- 
INSERT 来 添加 新 的 关键 字 。 这 些 过 程 都 要 用 到 一 个 辅助 过 程 ALLOCATE-NODE， 它 在 O(1) 
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时 间 内 为 一 个 新 结 点 分 配 一 个 磁盘 页 。 我们 可 以 假定 由 ALLOCATE-NODE 所 创建 的 结 点 并 不 
需要 DISK-READ， 因 为 磁盘 上 还 没有 关于 该 结 点 的 有 用 信息 。 
B-TREE-CREATE(T) 
1 z= ALLOCATE-NODE() 
2 zx.leaf = TRUE 
3 rn=0 
4 DISK-WRITE(z) 
5 T.root = x 
492 B-TREE-CREATE 需要 OC) 次 的 磁盘 操作 和 OC) 的 CPU 时 间 。 
向 B 树 中 插入 一 个 关键 字 
B 树 中 插入 一 个 关键 字 要 比 二 又 搜 索 树 中 插入 一 个 关键 字 复杂 得 多 。 像 二 又 搜索 树 中 一 样 ， 
要 查找 插入 新 关键 字 的 叶 结 点 的 位 置 。 然 而 ， 在 B 树 中 ， 不 能 简单 地 创建 一 个 新 的 叶 结 点 ， 然 
后 将 其 插入 ， 因 为 这 样 得 到 的 树 将 不 再 是 合法 的 B 树 。 相 反 ， 我 们 是 将 新 的 关键 字 插 入 一 个 已 
经 存在 的 叶 结 点 上 。 由 于 不 能 将 关键 字 插 入 一 个 满 的 叶 结 点 ， 故 引入 一 个 操作 ， 将 一 个 满 的 结 点 
yA 2: 一 1 个 关键 字 ) 按 其 中 间 关 键 字 (median key) y. key, 分 裂 (split) 为 两 个 各 含 :一 1 个 关键 字 的 
结 点 。 中 间 关 键 字 被 提升 到 y 的 父 结 点 ， 以 标识 两 棵 新 树 的 划分 点 。 但 是 如 果 y 的 父 结 点 也 是 满 
的 ， 就 必须 在 插入 新 的 关键 字 之 前 将 其 分 裂 ， 最 终 满 结 点 的 分 裂 会 沿 着 树 向 上 传播 。 
与 一 棵 二 叉 搜 索 树 一 样 ， 可 以 在 从 树 根 到 叶子 这 个 单程 向 下 过 程 中 将 一 个 新 的 关键 字 插 入 B 
树 中 。 为 了 做 到 这 一 点 ， 我 们 并 不 是 等 到 找 出 插入 过 程 中 实际 要 分 裂 的 满 结 点 时 才 做 分 裂 。 相 
反 ， 当 沿 着 树 往 下 查找 新 的 关键 字 所 属 位 置 时 ， 就 分 裂 沿途 遇 到 的 每 个 满 结 点 (包括 叶 结 点 本 
身 )。 因 此 ， 每 当 要 分 裂 一 个 满 结 点 y 时， 就 能 确保 它 的 父 结 点 不 是 满 的 。 
分 裂 B 树 中 的 结 点 
过 程 BTREE-SPLIT-CHILD 的 输入 是 一 个 非 满 的 内 部 结 点 x( 假 定 在 主 存 中 ) 和 一 个 使 zx. ci 
(也 假定 在 主 存 中) 为 zx 的 满 子 结 点 的 下 标 i。 该 过 程 把 这 个 子 结 点 分 裂 成 两 个 ， 并 调整 x， 使 之 
包含 多 出 来 的 孩子 。 要 分 裂 一 个 满 的 根 ， 首 先 要 让 根 成 为 一 个 新 的 空 根 结 点 的 孩子 ， 这 样 才能 使 
用 BTREE-SPLIT-CHILD。 树 的 高 度 因 此 增加 1; 分裂 是 树 长 高 的 唯一 途径 。 
图 18-5 显示 了 这 个 过 程 。 满 结 点 yao. c; 按照 其 中 间 关 键 字 S 进行 分 裂 ，S 被 提升 到 y HL 
结 点 zx。y 中 的 那些 大 于 中 间 关 键 字 的 关键 字 都 置 于 一 个 新 的 结 点 zx 中 ， 它 成 为 z 的 一 个 新 的 
孩子 。 
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图 18-5 分裂 一 个 坛 4 的 结 点 。 结 点 > 一 zci 分 为 两 个 结 点 y 和 z，y 的 中 间 关 
BS S 被 提升 到 yy 的 父 结 点 中 
B-TREE-SPLIT-CHILD(z, 7) 
1 z= ALLOCATE-NODEQ 
2 y= 26; 
3 z.leaf = y. leaf 
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4 zn=t-1 

5 forj = 1ltot—1 

6 z. key;= y. keyj+: 
7 if not y. leaf 

8 for j = 1 tor 

9 Z. Cj 一 Yo Cite 

10 »yn=t-1 

ll forj = z.n + 1 downto: + 1 
12 Z. Cj = ZC; 

13 zecimi z 

14 forj = x.n downto i 

15 x. keyj+ı = x. key; 

16 x. key;= y. key, 

17 zn=2n+1 

18 DISK-WRITE(Cy) 

19 DISK-WRITE(z) 

20 DISK-WRITE(z) 


B-TREE-SPLIT-CHILD 以 直接 的 “剪贴 ”方式 工作 。 这 里 是 被 分 裂 的 结 点 ，y 是 z 的 第 i 个 
孩子 ( 见 第 2 行 )。 开 始 时 ， 结 点 y 有 2t 个 孩子 (2t 一 1 个 关键 字 ) ， 在 分 裂 后 减少 至 上 个 孩子 (一 1 
个 关键 字 )。 结 点 z 取 走 y 的 t 个 最 大 的 孩子 (1 一 1 个 关键 字 )， 并 且 z 成 为 xz 的 新 孩子 ， 它 在 zr 
的 孩子 表 中 仅 位 于 y 之 后 。y 的 中 间 关 键 字 上 升 到 z 中 ， 成 为 分 隔 y 和 x 的 关键 字 。 

第 1 一 9 行 创 建 结 点 x>， 并 将 y 的 :一 1 个 关键 字 以 及 相应 的 上 个 孩子 给 它 。 第 10 行 调 整 y 的 
关键 字 个 数 。 最 后 ， 第 11 一 17 行将 < 插入 为 z 的 一 个 孩子 ， 并 提升 y 的 中 间 关 键 字 到 xz 来 分 隔 
y 和 >z， 然 后 调整 x 的 关键 字 个 数 。 第 18 一 20 行 写 出 所 有 修改 过 的 磁盘 页 面 。B-TREE-SPLIT- 
CHILD 占用 的 CPU 时 间 为 89(z) ， 是 由 第 5 一 6 行 和 第 8 一 9 行 的 循环 引起 的 。( 其 他 循环 执行 
OA) 次 迭代 。) 这 个 过 程 执行 OA) 次 磁盘 操作 。 

以 沿 树 单程 下 行 方式 向 B 树 插入 关键 字 

在 一 棵 高 度 为 hh 的 B 树 中 ， 以 沿 树 单程 下 行 方式 插入 一 个 关键 字 & 的 操作 需要 OC(h) 次 磁 
盘存 取 。 所 需要 的 CPU 时 间 为 Oah) =O log,n). 。 过 程 B-TREE-INSERT 利用 B-TREE-SPLIT- 
CHILD 来 保证 递归 始终 不 会 降 至 一 个 满 结 点 上 。 


B-TREE-INSERT(T, &) 

1 r= T. root 

2 fr.2==2—1 
s = ALLOCATE-NODE( 
T. root = s 
s. leaf = FALSE 
sn =0 
S. Ci 一 7 
B-TREE-SPLIT-CHILD(s, 1) 

9 B-TREE-INSERT-NONFULL(s, k) 
10 else B- TREE-INSERT-NONFULL(;r, k) 


第 3 一 9 行 处 理 了 根 结 点 > 为 满 的 情况 : 原来 的 根 结 点 被 分 裂 ， 一 个 新 的 结 点 s( 有 两 个 孩子 ) 
成 为 根 。 对 根 进行 分 裂 是 增加 B 树 高 度 的 唯一 途径 。 图 18-6 说 明了 这 种 情况 。 与 二 又 搜索 树 不 
同 ，B 树 高 度 的 增加 发 生 在 顶部 而 不 是 底部 。 过 程 通过 调用 B-TREE-INSERT-NONFULL 完成 
将 关键 字 & 插 入 以 非 满 的 根 结 点 为 根 的 树 中 。B-TREE-INSERT-NONFULL 在 需要 时 沿 树 向 下 递 
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归 ， 在 必要 时 通过 调用 B-TREE-SPLIT-CHILD 来 保证 任何 时 刻 它 所 递归 处 理 的 结 点 都 是 非 


满 的 。 
Troot 
s 
Troot 
r r 
oem ji- BD ok LNP 
T, T, T; Te T; ™ T] Ts T, T, T, T, T; 1, TT, Ts 


A 18-6 分裂 :一 4 的 根 。 根 结 点 ~ 一 分 为 二 ， 并 创建 了 一 个 新 结 点 *。 新 的 根 包 含 了 -~ 的 中 间 关 
键 字 ， 且 以 -的 两 半 作 为 孩子 。 当 根 被 分 裂 时 ，B 树 的 高 度 增加 1 
辅助 的 递归 过 程 B-TREE-INSERT-NONFULL 将 关键 字 插 入 结 点 zx， 要求 假定 在 调用 该 过 程 
Hf x EJJEW. HE B-TREE-INSERT 和 递归 操作 B-TREE-INSERT-NONFULL 保证 了 这 个 假 
设 成 立 。 
B-TREE-INSERT-NONFULL(z, k) 


l i= zx.n 


2 if x. leaf 

3 while i > 1 and k < z. key; 

4 x. keyi+ı = x. key; 

5 i=i-1 

6 zx. keyi+1= k 

7 zan=2n+1 

8 DISK-WRITE(z) 

9 else while i > 1 and k < z. key, 

10 i=i—l 

11 i=i 十 1 

12 DISK-READ(z. c;) 

13 if z.c.n == 2t- 1 

14 B-TREE-SPLIT-CHILD(z, i) 
15 if k > x. key; 

16 i=it+l 

17 B-TREE-INSERT-NONFULL(z. ci» k) 


过 程 BTREE-INSERT-NONFULL 的 工作 方式 如 下 。 第 3 一 8 行 处 理 z 是 叶 结 点 的 情况 ， 将 
关键 字 上 插入 zx。 如 果 工 不 是 叶 结 点 ， 则 必须 将 上 插入 以 内 部 结 点 xz 为 根 的 子 树 中 适当 的 叶 结 点 
中 去 。 这 种 情况 下 ， 第 9 一 11 行 决定 向 z 的 哪个 子 结 点 递归 下 降 。 第 13 行 检查 是 否 是 递归 降 至 
了 一 个 满 子 结 点 上 ， 若 是 ， 则 第 14 行 用 BTREE-SPLIT-CHILD 将 该 子 结 点 分 裂 为 两 个 非 满 的 

孩子 ， 第 15 一 16 行 确定 向 两 个 孩子 中 的 哪 一 个 下 降 是 正确 的 。( 注 意 ， 在 第 16 行 中 ;增加 1 后 无 
需 做 DISK-READ(z. c;)， 因 为 这 种 情况 下 递归 会 降 至 一 个 刚刚 由 BTREE-SPLIT-CHILD 创建 的 
子 结 点 上 。) 第 13 一 16 行 的 真正 作用 就 是 保证 该 程序 始终 不 会 降 至 一 个 满 结 点 上 。 然 后 第 17 行 递 
归 地 将 & 插 入 合适 的 子 树 中 。 图 18-7 说 明了 向 B 树 中 插入 关键 字 的 各 种 情况 。 

对 一 棵 高 度 为 h 的 B 树 来 说 ，B-TREE-INSERT 要 做 OCh) 次 磁盘 存 取 ， 因 为 在 每 次 调用 B- 
TREE-INSERT-NONFULL 之 间 ， 只 做 了 OC) 次 DISK-READ 和 DISK-WRITE 操作 。 所 占用 的 
总 CPU 时 间 为 OGh) = OCtlog,n) 。 因 为 B-TREE-INSERT-NONFULL 是 尾 递归 的 ， 所 以 它 也 
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可 以 用 一 个 while 循环 来 实现 ， 从 而 说 明了 在 任何 时 刻 ， 需 要 留 在 主 存 中 的 页 面 数 为 0(1) 。 








(d) 插入 L 





[4.8|[D EF 


Ce) 插入 FF 


图 18-7 向 B 树 中 插入 关键 字 。 这 棵 B 树 的 最 小 度数 1 为 3， 所 以 一 个 结 点 至 多 可 包含 5 个 关键 
字 。 在 插入 过 程 中 被 修改 的 结 点 由 浅 阴影 标记 。(a) 这 个 例子 初始 时 的 树 。(b) 向 初始 
树 中 插入 B 后 的 结果 ; 这 是 一 个 对 叶 结 点 的 简单 插入 。(c) 将 Q 插入 前 一 棵 树 中 的 结 
果 。 结 点 RSTUV 被 分 裂 为 两 个 分 别 包 含 RS 和 UV WA, KS 工 被 提升 到 根 中 ， 
Q@ 被 插入 两 半 的 最 左边 (RS 结 点 )。(d) 将 工 插 和 人 前 一 棵 树 中 的 结果 。 由 于 根 结 点 是 满 
的 ， 所 以 它 立 即 被 分 裂 ， 同 时 B 树 的 高 度 增加 1。 然 后 工 被 插入 包含 JK 的 叶 结 点 中 。 
(e) 将 下 插入 前 一 棵 树 中 的 结果 。 在 将 下 插入 两 半 的 最 右边 (DE 结 点 ) 之 前 ， 结 点 
ABCDE 会 进行 分 裂 


练习 

18.2-1 请 给 出 关键 字 F、S、Q、 K. C. L. H. T. V. W. M. R. NY PY A, B, X.Y, 
D、Z、E 依 序 插入 一 棵 最 小 度数 为 2 的 空 B 树 的 结果 。 只 要 画 出 在 某 些 结 点 分 裂 之 前 
的 结构 以 及 最 终 的 结构 。 

18.2-2 请 解释 在 什么 情况 下 (如 果 有 的 话 ) ， 在 调用 BTREE-INSERT 的 过 程 中 ， 会 执行 元 余 的 
DISK-READ 或 DISK-WRITE 操作 。( 所 谓 宛 余 的 DISK-READ， 是 指 对 已 经 在 主 存 中 的 
某 页 做 DISK-READ。 宛 余 的 DISK-WRITE 是 指 将 已 经 存在 于 磁盘 上 的 某 页 又 完全 相同 
地 重 写 一遍 。) 

18.2-3 ”请 说 明 如 何在 一 棵 B 树 中 找 出 最 小 关键 字 ， 以 及 如 何 找 出 某 一 给 定 关键 字 的 前 驱 。 


vi 
498 
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*18.2-4 ”假设 关键 字 {1，2，…，n} 被 插入 一 棵 最 小 度数 为 2 的 空 B 树 中 ， 那 么 最 终 的 B 树 有 多 
少 个 结 点 ? 

18.2-5 ”因为 叶 结 点 无 需 指向 孩子 结 点 的 指针 ， 那 么 对 同样 大 小 的 磁盘 页 面 ， 可 选用 一 个 与 内 部 
结 点 不 同 的 (更 大 的 )t 值 。 请 说 明 如 何 修改 B 树 的 创建 和 插入 过 程 来 处 理 这 个 变化 。 

18.2-6 假设 BTREE-SEARCH 的 实现 是 在 每 个 结 点 内 采用 二 分 查找 ， 而 不 是 线性 查找 。 证 明 : 
无 论 怎样 选择 i(i 为 n 的 函数 )， 这 种 实现 所 需 的 CPU 时 间 都 为 O(lgn) 。 

18.2-7 假设 磁盘 硬件 允许 我 们 任意 选择 磁盘 页 面 的 大 小 ， 但 读 取 磁盘 页 面 的 时 间 是 at bt, 
其 中 a 和 6 为 规定 的 常数 ，t 为 确定 磁盘 页 大 小 后 的 B 树 的 最 小 度数 。 请 描述 如 何 选 
择 t 以 (近似 地 ) 最 小 化 B 树 的 查找 时 间 。 对 a 二 5ms 和 6 二 10ms， 请 给 出 i 的 一 个 最 
优 值 。 


18.3 从 B 树 中 删除 关键 字 


B 树 上 的 删除 操作 与 插入 操作 类 似 ， 只 是 略微 复杂 一 点 ， 因 为 可 以 从 任意 一 个 结 点 中 删除 一 
个 关键 字 ， 而 不 仅仅 是 叶 结 点 ， 而 且 当 从 一 个 内 部 结 点 删除 一 个 关键 字 时 ， 还 要 重新 安排 这 个 结 
点 的 孩子 。 与 插入 操作 一 样 ， 必 须 防止 因 删 除 操作 而 导致 树 的 结构 违反 B 树 性 质 。 就 像 必 须 保 
证 一 个 结 点 不 会 因为 插入 而 变 得 太 大 一 样 ， 必 须 保证 一 个 结 点 不 会 在 删除 期 间 变 得 太 小 ( 根 结 点 
除外 ， 因 为 它 允 许 有 比 最 少 关键 字数 :一 1 还 少 的 关键 字 个 数 )。 一 个 简单 插入 算法 ， 如 果 插 入 关 
键 字 的 路 径 上 结 点 满 ， 可 能 需要 向 上 回溯 ;与 此 类 似 ， 一 个 简单 删除 算法 ， 当 要 删除 关键 字 的 路 
径 上 结 点 ( 非 根 ) 有 最 少 的 关键 字 个 数 时 ， 也 可 能 需要 向 上 回溯 。 

过 程 B-TREE-DELETE 从 以 Z 为 根 的 子 树 中 删除 关键 字 &。 我 们 设计 的 这 个 过 程 必须 保证 无 
论 何 时 ， 结 点 工 递 归 调 用 自身 时 ，z 中 关键 字 个 数 至 少 为 最 小 度数 上。 注意 到 ， 这 个 条 件 要 求 比 
通常 了 B 树 中 的 最 少 关键 字 个 数 多 一 个 以 上 ， 使 得 有 时 在 递归 下 降 至 子 结 点 之 前 ， 需 要 把 一 个 关 
键 字 移 到 子 结 点 中 。 这 个 加 强 的 条 件 允 许 在 一 趟 下 降 过 程 中 ， 就 可 以 将 一 个 关键 字 从 树 中 删除 ， 
无 需 任何 “向 上 回溯 ”( 有 一 个 例外 ， 后 面 会 解释 )。 对 下 面 的 B 树 上 删除 操作 的 规定 应 当 这 样 理 
解 ， 如 果 根 结 点 z 成 为 一 个 不 含 任何 关键 字 的 内 部 结 点 (这 种 情况 可 能 出 现在 图 18-8 中 的 情况 2c 
和 情况 3b), ABA z 就 要 被 删除 ，z 的 唯一 孩子 z. ci 成 为 树 的 新 根 ， 从 而 树 的 高 度 降 低 1， 同 
时 也 维持 树 根 必须 包含 至 少 一 个 关键 字 的 性 质 (除非 树 是 空 的 ) 。 

现在 我 们 来 简要 地 介绍 删除 操作 是 如 何 工 作 的 ， 而 不 是 给 出 其 伪 代 码 。 图 18-8 描绘 了 从 B 
树 中 删除 关键 字 的 各 种 情况 。 

1. 如 果 关 键 字 在 结 点 z 中 ， 并 且 z 是 叶 结 点 ， 则 从 z 中 删除 。 

2. 如 果 关 键 字 & 在 结 点 z+ 中 ， 并且 z 是 内 部 结 点 ， 则 做 以 下 操作 : 

a. 如 果 结 点 工 中 前 于 A 的 子 结 点 y 至 少 包含 t 个 关键 字 ， 则 找 出 在 以 y 为 根 的 子 树 中 的 前 
驱 如 。 递 归 地 删除 如 ， 并 在 工 中 用 "代替 &。( 找 到 "并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

b. 对 称 地 ， 如 果 > 有 少 于 上 个 关键 字 ， 则 检查 结 点 x 中 后 于 & 的 子 结 点 z。 如 果 BPH 
个 关键 字 ， 则 找 出 & 在 以 z 为 根 的 子 树 中 的 后 继 &'"。 递 归 地 删除 ， 并 在 zx 中 用 "代替 。( 找 到 
"并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

ce 否则 ， 如 果 y Az 都 只 含有 t 一 1 个 关键 字 ， 则 将 上 和 = 的 全 部 合并 进 y， 这 样 z 就 失去 了 
& 和 指向 z 的 指针 ， 并 且 y 现在 包含 2: 一 1 个 关键 字 。 然 后 释放 = 并 递归 地 从 y 中 删除 。 

3. 如 果 关 键 字 & 当前 不 在 内 部 结 点 z 中 ， 则 确定 必 包 含 & 的 子 树 的 根 z. c OR k 确实 在 树 
中 )。 如 果 zc 只 有 + 一 1 个 关键 字 ， 必 须 执行 步骤 3a 或 3b 来 保证 降 至 一 个 至 少 包含 个 关键 字 
的 结 点 。 然 后 ， 通 过 对 z 的 某 个 合适 的 子 结 点 进行 递归 而 结束 。 
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(a) 初始 树 








(Cb) WEF: 情况 1 


Cc) 删除 Mh: 情况 2a 





(d) 删除 G: 情况 2c 





(e) 删除 D: 情况 3b 





(e') 树 的 高 度 缩减 
(f) 删除 8: 情况 3a 


图 18-8 从 一 棵 B 树 中 删除 关键 字 。 这 棵 B 树 的 最 小 度数 :一 3， 因 此 一 个 结 点 ( 非 根 ) 包 含 的 关键 
字 个 数 不 能 少 于 两 个 。 被 修改 了 的 结 点 都 以 浅 阴影 标记 。(a) 图 18-7e 中 的 B 树 。(b) 删 除 
下 。 这 是 情况 1: 从 一 个 叶 结 点 中 进行 的 简单 删除 。(c) 删 除 M。 这 是 情况 2a: M 的 前 驱 
LL 提升 并 占据 M 的 位 置 。(d) 删 除 G。 这 是 情况 2c: G 下降 以 构成 结 点 DEGJK， 然 后 从 
这 个 叶 结 点 中 删除 G( 情 况 1) 。(e) 删 除 D。 这 是 情况 3b: 递归 不 能 降 至 结 点 CL, AWE 
仅 有 两 个 关键 字 ， 所 以 将 已 下 降 并 与 CL 和 TX 合并 以 构成 CLPTX; 然后 将 DD 从 这 个 叶 
结 点 中 删除 (情况 1) 。(e 在 (e) 之 后 ， 根 结 点 被 删除 ， 树 的 高 度 减 小 1。(D 删 除 B。 这 是 
情况 3a: 移动 C 以 填补 B 的 位 置 ， Ba EWE C 的 位 置 
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a 如 果 zx. c; 只 含有 :一 1 个 关键 字 , 但 是 它 的 一 个 相 邻 的 兄弟 至 少 包含 上 个 关键 字 ， 则 将 x 
中 的 某 一 个 关键 字 降 至 z.c; 中 ,将 x. ci 的 相 邻 左 兄弟 或 右 兄弟 的 一 个 关键 字 升 至 x， 将 该 兄弟 
中 相应 的 孩子 指针 移 到 z. c; 中 ， 这 样 就 使 得 x. c; 增加 了 一 个 额外 的 关键 字 。 

b. 如 果 r. c UR r. c 的 所 有 相 邻 兄弟 都 只 包含 i 一 1 个 关键 字 ， 则 将 x. c; 与 一 个 兄弟 合并 ， 
即将 zx 的 一 个 关键 字 移 至 新 合并 的 结 点 ， 使 之 成 为 该 结 点 的 中 间 关 键 字 。 

由 于 一 棵 BB 树 中 的 大 部 分 关键 字 都 在 叶 结 点 中 ， 我 们 可 以 预期 在 实际 中 ， 删 除 操作 最 经 常 
用 于 从 叶 结 点 中 删除 关键 字 。 这 样 B-TREE-DELETE 过 程 只 要 沿 树 下 降 一 趟 即 可 ， 不 需要 向 上 
回溯 。 然 而 ， 当 要 删除 某 个 内 部 结 点 的 关键 字 时 ， 该 过 程 也 要 沿 树 下 降 一 趟 ， 但 可 能 还 要 返回 删 
除了 关键 字 的 那个 结 点 ， 以 用 其 前 驱 或 后 继 来 取代 被 删除 的 关键 字 ( 情 况 2a 和 情况 2b) 。 

尽管 这 个 过 程 看 起 来 很 复杂 ， 但 对 一 棵 高 度 为 h 的 B 树 ， 它 只 需要 OC) 次 磁盘 操作 ， 因 为 
在 递归 调用 该 过 程 之 间 ， 仅 需 OC.) 次 对 DISK-READ 和 DISK-WRITE 的 调用 。 所 需 CPU 时 间 
为 O(th) =OCt log,n) 。 


练习 


18.3-1 请 说 明 依 次 从 图 18-8(f) 中 删除 C、P 和 六 后 的 结果 。 
18.3-2 请 写 出 BTREE-DELETE 的 伪 代 码 。 


思考 题 
18-1 〈 辅 存 上 的 栈 ) 考虑 在 一 个 有 着 相对 少量 的 快速 主 存 但 有 着 相对 大 量 较 慢 的 磁盘 存储 空间 的 计 
算 机 上 实现 一 个 栈 的 问题 。 操 作 PUSH 和 POP 操作 的 对 象 为 单字 。 我 们 希望 计算 机 支持 的 栈 
可 以 增长 得 很 大 ， 以 至 于 无 法 全 部 装 和 人 主 存 中 ， 因 此 它 的 大 部 分 都 要 放 在 磁盘 上 。 
一 种 简单 但 低 效 的 栈 实现 方法 是 将 整个 栈 存放 在 磁盘 上 。 在 主 存 中 保持 一 个 栈 的 指 


针 ， 它 指向 栈 顶 元 素 的 磁盘 地 址 。 如 果 该 指针 的 值 为 »， 则 栈 顶 元 素 是 磁盘 的 | 之 | 页 上 的 


第 ( 户 modzz) 个 字 ， 这 里 m 为 每 页 所 含 的 字数 。 
为 了 实现 PUSH 操作， 我 们 增加 栈 指针 ， 从 磁盘 将 适当 的 页 读 到 主 存 中 后 ， 复 制 要 被 
压 信 栈 的 元 素 到 该 页 上 适当 字 的 位 置 ， 最 后 将 该 页 写 回 到 磁盘 。POP 操作 与 之 类 似 。 我 们 
减 小 栈 指针 ， 从 磁盘 上 读 和 人 所 需 的 页 ， 再 返回 栈 顶 元 素 。 我 们 不 需要 写 回 该 页 ， 因 为 它 没 
有 被 修改 。 
因为 磁盘 操作 代价 相对 较 高 ， 我 们 统计 任何 实现 的 两 部 分 代价 ， 总 的 磁盘 存 取 次 数 和 
总 的 CPU 时间。 任何 对 一 个 包含 m 个 字 的 页 面 的 磁盘 存 取 ， 都 会 引起 一 次 磁盘 存 取 和 
Cm) 的 CPU 时 间 。 
a 从 渐 近 意义 上 看 ， 使 用 这 种 简单 实现 ， 在 最 坏 的 情况 下 ，n 个 栈 操作 需要 多 少 次 磁盘 存 
取 ? CPU 时 间 又 是 多 少 ? (用 mAn 来 表示 这 个 问题 及 后 面 几 个 问题 的 答案 。) 
现在 考虑 栈 的 另 一 种 实现 ， 即 在 主 存 中 始终 保持 存放 栈 中 的 一 页 。( 还 用 少量 的 主 存 
来 记录 当前 哪 一 页 在 主 存 中 。) 只 有 相关 的 磁盘 页 驻 留 在 主 存 中 ， 才 能 执行 栈 操作 。 如 果 需 
要 ,可 以 将 当前 主 存 中 的 页 写 回 磁盘 ， 并且 可 以 从 磁盘 向 主 存 读 和 人 新 的 一 页 。 如 果 相关 的 
磁盘 页 已 经 在 主 存 ， 那 么 就 无 需 任 何 磁盘 存 取 。 
b. 最 坏 情况 下 ，z 个 PUSH 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 
e 最 坏 情况 下 ，? 个 栈 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 
假设 现在 是 在 主 存 中 保持 栈 的 2 页 (此 外 还 有 少量 的 字 来 记录 哪些 页 在 主 存 中 ) 的 实现 。 
d. 请 描述 如 何 管理 栈 页 ， 使 得 任何 栈 操作 的 摊 还 磁盘 存 取 次 数 为 O(1/m) ， 摊 还 CPU 时 
间 为 0(1) 。 
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18-2 (连接 与 分 裂 2-3-4 树 ) 连接 操作 输入 两 个 动态 集合 S 和 S”"， 以 及 一 个 元 素 x， 使 得 对 任 
何 x'ES' 和 x ES”"， 有 Zz'. key<x.key 二 x .key。 它 返回 一 个 集合 S= 二 S'U (z) US". + 
裂 操作 就 像 一 个 “ 逆 ” 连 接 操 作 : 给 定 一 个 动态 集合 S 和 一 个 元 素 zES， 它 创建 了 一 个 集 
AS, HBE S— (x) 中 所 有 关键 字 小 于 x. key 的 元 素 ; 同时 创建 了 一 个 集合 S", HUE 
S— {zx} 中 所 有 关键 字 大 于 x. key 的 元 素 。 在 这 个 问题 中 ， 我 们 讨论 如 何在 2-3-4 树 上 实现 
这 些 操作 。 为 方便 起 见 ， 假 定 所 有 元 素 都 只 包含 关键 字 ， 并 且 所 有 的 关键 字 都 不 相同 。 

a. 对 2-3-4 树 中 的 每 个 结 点 zx， 说 明 如 何 将 以 z 为 根 的 子 树 的 高 度 作 为 一 个 属性 x. height 
来 维护 。 要 确保 所 给 出 的 实现 不 影响 查找 、 插 人 和 删除 的 渐 近 运行 时 间 。 

b. 说 明 如 何 实现 连接 操作 。 给 定 两 棵 2-3-4 树 T 与 T" 和 一 个 关键 字 &， 连 接 操 作 应 在 
OOH |h'—h" | ) 运 行 时 间 内 完成 ， 其 中 入 分别 是 树 T' 和 TT" 的 高 度 。 

c 考虑 从 一 棵 2-3-4 树 工 的 根 到 一 个 给 定 关键 字 & ARE p, TDR 的 关键 字 集 
合 S， 以 及 工 中 大 于 A& 的 关键 字 集合 S"。 证明: p 将 S' 分 为 一 个 树 的 集合 {Ts， 
Ti ，…，Tw} 和 一 个 关键 字 的 集合 {&i,k2，,…,k"，) ， 且 对 任何 关键 字 yET'_, 和 zxET! 
(i=1, 2, +, m), 都 有 y<R <z. T 和 Ti 的 高 度 之 间 有 什么 关系 ? 请 说 明 p 是 如 
何 将 S 分 为 树 集合 和 关键 字 集合 的 。 

d. 请 说 明 如 何 实现 工 上 的 分 裂 操 作 。 利 用 连接 操作 将 S 中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 
BET, 将 S "中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 树 T”"。 分 裂 操 作 的 运行 时 间 要 求 为 
Ogn) ， 这 里 ?是 工 中 的 关键 字 个 数 。( 提 示 : 连接 的 代价 应 是 套 迭 的 。) 


本 章 注 记 

Knuth[211], Aho, Hopcroft 和 Ullman[5]， 以 及 Sedgewick[306] 给 出 了 平衡 树 方案 和 B 树 
的 进一步 讨论 。Comer[74] 提 供 了 B 树 的 一 个 综述 。Guibas 和 Sedgewick[155] 讨 论 了 包括 红 黑 树 
和 2-3-4 树 在 内 的 各 种 平衡 树 方案 之 间 的 关系 。 

在 1970 Æ, J. E. Hopcroft 发 明了 2-3, Ese BRA 2-3-4 树 的 前 身 ， 它 的 每 个 内 部 结 点 都 
有 两 个 或 三 个 孩子 结 点 。Bayer 和 McCreightL35] 在 1972 年 提出 了 B 树 ; 他 们 并 没有 解释 为 什么 
要 取 这 个 名 字 。 

Bender, Demaine 和 Farach-Colton[40] 研 究 了 面 对 存 储 层次 影响 ， 如 何 让 B 树 的 操作 高 效 地 
执行 。 他 们 提出 了 一 个 缓存 无 关 (cache-oblivious) 算 法 ， 该 算法 可 以 在 不 用 显 式 地 了 解 存储 层次 
中 数据 传输 规模 的 情况 下 高 效 地 工作 。 
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斐 波 那 契 堆 数据 结构 有 两 种 用 途 。 第 一 种 ， 它 支持 一 系列 操作 ， 这 些 操作 构成 了 所 谓 的 “可 
合并 堆 ”。 第 二 种 ， 斐 波 那 契 堆 的 一 些 操作 可 以 在 常数 摊 还 时 间 内 完成 ， 这 使 得 这 种 数据 结构 非 
常 适 合 于 需要 频繁 调用 这 些 操作 的 应 用 。 

可 合并 堆 

可 合并 堆 (mergeable heap) 是 支持 以 下 5 种 操作 的 一 种 数据 结构 ， 其 中 每 个 元 素 都 有 一 个 关键 字 : 

MAKE-HEAP(): 创建 和 返回 一 个 新 的 不 含 任何 元 素 的 堆 。 

INSERT(H, 2): 将 一 个 已 填 人 关键 字 的 元 素 工 插 人 堆 互 中 。 

MINIMUM(H): : 返回 一 个 指向 堆 太 中 具有 最 小 关键 字 元 素 的 指针 。 

EXTRACT-MIN(H): 从 堆 互 中 删除 最 小 关键 字 的 元 素 ， 并 返回 一 个 指向 该 元 素 的 指针 。 

UNION(H,,H,): 创建 并 返回 一 个 包含 堆 Hl ASHE H 中 所 有 元 素 的 新 堆 。 堆 Hl 和 堆 H, 
由 这 一 操作 “销毁 ”。 

除了 以 上 可 合并 堆 的 操作 外 ， 斐 波 那 契 堆 还 支持 以 下 两 种 操作 : 

DECREASE-KEY(H, x, k): 将 堆 H PEX r 的 关键 字 赋 予 新 值 A。 假 定 新 值 上 不 大 于 当 
前 的 关键 字 。S 

DELETE(H，x): MHE H 中 删除 元 素 z。 

如 图 19-1 所 示 ， 如 果 没 有 UNION 操作 ， 如 同 堆 排序 (第 6 章 ) 中 使 用 的 普通 二 项 堆 ， 其 操作 
性 能 相当 好 。 除 了 UNION 操作 外 ， 二 项 堆 的 其 他 操作 均 可 在 最 坏 情况 时 间 为 OC gn) 下 完成 。 
但 是 ， 如 果 需 要 支持 UNION 操作 ， 则 二 项 堆 





二 项 堆 SRE 
的 性 能 就 很 差 。 通 过 把 两 个 分 别 包 含 要 被 合并 (最 坏 情形 ) (HIB) 
二 项 堆 的 数组 进行 链接 ， 然 后 运行 BUILD- | MAKE-HEAP e60) 
MIN-HEAP( 参 考 6. 3 节 ) 的 方式 来 实现 UNION | INSERT Olg n) 


操作 ， 其 最 坏 情 形 下 需要 OC) BY Ta]. Rae a 
另 一 方面 ， 斐 波 那 契 堆 对 于 操作 INSERT. 





UNION O(n) 
UNION 和 DECREASE-KEY， 比 起 二 项 堆 有 更 好 | DECREASE-KEY Ql(lgn) 
的 渐 近 时 间 界 ， 而 对 于 剩 下 的 几 种 操作 ， 它 们 有 | DELETE Olg n) 
相同 的 渐 近 运行 时 间 。 然 而 ， 注 意 ， 图 19-1438 图 19-1 可 合并 堆 的 两 种 实现 方式 下 各 操作 的 运 


波 那 契 堆 的 运行 时 间 是 摊 还 时 间 界 ， 而 不 是 每 个 行 时间 。 在 操作 时 堆 中 的 项 数 用 n 表示 
操作 的 最 坏 情 形 时 间 界 。UNION 操作 在 斐 波 那 契 堆 中 仅仅 需要 常数 摊 还 时 间 ， 这 上 比 二 项 堆 的 最 坏 
情形 下 的 线性 时 间 要 好 得 多 (当然 ， 假 定 为 一 个 捧 还 时 间 界 ) 。 

理论 上 的 斐 波 那 契 堆 与 实际 中 的 斐 波 那 契 堆 

从 理论 角度 来 看 ， 当 EXTRACT-MIN 和 DELETE 数目 相 比 于 其 他 操作 小 得 多 的 时 候 ， 斐 波 
那 契 堆 尤其 适用 。 这 种 情形 出 现在 许多 应 用 中 。 例 如 ， 一 些 图 问题 算法 可 能 每 条 边 调用 一 次 
DECREASE-KEY。 对 于 有 很 多 边 的 稠密 图 ， 每 次 调用 DECREASE-KEY 需要 9(1) 摊 还 时 间 ， 
相 比 起 二 项 堆 最 坏 情况 时 间 B(lgz) ， 其 积累 起 来 是 个 很 大 的 改进 。 一 些 问题 (如 计算 最 小 生成 树 


O 正如 在 第 五 部 分 的 导言 中 提 到 的 ， 我 们 默认 的 可 合并 堆 是 可 合并 最 小 堆 ， 因 此 ， 使 用 操作 MINIMUM, 
EXTRACT-MIN 和 DECREASE-KEY。 同 样 ， 我 们 可 以 定义 一 个 可 合并 最 大 堆 (mergeable max-heap), HAH 
作 MAXIMUM、EXTRACT-MAX 和 INCREASE-KEY。 
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(第 23 章 ) 和 寻找 单 源 最 短路 径 ( 第 24 章 )) 的 快速 算法 必 不 可 少 地 要 用 到 斐 波 那 契 堆 。 

然而 从 实际 角度 来 看 ， 除 了 某 些 需 要 管理 大 量 数据 的 应 用 外 ， 对 于 大 多 数 应 用 ， 斐 波 那 契 堆 
的 常数 因子 和 编程 复杂 性 使 得 它 比 起 普通 二 项 (或 & 项 ) 堆 并 不 那么 适用 。 因 此 ， 对 斐 波 那 契 堆 的 
研究 主要 出 于 理论 兴趣 。 如 果 能 开发 出 一 个 简单 得 多 的 数据 结构 ， 而 且 它 的 摊 还 时 间 界 与 斐 波 
那 契 堆 相同 ， 那 么 它 将 非常 实用 。 

二 项 堆 和 斐 波 那 契 堆 对 于 SEARCH 操作 的 支持 均 比 较 低 效 ; 可 能 需要 花费 一 段 时 间 才 能 找 
到 具有 给 定 关 键 字 的 元 素 。 为 此 ， 涉 及 给 定 元 素 的 操作 (如 DECREASE-KEY 和 DELETE) 均 需 
要 一 个 指针 指向 这 个 元 素 ， 并 且 指 针 作为 输入 的 一 部 分 。 正 如 6. 5 节 对 优先 级 队列 的 讨论 中 所 
述 ， 当 在 应 用 中 使 用 一 个 可 合并 堆 时 ， 通 常 在 可 合并 堆 的 每 个 元 素 中 存储 一 个 句柄 指向 相关 应 
用 对 象 ， 同 样 在 每 个 应 用 对 象 中 也 存储 一 个 句柄 指向 可 合并 堆 中 相关 元 素 。 这 些 句 柄 的 确切 作 
用 依赖 于 应 用 和 它 的 实现 。 

如 同 所 看 到 的 一 些 其 他 数据 结构 ， 斐 波 那 契 堆 也 是 基于 有 根 树 的 。 我 们 把 每 一 个 元 素 表示 
成 树 中 的 一 个 结 点 ， 每 个 结 点 具有 一 个 key 属性 。 在 这 一 章 的 剩 下 部 分 ， 将 使 用 “ 结 点 ?来 代替 
“元 素 ”。 我 们 也 将 忽略 结 点 插 人 之 前 和 删除 之 后 的 内 存 分 配 和 释放 问题 ， 而 不 是 假定 调用 堆 操作 
的 代码 来 处 理 这 些 细节 问题 。 

19. 1 节 将 定义 斐 波 那 契 堆 ， 讨 论 如 何 表 示 它 ， 并 给 出 用 于 分 析 挫 还 时 间 的 势 函 数 。19.2 节 
展示 怎样 实现 可 合并 堆 操 作 和 如 何 得 到 图 19-1 中 所 述 的 摊 还 时 间 界 。 剩 下 的 两 个 操作 
DECREASE-KEY 和 DELETE 是 19. 3 节 的 重点 。 最 后 ，19. 4 节 完 成 理论 分 析 的 主要 环节 ， 并 解 
释 这 个 数据 结构 名 字 的 由 来 。 


19.1 斐 波 那 契 堆 结构 

一 个 斐 波 那 契 堆 是 一 系列 具有 最 小 堆 序 (min-heap ordered) 的 有 根 树 的 集合 。 也 就 是 说 ， 每 
棵 树 均 遵循 最 小 堆 性 质 (min-heap property): 每 个 结 点 的 关键 字 大 于 或 等 于 它 的 父 结 点 的 关键 
字 。 图 19-2(a) 是 一 个 斐 波 那 契 堆 的 例子 。 


H.min 





图 19-2 《〈a) 一 个 包含 5 棵 最 小 堆 序 树 和 14 个 结 点 的 斐 波 那 契 堆 。 虚 线 标 出 了 根 链表 。 堆 中 最 
小 的 结 点 是 包含 关键 字 3 的 结 点 。 黑 色 的 结 点 是 被 标记 的 。 这 个 斐 波 那 契 堆 的 势 是 5 十 
2X3 三 11。(b) 一 个 更 加 完整 的 表示 ， 显 示 出 了 指针 加 (向 上 箭头 )、child&( 向 下 箭头 )、 
left 和 right( 横 向 第 头 )。 本 章 剩 下 的 图 省 略 了 这 些 细 节 ， 因 为 该 图 中 显示 的 所 有 信息 
均 可 从 (a) 图 中 推断 出 来 
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如 图 19-2(b) 所 示 ， 每 个 结 点 工 包 含 一 个 指向 它 父 结 点 的 指针 x. p 和 一 个 指向 它 的 某 一 个 孩 
子 的 指针 x. child, x 的 所 有 和 孩子 被 链接 成 一 个 环形 的 双向 链表 ， 称 为 z 的 孩子 链表 (child list). 
孩子 链表 中 的 每 个 孩子 y 均 有 指针 y- left Aly. right， 分 别 指向 y 的 左 兄 弟 和 右 兄 弟 。 如 果 y 是 
仅 有 的 一 个 孩子 ， 则 y. left=y. right 一 y。 孩 子 链表 中 各 兄弟 出 现 的 次 序 是 任意 的 。 

环形 双向 链表 (参考 10. 2 节 ) 应 用 在 斐 波 那 契 堆 中 有 两 个 优点 。 第 一 ， 可 以 在 O(1) 时 间 内 从 
一 个 环形 双向 链表 的 任何 位 置 插入 一 个 结 点 或 删除 一 个 结 点 。 第 二 ， 给 定 两 个 这 种 链表 ， 可 以 用 
OC) 时 间 把 它们 链接 (或 把 它们 * 抢 接 ? 在 一 起 ) 成 一 个 环形 双向 链表 。 在 斐 波 那 契 堆 操作 的 描述 
中 ， 我 们 将 非 正 式 地 提 到 这 些 操 作 ， 实 现 细节 留 给 读者 去 补充 。 

每 个 结 点 有 另外 两 个 属性 。 把 结 点 z 的 孩子 链表 中 的 孩子 数目 储存 在 zx. degree。 布 尔 值 属 
性 x. mark 指示 结 点 x 自从 上 一 次 成 为 另 一 个 结 点 的 孩子 后 ， 是 否 失 去 过 孩子 。 新 产生 的 结 点 是 
未 被 标记 的 ， 并 且 当 结 点 z 成 为 另 一 个 结 点 的 孩子 时 ， 它 便 成 为 未 被 标记 结 点 。 直 到 19. 3 节 的 
DECREASE-KEY 操作 ， 我 们 才 把 所 有 的 mark 属性 值 设 为 FALSE。 

通过 指针 互 . mi 来 访问 一 个 给 定 的 斐 波 那 契 堆 互 ， 该 指针 指向 具有 最 小 关键 字 的 树 的 根 结 
点 ， 我 们 把 这 个 结 点 称 为 斐 波 那 契 堆 的 最 小 结 点 (minimum node)。 如 果 不 止 一 个 根 结 点 具有 最 
小 关键 字 ， 那 么 这 些 根 结 点 中 的 任何 一 个 都 有 可 能 成 为 最 小 结 点 。 如 果 一 个 斐 波 那 契 堆 五 是 空 
的 ， 那 么 H. min 为 NIL。 

在 斐 波 那 契 堆 中 ， 所 有 树 的 根 都 用 其 left A right 指针 链 成 一 个 环形 的 双 链 表 ， 该 双 链 表 称 
为 斐 波 那 契 堆 的 根 链表 (root list), Aut, Ht H. min 指向 根 链 表 中 关键 字 最 小 的 那个 结 点 。 根 
链表 中 的 树 次 序 可 以 任意 。 

我 们 还 要 用 到 斐 波 那 契 堆 H 的 另 一 个 属性 : Hon, KIR 五 中 当前 的 结 点 数目 。 

势 函数 

正如 上 面 提 到 的 ， 将 使 用 17. 3 节 中 的 势 方法 来 分 析 斐 波 那 契 堆 操作 的 性 能 。 对 于 一 个 给 定 
的 斐 波 那 契 堆 H, HCH) 来 表示 五 中 根 链表 中 树 的 数目 ， 用 mH) 来 表示 H 中 已 标记 的 结 点 
数目 。 然 后 ， 定 义 斐 波 那 契 堆 HHA wR OCH 如 下 : 

®H) = t(H) + 2m(H) (19. 1) 
(19. 3 节 会 给 出 这 样 定义 的 一 些 直观 解释 。) 例 如 ， 图 19-2 中 所 示 的 斐 波 那 契 堆 的 势 为 5 十 2X3 一 
11。 一 系列 斐 波 那 契 堆 的 势 等 于 各 个 斐 波 那 契 堆 势 的 和 。 假 定 势 的 一 个 单位 可 以 支付 常数 数目 的 
工作 ， 该 常数 要 足够 大 ， 能 够 支付 我 们 可 能 遇 到 的 任何 特定 的 常数 时 间 的 工作 。 

假定 斐 波 那 契 堆 应 用 开始 时 ， 都 没有 堆 。 因 此 ， 势 初始 值 为 0， 而 且 根 据 公 式 (19. 1) ， 势 在 
随后 的 任何 时 间 内 均 不 为 负 。 依 据 公 式 (17. 3) ， 对 于 某 一 操作 序列 来 说 ， 总 的 摊 还 代价 的 上 界 就 
是 其 总 的 实际 代价 的 上 界 。 

最 大 度数 

在 本 章 剩 下 几 节 中 ， 对 于 摊 还 分 析 均 假定 ， 在 一 个 ?个 结 点 的 斐 波 那 契 堆 中 任何 结 点 的 最 大 
度数 都 有 上 界 D(z) 。 在 此 我 们 不 证 明 这 一 假定 ， 但 是 如 果 仅 仅 是 支持 可 合并 堆 的 操作 ， 那 么 
Dir) < | lgn| (思考 题 19-2d 要 求 读 者 证 明 这 一 性 质 .) 在 19.3 节 和 19.4 节 中 ， 当 支持 
DECREASE-KEY 和 DELETE 操作 时 ， 也 要 求 D(n) = OUgn) 。 


19.2 可 合并 堆 操作 

斐 波 那 契 堆 上 的 一 些 可 合并 堆 操作 要 尽 可 能 长 地 延 后 执行 。 不 同 的 操作 可 以 进行 性 能 平衡 。 
例如 ， 用 将 一 个 结 点 加 入 根 链 表 的 方式 来 插入 一 个 结 点 ， 这 样 仅 需 耗费 常数 时 间 。 如 果 从 空 的 斐 
波 那 契 堆 开始 ， 插 入 A 个 结 点 ， 斐 波 那 契 堆 将 由 一 个 正好 包含 & 个 结 点 的 根 链表 组 成 。 如 果 在 斐 波 
那 契 堆 瓦 上 执行 一 个 EXTRACT-MIN 操作 ， 在 移 除 H. min 指向 的 结 点 后 ， 将 不 得 不 遍历 根 链 表 
中 剩 下 的 一 1 个 结 点 来 找 出 新 的 最 小 结 点 ， 这 里 便 存 在 性 能 平衡 问题 。 只 要 我 们 在 执行 EXTRACT- 
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MIN 操作 中 遍历 整个 根 链表 ， 并 且 把 结 点 合并 到 最 小 堆 序 树 中 以 减 小 根 链 表 的 规模 。 下 面 将 看 到 ， 
不 论 根 链表 在 执行 EXTRACT-MIN 操作 之 前 是 什么 样子 ， 执 行 完 该 操作 之 后 ， 根 链表 中 的 每 个 结 点 
要 求 有 一 个 与 根 链表 中 其 他 结 点 均 不 同 的 度数 ， 这 使 得 根 链表 的 规模 最 大 是 Dn) 十 1 。 

创建 一 个 新 的 斐 波 那 契 堆 

创建 一 个 空 的 斐 波 那 契 堆 ，MAKE-FIB-HEAP 过 程 分 配 并 返回 一 个 斐 波 那 契 堆 对 象 H, H 
中 H. n=0 #l H. min=NIL, H 中 不 存在 树 。 因 为 :(H) =0 Ail m(H) =0 ， 空 斐 波 那 契 堆 的 势 为 
(H) =0. 。 因 此 ，MAKE-FIB-HEAP 的 摊 还 代价 等 于 它 的 实际 代价 OC 。 

插入 一 个 结 点 

下 面 的 过 程 将 结 点 zx 插入 斐 波 那 契 堆 互 中 ， 假 定 该 结 点 已 经 被 分 配 ，z. key 已 经 被 赋值 。 


FIB-HEAP-INSERT(H, x) 
1 xz. degree = 0 
2 x. p= NIL 
3 zx.child = NIL 
4 zx.mark = FALSE 
5 if H.min == NIL 
6 create a root list for H containing just zx 
7 H. min = x 
8 else insert z into H’s root list 
9 if x. key < H. min. key 
10 H. min = x 
1 Ha=H.n+1 


第 1 一 4 行 初 始 化 结 点 工 的 一 些 属性 。 第 5 行 测试 斐 波 那 契 堆 HAGA. MRAZ, WA 
第 6 一 7 行使 得 c RA H 的 根 链表 中 唯一 的 结 点 ， 并 将 了 H. min 指向 x; 否则 ， 第 8 一 10 行将 结 点 
zA H 的 根 链表 中 ， 如 果 有 必要 ， 就 更 新 H. min。 最 后 ,第 11 行 五 .” 增 1 来 反映 新 结 点 的 加 
A. FA 19-3 展示 了 一 个 具有 关键 字 21 的 结 点 插入 图 19-2 所 示 的 斐 波 那 契 堆 中 。 


H.min H.min 





图 19-3 ”将 一 个 结 点 插入 斐 波 那 契 堆 。(a) 斐 波 那 契 堆 瓦 。(b) 插 和 人 关键 字 为 21 的 结 点 后 的 斐 波 
RHE 及。 该 结 点 自 成 一 棵 最 小 堆 序 树 ， 然 后 被 插入 根 链表 中 ， 成 为 根 的 左 兄弟 

为 了 确定 FIB-HEAP-INSERT 的 摊 还 代价 ， 设 互 是 输入 的 斐 波 那 契 堆 ， 互 "是 结果 斐 波 那 契 

HE, BBA H) = (CH) +14 mH’) = mH) ,并且 势 的 增加 量 为 : 
CCH) +1) + 2m(H)) — CH) + 2m(H)) = 1 

由 于 实际 代价 为 O(1) ， 因 此 摊 还 代价 为 OU) +1= 00). 

寻找 最 小 结 点 

斐 波 那 契 堆 的 最 小 结 点 可 以 通过 指针 H. min 得 到 。 因 此 ， 可 以 在 O(1) 的 实际 代价 内 找到 最 
小 结 点 。 由 于 五 的 势 没有 发 生变 化 ， 因 此 该 操作 的 摊 还 代价 等 于 它 的 实际 代价 O(1) 。 

两 个 斐 波 那 契 堆 的 合并 

下 面 的 过 程 合并 斐 波 那 契 堆 H, AH, HEHE PAR H, 和 HH,。 它 简单 地 将 H, 和 H, 
的 根 链表 链接 ， 然 后 确定 新 的 最 小 结 点 。 之 后 ， 表 示 H, A H: 的 对 象 将 不 再 使 用 。 
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FIB-HEAP-UNION(H, , H2) 
1 H = MAKE-FIB-HEAP() 
2 H.min = H,.min 
3 concatenate the root list of Hz with the root list of H 
4 if (Hi.min = = NIL) or (Hz. min ANIL and Hz. min. key < Hy. min. key) 
5 H. min = Hz. min 
6 H.n= Hi.ntt H:n 
7 return H 
第 1 一 3 行将 H, 和 H: 的 根 链表 链接 成 为 H 的 新 根 链表 。 第 2、4、5 行 设 定 H 的 最 小 结 点 ， 
第 6 行将 H.n 设 为 所 有 结 点 的 个 数 。 第 7 行 返回 作为 结果 的 斐 波 那 契 堆 H, +j FIB-HEAP- 
INSERT 过 程 相同 ， 所 有 的 根 结 点 仍 为 根 结 点 。 
势 函 数 的 变化 为 : 
BH)— (@(H,) + BH)) = (CH) + 2m(H)) — (Hi)+2m( Hi)) + (tH) 2m( H,))) 
=0 
AA tH) = tCH,) +2(H,) 和 m(H) = m(H,)+m(H,) ， 所 以 FIB-HEAP-UNION 的 摊 还 代价 
等 于 它 的 实际 代价 O(1) 。 
抽取 最 小 结 点 
抽取 最 小 结 点 的 过 程 是 本 节 所 介绍 的 操作 中 最 为 复杂 的 一 个 。 这 里 还 要 介绍 前 面 提 到 的 在 
根 链表 中 合并 树 的 延 后 工作 。 下 面 的 伪 代 码 是 抽取 最 小 结 点 的 。 为 了 简便 该 代码 ,假定 当 一 个 结 
点 从 链表 中 移 除 后 ， 留 在 链表 中 的 指针 要 被 更 新 ， 但 是 抽取 出 的 结 点 中 的 指针 并 不 改变 。 该 代码 
还 调用 一 个 辅助 过 程 CONSOLIDATE， 稍 后 将 介绍 。 


FIB-HEAP-EXTRACT-MIN( H) 

1 z= H. min 

2 if z ANIL 

3 for each child x of z 
add z to the root list of H 
z.p = NIL 


remove z from the root list of H 


O O Naan A 


if z = = z. right 
H. min = NIL 
else H. min = z. right 
10 CONSOLIDATE(H) 
11 H.n = H.n—1 
12 return z 


如 图 19-4 HR, FIB-HEAP-EXTRACT-MIN 首先 将 最 小 结 点 的 每 个 孩子 变 为 根 结 点 ， 并 从 
根 链 表 中 删除 该 最 小 结 点 。 然 后 通过 把 具有 相同 度数 的 根 结 点 合并 的 方法 来 链接 成 根 链表 ， 直 
到 每 个 度数 至 多 只 有 一 个 根 在 根 链表 中 。 

首先 第 1 行 保存 一 个 指向 最 小 结 点 的 指针 z， 该 程序 最 后 返回 这 个 指针 。 如 果 ze ANIL, #8 
么 斐 波 那 契 堆 为 空 ， 可 以 结束 ; 否则 ， 在 第 3 一 5 行 中 让 z 的 所 有 孩子 成 为 HH 的 根 结 点 (把 它们 
插入 根 链表 )， 并 在 第 6 行 从 根 链表 中 移 除 >， 这 样 = EAH 中 删除 了 。 执 行 完 第 6 行 之 后 ， 如 
果 z 是 它 自 身 的 右 兄 弟 ， 那 么 = 是 根 链 表 中 仅 有 的 一 个 结 点 并 且 它 没有 和 孩子 结 点 。 这 样 所 有 剩 下 
的 工作 是 在 返回 之前， 第 8 行使 斐 波 那 契 堆 成 为 空 堆 。 和 否则 ， 把 指针 H. min 指向 根 链表 中 除 z 
之 外 的 某 个 根 结 点 (这 里 是 = 的 右 兄弟 )， 该 根 结 点 没有 必要 一 定 是 FIB-HEAP-EXTRACT-MIN 
执行 完 后 的 新 的 最 小 结 点 。 图 19-4(b) 所 示 的 是 图 19-4(a) 执 行 完 第 9 行 之 后 的 斐 波 那 契 堆 。 
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图 19-4 FIB-HEAP-EXTRACT-MIN 的 执行 过 程 。(a) 斐 波 那 契 堆 H., bO 从 根 链表 中 移 除 最 小 结 点 = 
并 把 它 的 孩子 加 入 根 链表 后 的 情形 。(c) 一 (e) 过 程 CONSOLIDATE 中 第 4~14 íF for 循环 的 前 
三 次 迭代 中 ， 每 一 次 迭代 完 后 的 树 以 及 数组 A 的 情况 。 该 过 程 对 根 链表 的 处 理 是 从 H. min 指 
向 的 结 点 开始 的 ， 并 沿 着 right 指针 的 方向 进行 。 每 个 图 都 显示 出 了 每 一 次 迭代 之 后 的 包 和 工 
fH. (f)~(h) for 循环 接 下 来 的 一 次 迭代 ， 显 示 了 第 7 一 13 行 的 while 循环 每 一 次 迭代 之 后 的 w 
和 zz 值 。 图 (人 展示 了 while 循环 第 一 次 执行 后 的 情形 。 关 键 字 为 23 的 结 点 被 链接 到 关键 字 为 7 
的 结 点 ， 后 者 也 是 zx 当前 所 指向 的 结 点 。 图 (g) 中 ， 关 键 字 为 17 的 结 点 被 链接 到 关键 字 为 7 的 
结 点 ， 后 者 仍 由 工 所 指向 。 图 Ch) 中， 关键 字 为 24 的 结 点 被 链接 到 关键 字 为 7 的 结 点 。 由 于 之 
前 AL3] 没 有 指向 任何 结 点 ， 在 for 的 这 一 次 迭代 后 ，A[3] 被 设 为 指向 结果 树 的 根 结 点 。(iD 一 
(D for 循环 剩 下 的 4 次 迭代 中 每 一 次 迭代 后 的 情形 。(m) 依 据 数组 A 重 构 根 链表 以 及 确定 新 的 
H. min 指针 后 的 斐 波 那 契 堆 H 
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下 一 步 是 合并 (consolidating) H 的 根 链表 ， 通 过 调用 CONSOLIDATE(HH) 来 减少 非 波 那 契 堆 
中 树 的 数目 。 合 并 根 链 表 的 过 程 为 重复 执行 以 下 步 又 ， 直 到 根 链表 中 的 每 一 个 根 有 不 同 的 度数 。 
1. 在 根 链 表 中 找到 两 个 具有 相同 度数 的 根 x 和 y。 不 失 一 般 性 ， 假 定 x. heyy. key. 
2. 把 > 链接 到 工 : 从 根 链表 中 移 除 >， 调 用 FIB-HEAP-LINK 过 程 ， 使 > 成 为 z 的 孩子 。 该 
过 程 将 x. degree 属性 增 1， 并 清除 > 上 的 标记 。 
过 程 CONSOLIDATE 使 用 一 个 辅助 数组 A[0.. DCH. n)] 来 记录 根 结 点 对 应 的 度数 的 轨迹 。 
如 果 A[ 训 =>， 那 么 当前 的 > 是 一 个 具有 2》. degree=i 的 根 。 当 然 ， 为 了 分 配 数组 必须 知道 如 何 
计算 最 大 度数 的 上 界 DCH. n) ， 但 这 些 将 在 19. 4 节 中 介绍 。 
CONSOLIDATE(H) 
1 let A[0.. DCH. n)] be a new array 
2 fori = 0 to D(H. n) 
3 A(iJ=NIL 


4 for each node w in the root list of H 
5 z= w 

6 d = x. degree 

7 while A[d] 4 NIL 

8 y = Ald] // another node with the same degree as x 
9 if zx. key > y. key 

10 exchange x with y 

11 FIB-HEAP-LINK(H,y, x) 
12 A[d]= NIL 

13 d=d+1 

14 A[d]= x 


15 H.min = NIL 
16 fori = 0 to D(H. n) 


17 if ALi] Æ NIL 

18 if H. min == NIL 

19 create a root list for H containing just A[i] 
20 H. min = A[i] 

21 else insert A[i] into H’s root list 

22 if ALi]. key < H. min. key 

23 H. min = ALi] 


FIB-HEAP-LINK(H, y, x) 

1 remove y from the root list of H 

2 make ya child of z, incrementing x. degree 
3 y. mark = FALSE 


具体 地 说 ，CONSOLIDATE 过 程 工 作 如 下 。 第 1 一 3 行 分 配 数 组 A， 并 将 数组 A 的 每 个 元 素 
初始 化 为 NIL。 第 4 一 14 行 的 for 循环 处 理 根 链表 中 的 每 个 根 结 点 w。 由 于 要 把 根 链接 起 来 ， 因 
此 也 可 能 被 链接 到 其 他 的 结 点 上 ， 不 再 是 一 个 根 。 然 而 ， 也 必然 在 以 某 个 结 点 并 为 根 树 内 ， 工 可 
能 是 也 可 能 不 是 名 本 身 。 因 为 想 要 每 个 根 都 有 不 同 的 度数 ， 所 以 查找 数组 A 来 确定 是 否 有 某 个 
Ry 与 有 相同 度数 。 如 果 有 ， 则 把 根 x Aly 链接 起 来 ， 并 保证 链接 完 后 2 仍然 是 一 个 根 。 也 就 
是 说 ， 如 果 y 的 关键 字 小 于 工 的 关键 字 ， 则 先 交换 指向 这 两 个 根 的 指针 ， 再 把 y 链接 到 zx。 在 y 
链接 到 z 以 后 ，z 的 度数 增加 1， 继续 执行 这 个 过 程 ， 把 x 和 另 一 个 与 zx 的 新 度数 相同 的 根 链接 ， 
直到 处 理 过 的 根 没有 与 x 有 相同 的 度数 。 然 后 ， 将 A 的 相应 关 元 素 指 向 +。 这 样 处 理 后 续 根 时 ， 
已 经 记录 是 已 处 理 过 的 根 中 具有 该 度数 的 唯一 根 。 当 这 个 for 循环 结束 时 ， 每 个 度数 下 至 多 只 
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有 一 个 根 ， 数 组 A 指向 每 个 剩 下 的 根 。 

第 7 一 13 行 的 while 循环 重复 地 将 包含 结 点 也 的 以 z 为 根 的 树 与 和 zz 度数 相同 的 根 相 链 接 ， 
直到 没有 其 他 的 根 与 x 有 相同 的 度数 。 这 个 while 循环 维持 了 如 下 的 不 变 式 : 

在 while 循环 的 每 次 迭代 开始 处 ，d 二 xz. degree 

使 用 这 一 循环 不 变 式 如 下 : 

初始 化 : 第 6 行 确保 第 一 次 进入 该 循环 时 ， 该 循环 不 变 式 成 立 。 

保持 : 在 while 循 环 的 每 一 次 迭代 中 ，A[d]j 指 向 某 个 根 y。 因 为 d==x. degree=y. degree, W 
KEE Ay KE Ay 中 哪个 具有 更 小 的 关键 字 ， 链 接 操 作 之 后 ， 该 结 点 成 为 男 一 个 结 点 
的 父 结 点 ， 因 此 如 有 必要 ， 第 9 一 10 行 交 换 指 向 和 yy 的 指针 。 接 下 来 ， 在 第 11 行 通 过 调用 
FIB-HEAP-LINK(H, y, 248 y 链接 到 xz。 这 个 调用 增加 了 x. degree 值 ， 而 y. degree H d. 
结 点 y 不 再 是 一 个 根 结 点 ， 因 此 第 12 行 从 数组 A 中 删除 指向 它 的 指针 。 由 于 调用 FIB-HEAP- 
LINK 增加 了 zx. degree 的 值 ， 第 13 行 恢复 不 变 式 d=x. degree, 

终止 : 重复 while 循环 直到 A[dj 二 NIL， 在 这 种 情形 下 ， 没 有 其 他 的 根 与 x 有 相同 的 度数 。 

while 循环 结束 后 ， 在 第 14 行将 ALdj 设 为 zx， 并 执行 for 循环 的 下 一 轮 和 迭代。 

19-4(c) 一 (e) 示 出 了 第 4 一 14 行 for 循环 前 三 轮 和 迭代 后 的 数组 A 和 结果 树 。 在 for 循环 的 
下 一 轮 和 迭代 中 ， 发 生 了 三 次 链接 ， 它 们 的 结果 如 图 19-4(fbD 一 (hb) 所 示 。 图 19-4(D 一 (D 展 示 了 for 
循环 接 下 来 4 轮 和 迭代 后 的 结果 。 

其 余 的 工作 就 是 清理 。 一 旦 第 4 一 14 行 的 for 循环 完成 ， 第 15 行 清空 根 链表 ， 第 16 一 23 行 
依据 数组 A 来 重 构 根 链表 。 最 后 得 到 的 斐 波 那 契 堆 如 图 19-4(m) 所 示 。 根 链表 合并 完 后 ，FIB- 
HEAP-EXTARCT-MIN 在 第 11 行 减 小 H. n, ER 12 行 返 回 指向 被 删除 的 结 点 z 的 指针 ， 然 后 
结束 程序 。 

现在 来 证 明 从 一 个 nn 个 结 点 的 斐 波 那 契 堆 中 抽取 最 小 结 点 的 挫 还 代价 为 OCLD(n)) 。 设 HK 
示 执 行 FIB-HEAP-EXTARCT-MIN 操作 之 前 的 斐 波 那 契 堆 。 

首先 给 出 抽取 最 小 结 点 的 实际 代价 。FIB-HEAP-EXTRACT-MIN 最 多 处 理 最 小 结 点 的 DCn) 
个 孩子 ， 再 加 上 CONSOLIDATE 中 第 2 一 3 行 和 第 16 一 23 行 的 工作 ,合计 需要 的 时 间 代 价 为 
OCD(n)) 。 剩 下 的 是 分 析 CONSOLIDATE 中 第 4 一 14 行 的 for 循环 代价 ， 这 一 部 分 我 们 使 用 聚 
合 分 析 。 因 为 原始 的 根 链 表 中 有 H) 个 结 点 ， 减 去 抽取 出 的 结 点 ， 再 加 上 抽取 出 的 结 点 的 孩子 
结 点 (至 多 为 D(n)) ， 所 以 调用 CONSOLIDATE 时 根 链表 的 大 小 最 大 为 DOD +H) — 1. Bi 
第 4 一 14 行 for 循环 的 一 轮 迭 代 中 ,第 7 一 13 行 的 while 循环 的 迭代 次 数 取决 于 根 链表 。 但 是 我 
们 知道 每 次 调用 while 循环 ， 总 有 一 个 根 结 点 被 链接 到 另 一 个 上 ， 因 此 for 循环 的 所 有 和 迭代 中 ， 
while 循环 的 总 次 数 最 多 为 根 链表 中 根 的 数目 。 因 此 ，for 循环 的 总 工作 量 最 多 与 Dn) +CH) 成 
正比 。 所 以 ,抽取 最 小 结 点 的 总 实际 工作 量 为 ODM + tC H)) 。 

抽取 最 小 结 点 之 前 的 势 为 i:( 昌 ) 十 2m(H) ， 因 为 最 多 有 D(Cn) 十 1 个 根 留 下 且 在 该 过 程 中 没有 
任何 结 点 被 标记 ， 所 以 在 该 操作 之 后 势 最 大 为 (Dan) +1) 十 2m( 昌 ) 。 所 以 摊 还 代价 最 多 为 : 

OD) + tCH)) + CDM) 十 1) + 2mCH)) — CH) + 2m(H)) 
= O(D(n)) + Ou HH) — tC) 
= O(D(n)) 

因为 可 以 增 大 势 的 单位 来 支配 隐藏 在 OCC CAD) 中 的 常数 。 直 观 上 讲 ， 由 于 每 次 链接 操作 均 
把 根 的 数目 减 小 1， 因 此 每 次 链接 操作 的 代价 可 以 由 势 的 减 小 来 支付 。 我 们 将 在 19. 4 节 中 看 到 
Din) = OUgn) ， 因 此 抽取 最 小 结 点 的 摊 还 代价 为 O(lgn) 。 


练习 
19.2-1 给 出 图 19-4Cm) 中 的 斐 波 那 契 堆 调 用 FIBHEAP-EXTRACT-MIN 后 得 到 的 斐 波 那 契 堆 。 
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19.3 ”关键 字 减 值 和 删除 一 个 结 点 

本 节 介 绍 如 何在 0(1) 的 摊 还 时 间 内 减 小 斐 波 那 契 堆 中 某 个 结 点 的 关键 字 的 值 ， 以 及 如 何在 
OCD(n)) 摊 还 时 间 内 从 一 个 nn 个 结 点 的 辈 波 那 契 堆 中 删除 一 个 结 点 。19.4 节 将 证 明 最 大 度数 
D(n) 是 Ollgn) ， 这 可 以 推出 FIB-HEAP-EXTRACT-MIN 和 FIB-HEAP-DELETE 能 在 Ol(lgn) 
的 摊 还 时 间 代 价 内 完成 。 

关键 字 减 值 

在 下 面 FIB-HEAP-DECREASE-KEY 操作 的 伪 代 码 中 ， 与 前 面 一 样 假定 从 一 个 链表 中 移 除 
一 个 结 点 不 改变 被 移 除 的 结 点 的 任何 结构 属性 。 


FIB-HEAP-DECREASE-KEY(H, zx, k) 
1 ifk >z. key 
error “new key is greater than current key” 
x. key = k 
y= xp 
if y Æ NIL and z. key < y. key 
CUT(H, zx, y) 
CASCADING-CUT(H, y) 
if x. key < H. min. key 


oon ow AUN 


H. min= x 

CUT(H, zx, y) 

l remove x from the child list of y, decrementing y. degree 
2 add z to the root list of H 

3 z.p = NIL 

4 x.mark = FALSE 
CASCADING-CUT(H, y) 

1 z= yp 

2 ifz NIL 

3 if y. mark = = FALSE 

4 y. mark = TRUE 

5 else CUT(H, y, z) 

6 CASCADING-CUT(H,z ) 


FIB-HEAP-DECREASE-KEY 过 程 工作 如 下 。 第 1~3 行 保证 新 的 关键 字 不 比 x 的 当前 关键 
字 大 ， 然 后 把 新 的 关键 字 赋 值 给 zx。 如 果 z 是 根 结 点 ,或 者 如 果 x. key 宇 y. key， 此 处 y 是 xz 的 父 
结 点 ， 那 么 不 需要 进行 结构 上 的 任何 改变 ， 因 为 没有 违反 最 小 堆 序 。 第 4~5 行 即 为 测试 这 一 
条 件 。 

如 果 违 反 了 最 小 堆 序 ， 那 么 需要 进行 很 多 改变 。 首 先 在 第 6 行 切断 (cuting)x。CUT 过 程 “ 切 
断 ”z 与 其 父 结 点 y 之 间 的 链接 ， 使 成 为 根 结 点 。 

我 们 使 用 mark 属性 来 得 到 需要 的 时 间 界 。 该 属性 记录 了 每 个 结 点 的 一 小 段 历史 。 假 定 下 面 
的 步骤 已 经 发 生 在 结 点 工 上 : 

1. 在 某 个 时 刻 ，z 是 根 。 

2. 然后 工 被 链接 到 另 一 个 结 点 (成 为 孩子 结 点 )。 

3. 然后 工 的 两 个 孩子 被 切断 操作 移 除 。 

一 旦 失掉 第 二 个 孩子 ， 就 切断 工 与 其 父 结 点 的 链接 ， 使 它 成 为 一 个 新 的 根 。 如 果 发 生 了 第 1 
步 和 第 2 步 且 z 的 一 个 孩子 被 切 掉 ， 那 么 属性 x. mark 为 TRUE。 因 此 ， 由 于 CUT 过 程 执行 了 


第 19 章 ， 斐 波 那 契 堆 。 299 


第 1 步 ， 所 以 它 在 第 4 行 清除 x. mark。( 现 在 我 们 知道 了 为 什么 FIB-HEAP-LINK 中 第 3 行 清除 
y. mark; 因为 结 点 y 正 被 链接 到 另 一 个 结 点 上 ， 即 上 面 的 第 2 步 正 被 执行 。 下 一 次 如 果 y 的 一 
个 孩子 被 切 掉 ， 则 y. mark HtA TRUE.) 

我 们 的 工作 还 没有 完成 ， 因 为 工 可 能 是 其 父 结 点 > 被 链接 到 另 一 个 结 点 后 被 切 掉 的 第 二 个 孩 
子 。 因 此 ，FIB-HEAP-DECREASE-KEY 的 第 7 行 尝试 在 结 点 ”上 执行 一 次 级 联 切断 (cascading- 
cut) 操 作 。 如 果 y 是 一 个 根 结 点 ， 那 么 CASCADING-CUT 的 第 2 行 测试 将 使 得 该 过 程 返回 。 如 
果 > 是 未 被 标记 的 结 点 ， 既 然 它 的 第 一 个 孩子 已 经 被 切 掉 ， 那 么 该 过 程 在 第 4 行 标 记 它 ， 并 返 
回 。 然 而 ， 如 果 y 是 被 标记 过 的 ， 则 > 刚刚 失去 了 它 的 第 二 个 孩子 ,那么 y 在 第 5 TRO, H 
第 6 行 CASCADING-CUT 递归 调用 它 本 身 来 处 理 y 的 父 结 点 z。CASCADING-CUT 过 程 沿 着 树 
一 直 递 归 向 上 ， 直 到 它 遇 到 根 结 点 或 者 一 个 未 被 标记 的 结 点 。 

一 旦 所 有 的 级 联 切断 都 完成 ， 如 果 有 必要 ，FIB-HEAP-DECREASE-KEY 的 第 8 一 9 行 就 更 
新 五 .xiz， 然 后 结束 程序 。 唯 一 一 个 关键 字 发 生 改 变 的 结 点 是 关键 字 被 减 小 的 结 点 z+。 因 此 ， 新 
的 最 小 结 点 要 么 是 原来 的 最 小 结 点 ， 要 么 是 结 点 x. 

图 19-5 展示 了 两 次 调用 FIB-HEAP-DECREASE-KEY 的 执行 过 程 ， 初 始 的 斐 波 那 契 堆 如 
图 19-5(a) 所 示 。 图 19-5(b) 所 示 的 是 第 一 次 调用 ， 其 中 不 涉及 任何 级 联 切 断 。 图 19-5(c) 一 Ce) 中 
所 示 的 是 第 二 次 调用 ， 其 中 引发 了 两 次 级 联 切 断 。 


H.min 





图 19-5 FIB-HEAP-DECREASE-KEY 的 两 次 调用 。(a) 初 始 的 斐 波 那 契 堆 。(b) 关 键 字 为 46 的 
结 点 将 关键 字 减 小 到 15。 该 结 点 成 为 一 个 根 结 点 ， 它 的 父 结 点 (具有 关键 字 24) 之 前 没 
有 被 标记 ， 现 在 被 标记 了 。(c) 一 (e) 关 键 字 为 35 的 结 点 将 关键 字 减 小 到 5。 图 (c) 中 ， 
该 结 点 的 关键 字 已 经 为 5， 变 为 根 结 点 。 它 的 父 结 点 (关键 字 为 26) 是 被 标记 过 的 ， 
此 需要 调用 一 个 级 联 切 断 操作 。 关 键 字 为 26 的 结 点 被 从 父 结 点 上 前 切 下 来 ， 成 为 
图 (d) 中 的 一 个 未 被 标记 的 根 。 另 一 个 级 联 切 断 操作 需要 执行 ， 因 为 关键 字 为 24 的 结 
点 也 已 经 被 标记 。 该 结 点 被 从 它 的 父 结 点 上 剪 切 下 来 ， 成 为 图 Ce) 中 的 一 个 未 被 标记 的 
根 。 因 为 关键 字 为 7 的 结 点 是 个 根 ， 所 以 级 联 切断 操作 在 此 结束 。( 即 使 这 个 结 点 不 是 
根 ， 级 联 操 作 也 会 结束 ， 因 为 它 未 被 标记 。) 图 (e) 展 示 了 FIB-HEAP-DECREASE-KEY 
操作 后 的 结果 ， 其 中 H. min 指向 了 新 的 最 小 结 点 
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现在 来 证 明 FIB-HEAP-DECREASE-KEY 的 摊 还 代价 为 0(1) 。 先 来 推导 它 的 实际 代价 。 
FIB-HEAP-DECREASE-KEY 过 程 需 要 OO) 的 时 间 ， 还 需 加 上 级 联 切断 操作 的 时 间 。 假 定 一 个 
给 定 的 FIB-HEAP-DECREASE-KEY 调用 中 ， 要 调用 c 次 CASCADING-CUT (FIB-HEAP- 
DECREASE-KEY 中 第 7 行 的 调用 引发 了 CASCADING-CUT 的 < 一 1 次 递归 调用 )。 
CASCADING-CUT 的 每 一 次 调用 (不 包括 递归 调用 ) 需 要 O(1) 的 时 间 。 因 此 ， 包 含 所 有 的 递归 调 
用 后 ，FIB-HEAP-DECREASE-KEY 的 实际 代价 为 O(c) 。 

接 下 来 计算 势 的 变化 。 设 H J FIB-HEAP-DECREASE-KEY 操作 执行 之 前 的 斐 波 那 契 堆 。 
FIB-HEAP-DECREASE-KEY 的 第 6 行 调用 CUT 创建 了 一 棵 以 结 点 z 为 根 的 新 树 ， 并 清除 了 x 
的 标记 位 (该 标记 位 可 能 已 经 是 FALSE)。 除 了 最 后 一 次 调用 ， 其 他 每 一 次 调用 CASCADING- 
CUT, 均 切 掉 一 个 标记 过 的 结 点 并 清除 该 结 点 的 标记 位 。 此 后 ， 斐 波 那 契 堆 包含 CH) +c 棵 树 
EKKI CH) 棵 数 ，c 一 1 棵 被 级 联 切 断 操 作 产 生 的 树 ， 以 及 以 结 点 z 为 根 的 树 )， 而 且 最 多 有 
ma(ED) 一 c 十 2 个 被 标记 的 结 点 (c 一 1 个 结 点 被 级 联 切 断 操 作 清 除 标记 ， 最 后 一 次 调用 
CASCADING-CUT 可 能 又 标记 了 一 个 结 点 ) 。 因 此 势 的 变化 最 多 为 : 

CACH) +0) + 2¢m(H) — c+ 2)) — CH) + 2m(H)) 一 4 一 c 
Att, FIB-HEAP-DECREASE-KEY 的 摊 还 代价 至 多 是 
Oc) +4—¢ = OU) 
因为 可 以 将 势 的 单位 增 大 到 能 支配 OCc) 中 隐藏 的 常数 。 

现在 读者 应 该 清楚 为 什么 在 定义 势 函数 时 ， 要 包含 一 个 2 倍 于 标记 结 点 数目 的 项 。 当 一 个 标 
记 的 结 点 y 被 一 个 级 联 切 断 操作 切 掉 时 ， 它 的 标记 位 被 清空 ， 这 使 得 势 减 小 2。 一 个 单位 的 势 支 
付 切断 和 标记 位 的 清除 ， 另 一 个 单位 补偿 了 因为 结 点 y 变 成 根 而 增加 的 势 。 

删除 一 个 结 点 

下 面 的 伪 代 码 在 OCLD(n)) 的 摊 还 时 间 内 从 一 个 具有 个 结 点 的 辈 波 那 契 堆 中 删除 一 个 结 点 。 
假定 在 斐 波 那 契 堆 中 任何 关键 字 的 当前 值 均 不 为 一 oo。 

FIB-HEAP-DELETE(H, zx) 

1 FIB-HEAP-DECREASE-KEY(H, zx,—°°) 

2 FIB-HEAP-EXTRACT-MIN(H) 


FIB-HEAP-DELETE 把 唯一 的 最 小 关键 字 一 ce 赋予 zx， 将 x FEA SER AB HEP Be) GR 
然后 FIB-HEAP-EXTRACT-MIN 过 程 从 斐 波 那 契 堆 中 移 除 zx。FIB-HEAP-DELETE 的 摊 还 时 间 
为 FIB-HEAP-DECREASE-KEY 的 OC) 摊 还 时 间 与 FIB-HEAP-EXTRACT-MIN 的 OCD(n)) 摊 
还 时 间 之 和 。 因 为 在 19. 4 节 中 将 证 明 D(n) = O(lgz) ， 所 以 FIB-HEAP-DELETE 的 摊 还 时 间 为 
OUgn) 。 


练习 

19.3-1 假定 斐 波 那 契 堆 中 一 个 根 工 被 标记 了 。 解 释 工 是 如 何 成 为 一 个 被 标记 的 根 的 。 试 说 明 z 
是 否 被 标记 对 分 析 并 没有 影响 ， 即 使 它 不 是 一 个 先 被 链接 到 另 一 个 结 点 ， 后 又 丢失 了 一 
个 孩子 的 根 。 

19. 3-2 ”使 用 聚合 分 析 来 证 明 FIB-HEAP-DECREASE-KEY 的 OC) 摊 还 时 间 是 每 一 个 操作 的 平 
均 代 价 。 


19.4 最 大 度数 的 界 
要 证 明 FIB-HEAP-EXTARCT-MIN 和 FIB-HEAP-DELETE 的 排 还 时 间 为 O(lgn) ， 必 有 需 证 
明 一 个 具有 个 结 点 的 斐 波 那 契 堆 中 任意 结 点 的 度数 的 上 界 D(z) A Ogn) 。 特 别 地 ， 要 证 明 
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D(n) < Llog,z」， 这 里 % 是 公式 (3. 24) 中 定义 的 黄金 分 割 率 : 
$ = (1 十 V5)/2 = 1. 61803… 

这 个 分 析 的 关键 如 下 。 对 于 斐 波 那 契 堆 中 的 每 个 结 点 zx， 定 义 size(z) 为 以 x 为 根 的 子 树 中 
包括 xz 本 身 在 内 的 结 点 个 数 (注意 z 并 不 是 必须 在 根 链表 中 ， 它 可 以 是 任意 的 结 点 。) 我 们 将 证 明 
size(x) 是 x. degree WHE. WIE: x. degree MASE r 的 度数 的 准确 计数 。 

引 理 19.1 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 假定 x. degree=k. R yis ys s MATR 
工 的 孩子 ， 并 以 它们 链 入 工 的 先后 顺序 排列 ， 则 y,.degree>0, BAF i=2, 3, +, ky AH 
Yi. degree=i—2, 

证 明 显然 ，m. degree>0. MF ;人 2， 注意 到 当 y RHA cM, ns yo ots WAG 
经 是 过 的 孩子 ， 因 此 一 定 有 x. degree 宇 i 一 1。 因 为 结 点 y 只 有 在 x. degree= y. degree 的 时 候 ， 
才 会 被 链 入 z( 执 行 操作 CONSOLIDATE)， 此 时 也 一 定 有 y:i degree 宇 i 一 1。 从 这 之 后 ， 结 点 Yi 
最 多 失去 一 个 孩子 ， 因 为 如 果 它 失去 了 两 个 孩子 ， 它 将 被 从 工 中 剪 切 掉 ( 执 行 操作 CASCADING- 
CUT). SE, yi degreezi— 2, 图 

我 们 终于 可 以 解释 “ 斐 波 那 契 堆 ? 这 个 名 字 的 由 来 了 。 回 顾 3. 2 节 ， 对 于 & 一 0，1，2，…， 
第 & 个 斐 波 那 契 数 被 定义 为 如 下 递归 式 : 


0 如 果 & 三 0 
n= wRR=1 
Fei HF 如 果 A 之 2 


下 面 的 引 理 给 出 了 另 一 种 表示 Fi 的 方法 。 
引 理 19.2 对 于 所 有 的 整数 RDO, 


k 
Fue 一 1 十 2) 已 
WEAR ”对 进行 归纳 。 当 ==0 时 ， 
1+ >)F, =1+F, =1+0=F, 
i=0 


现 做 归纳 假设 Fen =1+ SF, 那么 有 


= k 
Fn =FR HFa =F t+(1+ KF) =14+ OF a 
i=0 i=0 


引 理 19. 3 TAA A RHR RD0, LRAPRRHRA+2PRKBA FSH. 

证 明 ”对 进行 归纳 。 归 纳 基础 是 k=0 A k=l 的 情形 。 当 ==0 时 ， A Flp, HAY 
k=1 时 ， 有 F, =2>1.619>$'. HAH EX F k>2, BERF i50, 1, e, k—1, E F> 
几 。 回 顾 必 是 等 式 (3. 23) =2+1 的 正 根 。 因 此 ， 有 


Fue = Fm + F, 
aft +e (根据 归纳 假设 ) 
= #7($ 十 1) 
=f eg (根据 等 式 (3. 23)) 
= ¢ a 


下 面 的 引 理 和 推论 完成 了 整个 分 析 。 

引 理 19.4 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 设 & 一 z. degree, MA size(z) > Fu >Ë, 
HP $= (1 十 V5)/2 。 

证 明 设 wx 表示 斐 波 那 契 堆 中 度数 为 & 的 任意 结 点 的 最 小 可 能 size, EAL, so=1, s 一 2。 
st 最 大 为 size(z) ， 且 因为 往 一 个 结 点 上 添加 孩子 不 能 减 小 该 结 点 的 size，sx 的 值 随 着 单调 递 
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增 。 在 任意 斐 波 那 契 堆 中 ， 考 虑 某 个 结 点 z， 有 z. degree 一 & 和 Size(z) 一 %。 因 为 s< size(x) ， 
所 以 可 以 通过 计算 s 的 下 界 来 得 到 size(z) 的 一 个 下 界 。 与 引 理 19. 1 一样, Fs yer vers om 
表示 结 点 z 的 孩子 ， 并 按照 它们 链 入 该 结 点 的 先后 顺序 排列 。 为 了 求 wx 的 界 ， 把 = 本 身 和 >z 的 第 
一 个 孩子 yi(size(y1) > D 各 算 一 个 ， 则 有 


k k 
size(x) > s Z 2+ D) sy ere SLA D) si 
i=2 i=2 


其 中 最 后 一 行 由 引 理 19. 1( 因 此 有 y: degree>i—2), UR s 的 单调 性 (因此 有 Sy, degre = Si) 
得 到 。 

现在 对 进行 归纳 证 明 ， 对 于 所 有 的 非 负 整 数 &k， 有 sF 。 归 纳 基础 ，& 王 0 和 A 一 1 时 显 
然 成 立 。 对 于 归纳 步 ， 假定 二 2 且 对 于 i 二 0，1，…, k-1, HAS SFi., WA 


k k k 
& 2+ Ys. >S2+ DR =14+ DF, 
i=2 i=2 i=0 


= Fs (根据 引 理 19. 2) 
> (根据 引 理 19. 3) 
于 是 就 证 明了 size(x) >F 2#. a 
推论 19.5 —A n AS oy ER AB EP EEE RK ER D) 为 Ol(lgn) 。 
证 明 Wz Pn PHY RAB RHE PLE. FFB R= ax. degree。 依 据 引 
理 19.4， 有 n> size(z) >#. PUA $ AUER, HB) klog. (实际 上 ， 因 为 & 是 整数 ， 所 
以 & 三 Llogynj,) 所 以 ,任意 结 点 的 最 大 度数 Din) 为 OUgn) 。 加 
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19. 4-1 Pinocchio 教授 声称 一 个 ?个 结 点 的 斐 波 那 契 堆 的 高 度 是 O(lgz) 的 。 对 于 任意 的 正 整数 
?2， 试 给 出 经 过 一 系列 斐 波 那 契 堆 操作 后 ， 可 以 创建 出 一 个 斐 波 那 契 堆 ， 该 堆 仅仅 包含 
一 棵 具有 个 结 点 的 线性 链 的 树 ， 以 此 来 说 明 该 教授 是 错误 的 。 

19.4-2 ”假定 对 级 联 切 断 操作 进行 推广 ， 对 于 某 个 整数 常数 &， 只 要 一 个 结 点 失去 了 它 的 第 ki 
孩子 ， 就 将 其 从 它 的 父 结 点 上 剪 切 掉 (19. 3 节 中 为 &=2 的 情形 )。& 取 什 么 值 时 ， 有 
D(n) = OUgn) 。 


思考 题 
19-1 (删除 操作 的 另 一 种 实现 ) Pisano 教授 提出 了 下 面 的 FIB-HEAP-DELETE 过 程 的 一 个 变 
种 ， 声 称 如 果 删 除 的 结 点 不 是 由 H. min 指向 的 结 点 ， 那 么 该 程序 运行 得 更 快 。 


PISANO-DELETE(H, x) 

1 ifz== H.min 

2 FIB-HEAP-EXTRACT-MIN(H) 

3 elsey=zx.p 

4 if y Æ NIL 

5 CUT(H, =z, y) 

6 CASCADING-CUT(H, y) 

7 add x’s child list to the root list of H 
8 


remove zx from the root list of H 

a. 该 教授 的 声称 是 基于 第 7 行 可 以 在 O(1) 实际 时 间 内 完成 的 这 一 假设 ， 它 的 程序 可 以 运 
行 得 更 快 。 该 假设 有 什么 问题 吗 ? 

b. 34 x ASEH H. min 指向 时 ， 给 出 PISANO-DELETE 实际 时 间 的 一 个 好 上 界 。 你 给 出 的 
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上 界 应 该 以 z. degree 和 调用 CASCADING-CUT 的 次 数 c 这 两 个 参数 来 表示 。 

c 假定 调用 PISANO-DELETE(H, x), Fi 五 是 执行 后 得 到 的 斐 波 那 契 堆 。 假 定 结 点 x 
不 是 一 个 根 ， 用 x. degree、c、t(H) 和 m(HH) 来 表示 H HHA. 

d. 证 明 : PISANO-DELETE 的 摊 还 时 间 渐 近 地 不 好 于 FIB-HEAP-DELETE 的 摊 还 时 间 ， 
即使 在 2 AH. min 时 也 是 如 此 。 

19-2 (二 项 树 和 二 项 堆 ) 二 项 树 B 是 一 棵 递归 定义 的 有 序 树 ( 参 看 B. 5. 2 节 )。 如 图 19-6(a) 所 
示 ， 二 项 树 B 仅 包含 一 个 结 点 。 二 项 树 B 是 由 两 个 二 项 树 B,_! 组 成 的 ， 这 两 棵 树 按照 一 
棵 树 的 根 是 另 一 棵 树 根 的 最 左 孩子 的 方式 链接 。 图 19-6(b) 所 示 为 二 项 树 B 到 B, 。 
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图 19-6 〈a) 递 归 定 义 的 二 项 树 B:。 三 角形 表示 有 根子 树 。(b) 二 项 树 B 到 B, 。B, 中 结 点 的 深 
度数 已 经 给 出 。(c) 另 一 种 角度 看 二 项 树 B 


a. 对 于 二 项 树 B， HEAR: 
1. 一 共有 2 MER. 
2. 树 的 高 度 是 &。 


3. 对 于 ;0，1，…，k， 深 度 为 :的 结 点 恰 有 (<) 个 。 


4. 根 的 度数 为 &， 它 比 其 他 任意 结 点 的 度数 都 要 大 。 此 外 ， 如 图 19-6(c) 所 示 ， 如 果 把 
根 的 孩子 从 左 到 右 编 号 为 k 一 1，& 一 2，…，0， 那 么 孩子 i ETH B 的 根 。 
二 项 堆 (binomial heap) H 是 具备 如 下 性 质 的 二 项 树 的 集合 : 
1. 每 个 结 点 具有 一 个 关键 字 ( 与 斐 波 那 契 堆 相同 ) 。 
2. 五 中 的 每 个 二 项 树 遵 循 最 小 堆 性质 。 
3. 对 于 任意 的 非 负 整数 &， 互 中 最 多 有 一 个 二 项 树 的 根 的 度数 为 &。 
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19-3 


19-4 
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b. 假定 一 个 二 项 堆 HHA n MAA. Hit H 中 包含 的 二 项 树 与 的 二 进 制 表示 之 间 的 

关系 。 并 证 明 互 最 多 由 Llgzj 十 1 棵 二 项 树 组 成 。 
假定 按 如 下 方式 表述 二 项 堆 。 用 10. 4 节 中 的 左 孩子 、 右 邻 兄 弟 方案 来 表示 二 项 堆 中 

的 每 一 棵 二 项 树 。 每 个 结 点 包含 一 个 关键 字 ， 指 向 它 父 结 点 的 指针 、 指 向 它 最 左 孩 子 的 指 

针 和 指向 与 它 右 邻 兄 弟 的 指针 (这 些 指针 一 些 情况 下 是 NIL)， 以 及 它 的 度数 (如 同 斐 波 那 

契 堆 ， 表 示 为 有 多 少 个 孩子 ) 。 这 些 根 组 成 了 一 个 单 向 链接 的 根 链 表 ， 并 以 根 的 度数 从 小 

到 大 排列 。 可 以 通过 一 个 指向 根 链表 第 一 个 结 点 的 指针 来 访问 二 项 堆 。 

c 完整 描述 如 何 表示 一 个 二 项 堆 ( 例 如 ， 对 属性 进行 命名 ， 描 述 属 性 值 什么 时 候 为 NIL， 
定义 根 链表 是 怎么 组 织 的) ， 并 说 明 如 何 用 与 本 章 中 实现 斐 波 那 契 堆 一 样 的 方式 来 实现 
在 二 项 堆 上 同样 的 7 个 操作 。 每 一 个 操作 的 最 坏 时 间 应 该 为 O(lgn) ， 其 中 为 二 项 堆 
中 的 结 点 数目 (或 对 于 UNION 操作 ， 为 要 被 合并 的 两 个 二 项 堆 中 的 结 点 数 )。MAKE- 
HEAP 操作 应 为 常数 时 间 。 

d. 假定 仅仅 要 实现 在 一 个 斐 波 那 契 堆 上 的 可 合并 堆 操作 ( 即 并 不 实现 DECREASE-KEY 和 
DELETE 操作 )。 斐 波 那 契 堆 中 的 树 与 二 项 堆 中 的 树 有 何 相 似 之 处 ? 有 什么 区 别 ? 证 明 
在 一 个 nn 个 结 点 的 斐 波 那 契 堆 中 最 大 度数 最 多 为 Llgnj。 

e. McGee 教授 提出 了 一 个 基于 斐 波 那 契 堆 的 新 的 数据 结构 。 一 个 McGee HERA 45 ERK AB 
契 堆 相同 的 结构 ， 并 且 只 支持 可 合并 堆 操作 。 除 了 插入 和 合并 在 最 后 一 步 中 合并 根 链 表 
外 ， 其 他 操作 的 实现 方式 均 与 斐 波 那 契 堆 中 的 实现 方式 相同 。McGee 堆 上 各 操作 的 最 
坏 情况 运行 时 间 是 多 少 ? 

(更 多 的 斐 波 那 契 堆 操作 ) MRP BRERA H 支持 两 个 新 操作 ， 要 求 不 改变 斐 波 那 

契 堆 其 他 操作 的 摊 还 时 间 。 

a. 操作 FIB-HEAP-CHANGE-KEY(H, x, 上 &) 将 结 点 zx 中 关键 字 的 值 改 为 &。 给 出 FIB- 
HEAP-CHANGE-KEY 的 一 个 有 效 实现 ， 并 分 析 当 & 大 于 、 小 于 或 等 于 zx. key 时 ， 各 情 
形 下 的 摊 还 运行 时 间 。 

b. 给 出 FIB-HEAP-PRUNE(H, 7) 的 一 个 有 效 实现 ， 该 操作 从 H 中 删除 g 王 min(Cr， 五 . 7 
个 结 点 。 可 以 选择 任意 g 个 结 点 来 删除 。 试 分 析 你 的 实现 的 摊 还 运行 时 间 。( 提 示 : 可 
能 需要 修改 数据 结构 以 及 势 函数 。) 

(2-3-4 堆 ) 第 18 章 介绍 了 2-3-4 树 ， 树 中 每 个 内 部 结 点 (而 不 是 根 ) 有 2 个 、3 个 或 4 个 孩 

子 ， 且 所 有 的 叶 结 点 有 相同 的 深度 。 在 本 问题 中 ， 实 现 支持 可 合并 堆 操作 的 2-3-4 堆 。 

2-3-4 堆 以 下 几 点 与 2-3-4 树 不 同 。 在 2-3-4 堆 中 ， 仅 仅 叶 结 点 存储 关键 字 ， 并 且 每 个 

叶 结 点 工 仅仅 在 属性 x. key 中 存储 一 个 关键 字 。 叶 结 点 中 的 关键 字 可 能 以 任意 顺序 存在 。 

每 个 内 部 结 点 工 包含 一 个 值 x. small, CEFA z 为 根 的 子 树 中 叶 结 点 存储 的 最 小 的 关键 

字 。 根 ~ 包含 一 个 属性 ~. height， 存 储 树 的 高 度 。 最 后 ，2-3-4 堆 设计 为 存放 在 主 存 中 ， 这 

样 磁盘 的 读 / 写 是 不 需要 的 。 

实现 下 面 的 2-3-4 堆 操作 。 在 一 个 具有 个 元 素 的 2-3-4 堆 上 ，(a) 一 (e) 中 每 一 个 操作 

应 该 在 OUgn) 时 间 内 完成 。(f) 中 的 UNION 操作 应 该 在 Ogn) 时 间 内 完成 ， 其 中 为 输 

入 的 两 个 堆 元 素 个 数 之 和 。 

a. MINIMUM, 该 操作 返回 一 个 指向 具有 最 小 关键 字 的 叶 结 点 的 指针 。 

b. DECREASE-KEY, 该 操作 将 一 个 给 定 的 叶 结 点 x 的 关键 字 减 小 为 给 定 的 值 & 二 x. key, 

c INSERT， 该 操作 插入 一 个 关键 字 为 的 叶 结 点 工 。 

d. DELETE， 该 操作 删除 一 个 给 定 的 叶 结 点 z。 

e. EXTRACT-MIN， 该 操作 抽取 具有 最 小 关键 字 的 叶 结 点 。 
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f. UNION， 该 操作 合并 两 个 2-3-4 堆 ， 并 返回 一 个 单独 的 2-3-4 堆 ， 销 毁 掉 输入 的 堆 。 


本 章 注 记 

Fredman 和 TarjanL114] 提 出 了 斐 波 那 契 堆 。 他 们 的 论文 也 描述 了 斐 波 那 契 堆 在 一 些 问 题 上 
的 应 用 : 单 源 最 短路 径 、 所 有 点 对 之 间 的 最 短路 径 、 加 权 二 分 图 匹配 和 最 小 生成 树 问 题 。 

随后 ，Driscoll、Gabow、Shrairman 和 Tarjan[96] 设 计 了 有 别 于 斐 波 那 契 堆 的 “松散 堆 ”， 该 
堆 有 两 个 变 体 。 一 个 具有 与 斐 波 那 契 堆 相 同 的 摊 还 时 间 界 。 另 一 个 允许 DECREASE-KEY 在 
OO) 的 最 坏 情况 时 间 ( 不 是 摊 还 时 间 ) 内 完成 ，DEXTACT-MIN 和 DELETE 在 Ollgn) 最 坏 情况 
时 间 内 完成 。 松 散 堆 在 并 行 算法 中 也 要 比 斐 波 那 契 堆 更 优越 些 。 

在 第 6 章 的 “本 章 注 记 ”中 ， 也 提 到 一 些 其 他 数据 结构 ， 当 EXTRACT-MIN 调用 的 返回 值 序 
列 随时 间 单 调 递 增 并 且 这 些 值 在 某 一 特定 的 范围 内 是 整数 时 ， 这些 数据 结构 支持 更 快 的 
DECREASE-KEY 操作 。 
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在 前 面 几 章 中 ， 我 们 见 过 了 一 些 支持 优先 队列 操作 的 数据 结构 ， 如 第 6 章 的 二 叉 堆 、 第 13 
章 的 红 黑 树 S 和 第 19 章 的 斐 波 那 契 堆 。 在 这 些 数据 结构 中 ， 不 论 是 最 坏 情 况 或 摊 还 情况 ， 至 少 
有 一 项 重要 操作 只 需 OUgn) 时 间 。 实 际 上 ， 由 于 这 些 数据 结构 都 是 基于 关键 字 比 较 来 做 决定 
的 ， 因 此 ，8. 1 节 中 排序 下 界 QC(nlgn) 说 明 至 少 有 一 个 操作 必需 Og) 的 时 间 。 这 是 为 什么 
呢 ? 因为 如 果 INSERT 和 EXTRACT-MIN 操作 均 需 要 oClgn) 时 间 ， 那 么 可 以 通过 先 执行 n 次 
INSERT 操作 ， 接 着 再 执行 n 次 EXTRACT-MIN 操作 来 实现 o(n Ign) 时 间 内 对 n 个 关键 字 的 
排序 。 

然而 ， 第 8 章 中 我 们 见 到 过 ， 有 时 可 以 利用 关键 字 所 包含 的 附加 信息 来 完成 oC(nlgn) 时 间 内 
的 排序 。 特 别 地 ， 对 于 计数 排序 ， 每 个 关键 字 都 是 介 于 0 一 & 之 间 的 整数 ， 这 样 排序 个 关键 字 
能 在 9(z 十 妃 时 间 内 完成 ， 而 当 &= OG) 时 ， 排 序 时 间 为 OC). 

由 于 当 关 键 字 是 有 界 范围 内 的 整数 时 ， 能 够 规避 排序 的 QCzlgz) 下 界 的 限制 ， 那 么 在 类 似 
的 场景 下 ， 我 们 应 弄 清楚 在 ollgn) 时 间 内 是 否 可 以 完成 优先 队列 的 每 个 操作 。 在 本 章 中 ， 我 们 将 
看 到 : van Emde Boas 树 支 持 优 先 队列 操作 以 及 一 些 其 他 操作 ， 每 个 操作 最 坏 情况 运行 时 间 为 
O(lglgz) 。 而 这 种 数据 结构 限制 关键 字 必 须 为 0 一 "一 1 的 整数 且 无 重复 。 

明确 地 讲 ，van Emde Boas 树 支 持 在 动态 集合 上 运行 时 间 为 O(lglgz) 的 操作 : SEARCH, 
INSERT、DELETE、MINIMUM、MAXIMUM、SUCCESSOR 和 PREDECESSOR。 本 章 只 关注 
关键 字 的 存储 ， 而 不 讨论 卫星 数据 。 由 于 只 是 考虑 要 求 不 允许 重复 存储 的 关键 字 去 实现 一 个 更 
简单 的 MEMBER(S，z) 操 作 ( 而 不 是 去 描述 稍 复杂 的 SEARCH 操作 )， 该 操作 通过 返回 一 个 布 
尔 值 来 指示 z 是 否 在 动态 集合 S 内 。 

到 目前 为 止 ， 参数 n 有 两 个 不 同 的 用 法 : 一 个 为 动态 集合 中 元 素 的 个 数 ， 另 一 个 为 元 素 的 可 
能 取 值 范围 。 为 避免 混淆 ， 以 下 用 n 表示 集合 中 当前 元 素 的 个 数 ， 用 u 表示 元 素 的 可 能 取 值 范 
围 ， 这 样 每 个 van Emde Boas 树 操作 在 OUg lgu) 时 间 内 运行 完 。 要 存储 的 关键 字 值 的 全 域 
(universe) 集 合 为 {0，1，2，…，u 一 1}， 为 全 域 的 大 小 。 本 章 始 终 假定 wx 恰 为 2H, B u= 
2*， 其 中 整数 二 1。 

20.1 节 开 始 会 讨论 一 些 简单 的 方法 ， 为 后 续 内 容 的 学 习 做 铺垫 。 在 20. 2 节 中 ， 这 些 方法 会 
被 逐一 改进 ， 从 而 引入 van Emde Boas 结构 的 原型 ， 它 是 递归 的 但 并 未 达到 O(lg lgw) 的 运行 时 
间 。20. 3 节 对 原型 van Emde Boas 结构 进行 改进 ， 发 展 为 van Emde Boas 树 ， 并 且 介 绍 如 何在 
O(lglgz) 时 间 内 实现 每 个 操作 。 


20. 1 基本 方法 

本 节 讨 论 动态 集合 的 几 种 存储 方法 。 虽 然 这 些 操 作 都 无 法 达到 想 要 的 O(lg lgu) 运行 时 间 界 ， 
但 这 些 方法 有 助 于 理解 本 章 后 面 介绍 的 van Emde Boas 树 。 

直接 寻 址 

直接 寻 址 ( 见 11. 1 节 ) 提 供 了 一 种 存储 动态 集合 的 最 简单 方法 。 由 于 本 章 只 关注 存储 关键 字 ， 
如 练习 11. 1-2 中 讨论 过 的 ， 可 以 将 用 于 动态 集合 的 直接 寻 址 法 简化 为 一 个 位 向 量 。 我 们 维护 一 


O 第 13 章 并 没有 直接 给 出 关于 如 何 实现 EXTRACT-MIN 和 DECREASE-KEY 的 讨论 ， 但 是 我 们 能 很 容易 为 支持 
MINIMUM, DELETE # INSERT 操作 的 任何 数据 结构 构建 这 些 操作 。 
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个 zx 位 的 数组 A[0..x 一 二 ， 以 存储 一 个 值 来 自 全 域 (0，1，2，…，z 一 1} 的 动态 集合 。 若 值 z 属 
于 动态 集合 ， 则 元 素 A[z] 为 1; 否则 ，A[z] 为 0。 虽然 利用 位 向 量 方法 可 以 使 INSERT, 
DELETE 和 MEMBER 操作 的 运行 时 间 为 OC) ， 然 而 其 余 操 作 C(MINIMUM、MAXIMUM、 
SUCCESSOR 和 PREDECESSOR) 在 最 坏 情况 下 仍 需 9(z) 的 运行 时 间 ， 这 是 因为 操作 需要 扫描 
@(z) 个 元 素 .8 例 如 ， 如 果 一 个 集合 只 包含 值 0 和 一 1， 则 要 查找 0 的 后 继 ， 就 需要 查询 1 到 
zx 一 2 的 所 有 结 点 ， 直 到 发 现 A[u 一 1] 中 的 1 为 止 。 

又 加 的 二 叉 树 结构 

我 们 能 够 使 用 位 向 量 上 方 释 加 的 一 棵 位 二 叉 树 的 方法 ， 来 缩短 对 位 向 量 的 长 扫描 。 图 20-1 
显示 了 一 个 例子 。 位 向 量 的 全 部 元 素 组 成 了 二 叉 
树 的 叶子 ， 并 且 每 个 内 部 结 点 为 1 当 且 仅 当 其 子 
树 中 任 一 个 叶 结 点 包含 1。 换 句 话 说， 内 部 结 点 
中 存储 的 位 就 是 其 两 个 孩子 的 逻辑 或 。 

现在 使 用 这 种 树 结构 和 未 经 修饰 的 位 向 量 ， 
具有 最 坏 情况 运行 时 间 为 @(u) 的 操作 如 下 : 

。 查找 集合 中 的 最 小 值 ， 从 树 根 开始 ， 箭 N 

头 朝 下 指向 叶 结 点 ， 总 是 走 最 左边 包含 1 “Ct te 


š A - ~ W201 一 棵 位 向 量 上 方 亚 加 的 位 二 叉 树 ， 它 
查找 集合 中 的 最 大 值 ， 从 树 根 开始 ， 篆 表示 集合 {2，3，4，5，7，14，15}， 





9 10 11 12 13 14 15 


头 朝 下 指向 叶 结 点 ， 总 是 走 最 右边 包含 1 i 
的 结 点 。 当 其 子 树 内 的 某 个 叶 结 点 为 1。 箭头 [533 
。 查找 工 的 后 继 ， 从 工 所 在 的 叶 结 点 开始 ， 表示 确定 14 的 前 驱 所 沿 循 的 路 径 


箭头 朝 上 指向 树 根 ， 直 到 从 左 侧 进入 一 个 结 点 ， 其 右 孩 子 结 点 为 1。 然后 从 结 点 z 出 发 
箭头 向 下 ， 始 终 走 最 左边 包含 1 的 结 点 ( 即 查 找 以 为 根 的 子 树 中 的 最 小 值 ) 。 

。 查找 工 的 前 驱 ， 从 工 所 在 的 叶 结 点 开始 ， 箭 头 朝 上 指向 树 根 ， 直 到 从 右 侧 进入 一 个 结 点 ， 

其 左 孩 子 结 点 = 为 1。 然 后 从 结 点 = 出 发 箭头 向 下 ， 始 终 走 最 右边 包含 1 的 结 点 ( 即 查找 
以 z 为 根 的 子 树 中 的 最 大 值 ) 。 
图 20-1 显示 了 查找 14 的 前 驱 7 所 走 的 路 径 。 

我 们 也 适当 地 讨论 了 INSERT 和 DELETE 操作 。 当 插入 一 个 值 时 ， 从 该 叶 结 点 到 根 的 简单 
路 径 上 每 个 结 点 都 置 为 1。 当 删除 一 个 值 时 ， 从 该 叶 结 点 出 发 到 根 ， 重 新 计算 这 个 简单 路 径 上 每 
个 内 部 结 点 的 位 值 ， 该 值 为 其 两 个 孩子 的 逻辑 或 。 

由 于 树 的 高 度 为 lgx， 上 面 每 个 操作 至 多 沿 树 进行 一 趋向 上 和 一 趟 向 下 的 过 程 ， 因 此 每 个 操 
作 的 最 坏 情况 运行 时 间 为 OC gw) 。 

这 种 方法 仅仅 比 红 黑 树 好 一 点 。MEMBER 操作 的 运行 时 间 只 有 O(1) ， 而 红 黑 树 却 需要 花 
费 O(lgz) 时 间 。 另 外 ， 如 果 存 储 的 元 素 个 数 ” 比 全 域 大 小 zx 小 得 多 ， 那 么 对 于 所 有 的 其 他 操作 ， 
红 黑 树 要 快 些 。 

全 加 的 一 棵 高 度 恒定 的 树 

如 果 倒 加 一 棵 度 更 大 的 树 ， 会 发 生 什么 情况 ?假设 全 域 的 大 小 为 u 二 2*， 这 里 为 某 个 整 
BK, 那么 Vu 是 一 个 整数 。 我 们 受 加 一 棵 度 为 Vu 的 树 , 来 代替 位 向 量 上 方 琶 加 的 二 叉 树 。 
图 20-2(a) 展 示 了 这 样 的 一 棵 树 ， 其 中 位 向 量 与 图 20-1 中 一 样 。 结 果树 的 高 度 总 是 为 2。 


O KARRE: 如 果 动 态 集合 为 空 ， 则 MINIMUM 和 MAXIMUM 返回 NIL; 如 果 给 定 的 元 素 没有 后 继 或 前 驱 ， 
则 SUCCESSOR 和 PREDECESSOR 分 别 返回 NIL。 
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同 以 前 一 样 ， 每 个 内 部 结 点 存储 的 是 其 子 树 的 逻辑 或 ， 所 以 深度 为 1 的 Vu 个 内 部 结 点 是 每 组 
Vu MERAIH NER). WE 20-2(b) 所 示 ， 可 以 为 这 些 结 点 定义 一 个 数组 semmary(0. . 
Vu 一 1]， 其 中 summaryli a 1 当 且 仅 当 其 子 数组 ALiVx.. (i 十 1)Wu 一 1] 包 含 1。 我 们 称 A 的 这 
个 Vu 位 子 数组 为 第 i 个 艇 (cluster) 。 对 于 一 个 给 定 的 值 x， 位 A[zj 出 现在 簇 号 为 Lz/Yuj 中 。 现 
在 ，INSERT 变 成 一 个 OO) 运行 时 间 的 操作 : 要 插入 x， 置 ALz] 和 summary[|2/VulJ 1. it 
外 ， 使 用 summary 数组 可 以 在 OWu) 运行 时 间 内 实现 MINIMUM, MAXIMUM, SUCCESSOR, 
PREDECESSOR 和 DELETE 操作 : 

。 查找 最 小 (最 大 ) 值 ， 在 summary 数组 中 查找 最 左 ( 最 右 ) 包 含 1 的 项 ， 如 summary[i]， 然 

后 在 第 i MRAM ARIA RAD) AY 1。 

。 查找 z 的 后 继 (前 驱 ) ， 先 在 z 的 簇 中 向 右 ( 左 ) 查 找 。 如 果 发 现 1， 则 返回 这 个 位 置 作为 
结果 ; 否则 ， 令 i 二 Lz/YujJ， 然 后 从 下 标 i FRE summary 数组 中 向 右 ( 左 ) 查 找 。 找 到 第 
一 个 包含 1 的 位 置 就 得 到 这 个 复 的 下 标 。 再 在 该 侯 中 查找 最 左 (最 右 ) 的 1， 这 个 位 置 的 
元 素 就 是 后 继 (前 驱 ) 。 

。 删除 值 zx， 设 这 LzMzj。 将 ALz] 置 为 0， 然 后 置 summary Ai ;个 复 中 所 有 位 的 逻辑 或 。 


0 1 2.3 


summary [Lo Vu 位 
vu 位 


SSS 
fofofofof iti 


6 7 8 9 10 11 12 13 14 15 








ne 
-Ee 
-图 
-EE 
-= 
bal i 
“f= 


0123 45 67 8 9 10 11 12 13 14 15 
(a) (b) 


图 20-2 (a) {iL (a) fat + BE AA — BRE a ce A CART FHL] PL 20-1。 每 个 内 部 结 点 存储 的 是 其 子 树 中 各 位 
的 逻辑 或 。(b) 一 个 同样 的 结构 ， 只 是 深度 为 1 的 内 部 结 点 被 作为 一 个 数组 summary[0.. Vu 一 1] 
有 所 不 同 ， 其 中 summary i EF BA ALi Vu. . (i 十 1)Vu 一 1] 的 逻辑 或 


在 上 述 的 每 个 操作 中 ， 最 多 对 两 个 大 小 为 Vu 位 的 簇 以 及 summary 数组 进行 搜索 ， 所 以 每 个 
操作 耗费 O(Wu) 时 间 。 
初 看 起 来 ， 似 乎 并 没有 取得 好 的 效果 。 又 加 的 二 叉 树 得 到 了 时 间 为 O(lgz 的 操作 ， 其 渐 近 


地 快 于 OCWu) 。 然 而 ， 使 用 度 为 Vu 的 树 是 产生 van Emde Boas 树 的 关键 思想 。 下 一 节 继 续 沿 着 这 
条 路 线 讨论 下 去 。 


练习 


20.1-1 修改 本 节 中 的 数据 结构 ， 使 其 支持 重复 关键 字 。 

20.1-2 修改 本 节 中 的 数据 结构 ， 使 其 支持 带 有 卫星 数据 的 关键 字 。 

20.1-3 ”使 用 本 节 的 数据 结构 会 发 现 ， 查 找 z 的 后 继 和 前 驱 并 不 依赖 于 x 当时 是 否 包含 在 集合 
中 。 当 工 不 包含 在 树 中 时 ， 试 说 明 如 何在 一 棵 二 叉 搜 索 树 中 查找 x 的 后 继 。 

20. 1-4 ”假设 不 使 用 一 棵 释 加 的 度 为 Vu 的 树 ， 而 是 使 用 一 棵 释 加 的 度 为 w“ 的 树 ， 这 里 是 大 于 
1 的 常数 ， 则 这 样 的 一 棵 树 的 高 度 是 多 少 ? 又 每 个 操作 将 需要 多 长 时 间 ? 


20.2 递归 结构 
在 本 节 中 ， 我 们 对 位 向 量 上 度 为 Vu 的 又 加 树 想 法 进行 修改 。 上 一 节 中 ， 用 到 了 大 小 为 Vu 的 
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summary 数组 ， 数 组 的 每 项 都 指向 一 个 大 小 为 Vx 的 另 一 个 结构 。 现 在 使 用 结构 递归 ， 每 次 递归 
都 以 平方 根 大 小 缩减 全 域 。 一 全 域 初始 大 小 为 ,使 用 包含 Vu 二 w 项 数 的 结构 ， 其 各 项 又 是 包 
含 za/ 项 数 的 结构 ， 而 w“ 结 构 中 的 每 项 又 是 包含 w“* 项 数 的 结构 ， 依 此 类 推 , 降低 到 项 数 为 2 的 
基本 大 小 时 为 止 。 

为 简单 起 见 ， 本 节 中 假设 ==2* ， 其 中 为 整数 ， 因 此 u, u, u, RARE AR 
制 在 实际 应 用 中 过 于 严格 ， 因 为 仅仅 只 允许 的 值 在 序列 2，4，16，256，65 536，… 中 。 下 一 
节 会 看 到 如 何 放宽 这 个 假设 ,而 只 假定 对 某 个 整数 &，u 二 2。 由 于 本 节 描 述 的 结构 仅 作为 真正 
van Emde Boas 树 的 一 个 准备 ， 为 了 帮助 理解 ， 我 们 就 容忍 了 这 个 限制 。 

注意 到 ， 我 们 的 目标 是 使 得 这 些 操作 达到 O(lglgz) 的 运行 时 间 ， 思 考 如 何 才能 达到 这 样 的 
运行 时 间 。 在 4. 3 节 的 最 后 ， 通 过 变量 替换 法 ， 能 够 得 到 递归 式 


Tin) = 2TCMzj) +1gn (20. 1) 
的 解 为 T(n) = OUgniglgn) 。 考 虑 一 个 相似 但 更 简单 的 递归 式 : 
Tlu) = TWu) +00) (20.2) [536 


如 果 使 用 同样 的 变量 替换 方法 ， 则 递归 式 (20.2) 的 解 为 T(w) = Ol(lg lgw) 。 令 m= 二 lgu， 那 么 
u=2", WA 
T(2") = T(2™?) +0) 
现在 重 命名 SMST”), ARRA 
Sm) = S(m/2) +001) 
应 用 主 方法 的 情况 2， 这 个 递归 式 的 解 为 San) = OUgm) 。 将 Sm) 变 回 到 T) ， 得 到 
T(u) = T(2") = S(m) = OUgm) = Oiglgu) 

递归 式 (20. 2) 将 指导 数据 结构 上 的 查找 。 我 们 要 设计 一 个 递归 的 数据 结构 ， 该 数据 结构 每 层 
递归 以 Vu 为 因子 缩减 规模 。 当 一 个 操作 遍历 这 个 数据 结构 时 ， 在 递归 到 下 一 层次 前 ， 其 在 每 一 
层 耗费 常数 时 间 。 递 归 式 (20.2) 刻 画 了 运行 时 间 的 这 个 特征 。 

这 里 有 另 一 种 途径 来 理解 项 lglgu 如 何 最 终 成 为 递归 式 (20. 2) 的 解 。 正 如 我 们 所 看 到 的 ， 每 
层 递 归 数 据 结 构 的 全 域 大 小 是 序列 w，w”，w“，w“，…。 如 果 考 虑 每 层 需要 多 少 位 来 存储 全 
RK, 那么 顶层 需要 lgu， 而 后 面 每 一 层 需 要 前 一 层 的 一 半 位 数 。 一 般 来 说 ， 如 果 以 5 位 开始 并 且 
每 层 减少 一 半 的 位 数 ， 那 么 lgb 层 递归 之 后 ， 只 剩 下 一 位 。 因 为 6 二 lgu， 那 么 lglgu 层 之 后 ， 全 
域 大 小 就 为 2。 

现在 回头 来 看 图 20-2 中 的 数据 结构 ， 一 个 给 定 的 值 z 在 簇 编 号 Lz/Vl 中 。 如 果 把 zx 看 做 lgu 
位 的 二 进 制 整 数 ， 那 么 秘 编 号 Lz/Vx 由 z 中 最 高 (lg x)/2 MR. TE oP, x 出 现在 位 置 
ZXmodVu 中 ， 是 由 工 中 最 低 (lgw)/2 位 决定 。 后 面 需要 这 种 方式 来 处 理 下 标 ， 因 此 定义 以 下 一 些 
函数 将 会 有 用 : 

high(x) = |z/ Vu] 

low(z) = x mod Vu 

index(z,y) = zvu + y 

PRM high(z) 给 出 了 x WR (gw) /2 0, BA rS. A lowo) Ai T x HIE (lgw)/2 
fi, BA r EE ACR PHM. BM indexler, yA rA y 产生 一 个 元 素 编 号 ， 其 中 z 为 元 素 
编号 中 最 高 (lgw)/2 位 ，y 为 元 素 编号 中 最 低 (lgw/2 位 。 我 们 有 恒等式 x= index( high(z) , 
low(z))。 这 些 函 数 中 使 用 的 u 值 始 终 为 调用 这 些 函 数 的 数据 结构 的 全 域 大 小 ，x 的 值 随 递归 结 
构 改变 。 


538 


310 + 第 五 部 分 高 级 数据 结构 





proto-vEB(ju ) 结 构 ~ -一 一 
iu proto-vEB(.ju ) 结 构 
20-3 当 t 伍 4 时， 一 个 proto-vEB (w) 结 构 中 的 信息 。 这 个 结构 包含 全 域 大 小 w、 指 向 proto 
vEB (Vw 结构 的 指针 summary， 以 及 一 个 有 vu 个 指针 指向 proto-vEB (Vt) 结构 的 数组 
cluster[ 1.. Vu—1] 


20. 2. 1 原型 van Emde Boas 结构 


根据 递归 式 (20. 2) 中 的 启示 ， 我 们 设计 一 个 递归 数据 结构 来 支持 这 些 操 作 。 虽 然 这 个 数据 结 
构 对 于 某 些 操作 达 不 到 OC glee) 运行 时 间 的 目标 ， 但 它 可 以 作为 将 在 20. 3 节 中 见 到 的 van Emde 
Boas 树 的 基础 。 

对 于 全 域 {10，1，2，…， du 一 1)， 定 义 原型 van Emde Boas 结构 (proto van Emde Boas 
structure) 或 proto-vEB 结构 (proto-vEB structure)， 记 作 protovEB(u)， 可 以 如 下 递归 定义 。 每 
个 proto-vEB(w) 结 构 都 包含 一 个 给 定 全 域 大 小 的 属性 wu。 另外， 它 包含 以 下 特征 : 

。 如 果 x 一 2， 那 么 它 是 基础 大 小 ， 只 包含 一 个 两 个 位 的 数组 AL0.. 1]。 

。 否则 ， 对 某 个 整数 RS, w= 2", FRA u>4, TARAK u 之 外 ，proto-vEB (ww 还 

具有 以 下 属性 (如 图 20-3 所 示 ) : 

。 一 个 名 为 summary 的 指针 ， 指 向 一 个 proto-vEB (Yu) 结构 。 

。 一 个 数组 cluster[ 1.. Vu 一 1]， 存 储 /u 个 指针 ， 每 个 指针 都 指向 一 个 proto-vEB Wu) GEKA. 
元 素 工 递归 地 存储 在 编号 为 high(z) 的 秘 中 ， 作 为 该 徐 中 编号 为 low(z) 的 元 素 ， 这 里 Su, 

在 前 一 节 的 二 层 结构 中 ， 每 个 结 点 存储 一 个 大 小 为 Vu 的 summary 数组 ， 其 中 每 个 元 素 包含 
一 个 位 。 从 每 个 元 素 的 下 标 ， 我 们 可 以 计算 出 大 小 为 Vu 的 子 数组 的 开始 下 标 。 在 proto-vEB 结构 
中 ,使 用 显 指针 而 不 是 下 标 计算 的 方法 。summary 数组 包含 了 proto-vEB 结构 中 递归 存储 的 
summary 位 向 量 ， 并 且 cluster 数组 包含 了 Vu 个 指针 。 

图 20-4 显示 了 一 个 完全 展开 的 protovEB (16) 结 构 ， 它 表示 集合 {2,，3, 4, 5, 7, 14, 
15)。 如 果 值 i 在 由 summary 指向 的 proto-vEB 结构 中 ， 那 么 第 i 个 簇 包含 了 被 表示 集合 中 的 某 
个 值 。 与 常数 高 度 的 树 一 样 ，cluster[ 悦 表示 iVu 到 (i 十 1)Vu 一 1 的 那些 值 ， 这 些 值 形成 了 第 i 
ME. 

在 基础 层 上 ， 实 际 动 态 集合 的 元 素 被 存储 在 一 些 proto-vEB(2) 结 构 中 ， 而 余下 的 proto-vEB(2) 
结构 则 存储 summary 位 。 在 每 个 非 summary 基础 结构 的 底部 ， 数 字 表 示 它 存储 的 位 。 例 如 ， 标 
记 为 "element 6，7” 的 proto-vEB(2) 结 构 在 AL0] 中 存储 位 6(0， 因 为 元 素 6 不 在 集合 中 ) ， 并 在 
AL1] 中 存储 位 7(1， 因 为 元 素 7 在 集合 中 ) 。 

与 马 一 样 ， 每 个 summary 只 是 一 个 全 域 大 小 为 Vu 的 动态 集合 ， 而 且 每 个 summary 表示 为 一 
个 proto-vEB (Yu) 结构 。 主 proto-vEB(16) 结 构 的 4 个 summary 位 都 在 最 左 侧 的 proto-vEB(4) 结 
AP, 并且 它 们 最 终 出 现在 2 个 protovEB (2) 结 构 中 。 例如， 标记 为 “clusters 2，3” 的 
proto-vEB (2) 结 构 有 A[L0] 二 0， 含义 为 proto-vEB(16) 结 构 的 艇 2( 包 含 元 素 8、9、10、11) 都 为 
0; J#HALILJ=1, 说 明 proto-vEB (16) 结 构 的 簇 3( 包 含 元 素 12、13、14、15) 至 少 有 一 个 为 1。 
每 个 proto-vEB(4) 结 构 都 指向 自身 的 summary， 而 summary 自己 存储 为 一 个 proto-vEB (2) 结 构 。 
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例如 ， 查 看 标 为 “elements 0，1? 左 侧 的 那个 proto-vEB (2) 结 构 。 因 为 AL0] 二 0， 所 以 “elements 
0，1” 结 构 都 为 0; 由 于 A[1]=1， 因 此 “elements 2，3” 结 构 至 少 有 一 个 1。 


ES EY 








proto-vEB(4) cluster 
u summary 


_ > 
EE 0: 


proto-vEB(2) 
proto-vEB(2) 








) 


FF 
a 
= 
| 
过 
Fj 
À 
= 
S 
和 
A 


proto-vEB( 


elements 8,9 elements 10,11 elements 12,13 elements 14,15 


图 20-4 一 个 proto-vEB(16) ita gems SHA (2, 3, 4, 5, 7, 14, 15}. Æ cluster[ 0..3] 中 的 指针 指向 4 个 
proto-vEB(4) 结 构 ， 而 且 还 指向 一 个 summary 结构 ， 这 个 summary 结构 也 是 一 个 proto-vEB (4) 4 
构 。 每 个 proto-vEB (4) 结 构 在 cluster[0..1] 中 指向 2 个 protovEB (2) 结 构 ， 以 及 指向 一 个 
proto-vEB(2) 结 构 的 summary, A proto-vEB(2) 结 构 只 包含 一 个 2 位 的 数组 A[ 0. . 1]。“elements 
i, 六 上 方 的 protovEB (2) 结 构 存 储 实际 动态 集合 的 位 i 和 j， 并且 “clusters i,j” 上 方 的 
proto-vEB(2) 结 构 存 储 顶 层 proto-vEB(16) 结 构 中 的 簇 i 和 j 的 summary 位 。 为 清晰 起 见 ， 深 阴影 
部 分 表示 一 个 proto-vEB 结构 的 顶层 ， 其 存储 它 的 双亲 结构 的 summary 信息 ; 这 样 一 个 proto-vEB 
结构 不 同 于 具有 同样 全 域 大 小 的 其 他 任何 proto-vEB 结构 


20.2.2 原型 van Emde Boas 结构 上 的 操作 

下 面 将 讨论 如 何在 一 个 proto-vEB 结构 上 执行 一 些 操 作 。 先 看 查询 操作 MEMBER, 
MINIMUM, MAXIMUM 和 SUCCESSOR， 这 些 操作 不 改变 proto-vEB 结构 。 接 下 来 讨论 
INSERT 和 DELETE 操作 。 另 外 ， 留 下 MAXIMUM 和 PREDECESSOR 操作 作为 练习 20. 2-1, 
它们 分 别 与 MINIMUM 和 SUCCESSOR 是 对 称 的 。 

MEMBER, SUCCESSOR, PREDECESSOR, INSERT 和 DELETE 操作 都 取 一 个 参数 x 和 
一 个 proto-vEB 结构 V 作为 输入 参数 。 这 些 操 作 均 假定 0 二 x<=V. u. 
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判断 一 个 值 是 否 在 集合 中 
l 要 实现 MEMBER(x) 操 作 ， 就 需要 在 一 个 适当 的 protovEB (2) 结 构 中 找到 相应 于 x 的 位 。 
540| ”借助 全 部 的 summary 结构 ， 这 个 操作 能 够 在 Og lgw) 时 间 内 完成 。 下 面 的 过 程 以 一 个 proto 
vEB 结构 V 和 一 个 值 zx 作为 输入 ， 返 回 一 个 位 值 表示 z 是 否 在 V 包含 的 动态 集合 中 。 

PROTO-vEB-MEMBER(V ,zx) 

1 ifV.u== 2 

2 return V. A[z] 

3 else return PROTO-vEB-MEMBER(CV. cluster[high(z) ], low(x)) 


PROTO-vEB-MEMBER 过 程 工作 如 下 。 第 1 行 测试 是 否 为 基础 情形 ， 其 中 V 是 一 个 proto 
vEB(2) 结 构 。 第 2 行 处 理 基础 情形 ， 简 单 地 返回 数组 A 的 一 个 相应 位 。 第 3 行 处 理 递归 情形 ， 
“外 人 ”到 相应 更 小 的 proto-vEB 结构 。 值 high(z) 表示 要 访问 的 proto-vEB (Vx) 结 构 ， 值 low(z) 
表示 要 查询 的 proto-vEB (Vx) 结 构 中 的 元 素 。 
在 图 20-4 中 ， 我 们 看 一 下 在 proto-vEB (16) 结 构 中 调用 PROTO-vEB-MEMBER(V，6) 会 发 
生 什么 。 由 于 当 u=16 时 ，high(6) 王 1， 则 递归 到 右上 方 的 proto-vEB(4) 结 构 ， 并 且 查 询 该 结构 
的 元 素 low(6) = 二 2。 在 这 次 递归 调用 中 ， x 二 4， 这 样 还 需要 进行 递归 。 对 于 w= 二 4， 就 有 
high(2)=1 和 low(2) 二 0， 所 以 要 查询 右上 方 的 proto-vEB(2) 结 构 中 的 元 素 0。 这 次 递归 调用 就 
到 了 基础 情形 ， 所 以 通过 递归 调用 链 返 回 AL0] 二 0。 因 此 ， 得 到 PROTOvEB-MEMBER(V, 6) 
返回 0 的 结果 ， 表 示 6 不 在 集合 内 。 
为 了 确定 PROTO-vEB-MEMBER 的 运行 时 间 ， 令 T(w) 表 示 proto-vEB (wu) 结 构 上 的 运行 时 
间 。 每 次 递归 调用 耗费 常数 时 间 ， 其 不 包括 由 递归 调用 自身 所 产生 的 时 间 。 当 PROTO-vEB- 
MEMBER 做 一 次 递归 调用 时 ， 它 在 proto-vEB (Wu) 结构 上 产生 一 次 调用 。 因 此 ， 运 行 时 间 可 以 
用 递归 表达 式 T(u) = TO/u) + OC) 表示 ,该 递归 式 就 是 前 面 的 递归 式 (20.2)。 它 的 解 为 
T(w) =OUglgu) ， 所 以 PROTO-vEB-MEMBER 的 运行 时 间 为 O(lg lgu) 。 
查找 最 小 元 素 
现在 我 们 讨论 如 何 实 现 MINIMUM 操作 。 过 程 PROTO-vEB-MINIMUM(V) 返 回 proto-vEB 
结构 V 中 的 最 小 元 素 ; 如 果 V 代表 的 是 一 个 空 集 ， 则 返回 NIL. 
PROTO-vEB-MINIMUM(V) 
1 ifV.u==2 
2 if V. A[0] == 1 
return 0 
elseif V. A[1] == 1 
return 1 
else return NIL 
else min-cluster = PROTO-vEB-MINIMUM(V. summary) 
if min-cluster == NIL 
return NIL 
10 else of fset = PROTO-vVEB-MINIMUM(V. cluster[min-cluster ]) 
11 return index(min-cluster, of fset) 


这 个 过 程 工作 如 下 。 第 1 行 判断 是 否 为 基础 情形 ， 第 2 一 6 行 平凡 地 处 理 基础 情形 。 第 7 一 11 行 
处 理 递归 情形 。 首 先 ， 第 7 行 查找 包含 集合 元 素 的 第 一 个 簇 号 。 做 法 是 通过 在 V. summary 上 递归 调 
用 PROTO-vEB-MINIMUM 来 进行 ， 其 中 V. summary 是 一 个 proto-vEB (Wu) 结构 。 第 7 行将 这 个 簇 号 
赋值 给 变量 min-cluster。 如 果 和 集合 为 空 ， 那 么 递归 调用 返回 NIL, 第 9 行 返回 NIL。 如 果 集 合 非 空 ， 
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集合 的 最 小 元 素 就 存在 于 编号 为 mizrclaster WEP. H 10 行 中 的 递归 调用 是 查找 最 小 元 素 在 这 个 
徐 中 的 偏 移 量 。 最 后 ， 第 11 行 由 簇 号 和 偏 移 量 来 构造 这 个 最 小 元 素 的 值 ， 并 返回 。 

虽然 查询 summary 信息 允许 我 们 快速 地 找到 包含 最 小 元 素 的 徐 , 但 是 由 于 这 个 过 程 需要 2 
次 调用 proto-vEB (Yu) 结构 ， 所 以 在 最 坏 情况 下 运行 时 间 超 过 Ol(lglgu) 。 令 Tw) RANE proto 
vEB (ww) 结构 上 的 PROTO-vEB-MINIMUM 操作 的 最 坏 情况 运行 时 间 ， 有 下 面 递 归 式 ， 

Tu) = 2TCVz) +00) (20. 3) 
再 一 次 利用 变量 替换 法 来 求解 此 递归 式 ， 令 m 二 lgu， 可 以 得 到 : 
T(2") = 2T(2™?) +001) 
重 命名 Sim)=T(2"), 448): 
S(m) = 2S(m/2) + OQ) 

利用 主 方法 的 情况 1， 解 得 SCm) = On) 。 将 SCm) 换 回 为 TCu) ， 可 以 得 到 Tw) = TO") = 
S(m) = @(m) = 9(lgx) 。 因 此 ， 由 于 有 第 二 个 递归 调用 ，PROTO-vEB-MINIMUM 的 运行 时 间 
为 8(lgu)， 而 不 是 OUglgu). 

查找 后 继 

SUCCESSOR 的 运行 时 间 更 长 。 在 最 坏 情况 下 ， 它 需要 做 2 次 递归 调用 和 1 次 PROTO-vEB- 
MINIMUM 调用 。 过 程 PROTO-vEB-SUCCESSOR(V，z) 返 回 proto-vEB 结构 V PARF x 的 最 
小 元 素 ; 或 者 ， 如 果 V 中 不 存在 大 于 z 的 元 素 ， 则 返回 NIL。 它 不 要 求 x 一 定 属于 该 集合 , 但 
假定 ON <V. u. 

PROTO-vEB-SUCCESSOR(V, x) 

1 ifV.u== 2 
2 if z == 0 and V. A[1] == 1 

3 return | 
4 else return NIL 
5 else offset = PROTO-vEB-SUCCESSOR(V. cluster[high(x)], low(z)) 
6 if offset # NIL 
7 return index(high(z), offset) 
8 else succ-cluster = PROTO-vEB-SUCCESSOR(V. summary, high(z)) 
9 if succ-cluster == NIL 
10 return NIL 
11 else offset = PROTO-vEB-MINIMUM(V. cluster[ succ-cluster ]) 


12 return index(succ-cluster, offset) 


PROTO-vEB-SUCCESSOR 过 程 工作 如 下 。 与 通常 一 样 ， 第 1 行 判断 是 否 为 基础 情形 ， 第 2 一 4 
行 平 凡 处 理 : 当 z=0 和 A[1]==1 时 ， 才 能 在 proto-vEB(2) 结 构 中 找到 z 的 后 继 。 第 5 一 12 行 处 理 
递归 情形 。 第 5 行 在 zz 的 簇 内 查找 其 后 继 ， 并 将 结果 赋 给 变量 offset. W 6 THX MEP RAE 
在 z 的 后 继 ; 车 存在 ,第 7 行 计算 并 返回 其 值 ， 否 则 ， 必 须 在 其 他 簇 中 查找 。 第 8 行将 下 一 个 非 空 
簇 号 赋 给 变量 succ-cluster， 并 利用 summary 信息 来 查找 后 继 。 第 9 行 判 断 succ-cluster AA NIL, 
如 果 所 有 后 继 徐 是 空 的 ,第 10 行 返回 NIL, WR suce-cluster AA NIL, 第 11 行将 编号 为 suc 
cluster 的 簇 中 第 一 个 元 素 赋 值 给 offset, FFAS 12 行 计算 并 返回 这 个 徐 中 的 最 小 元 素 。 

在 最 坏 情 况 下 ，PROTO-vEB-SUCCESSOR 在 proto-vEB (Vw) 结构 上 做 2 次 自身 递归 调用 和 
1 次 PROTO-vEB-MINIMUM 调用 。 所 以 ， 最 坏 情 况 下 ，PROTO-vEB-SUCCESSOR 的 运行 时 间 
用 下 面 递归 式 表示 : 

Tu) = 2TWu) + @UgVu) = 2TWu) 十 9(lgz) 
可 以 用 求解 递归 式 (20. 1) 的 方法 来 得 出 上 面 递归 式 的 解 TC(u) = OClgulglgu) . Aik, PROTO- 
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vEB-SUCCESSOR 是 渐 近 地 慢 于 PROTO-vEB-MINIMUM, 

插入 元 素 

要 插入 一 个 元 素 ， 需 要 将 其 插入 相应 的 徐 中 ， 并 还 要 将 这 个 簇 中 的 summary 位 设 为 1。 过 程 
PROTO-vEB-INSERT(V，z) 将 工 插 入 proto-vEB 结构 V 中。 

PROTO-vEB-INSERT(V, x) 

1 ifV.u==2 

2 V. ALzJ= 1 

3 else PROTO-vEB-INSERT(V. cluster[high(z) ], low(z)) 

4 PROTO-vEB-INSERTCV. summary, high(x)) 


在 基础 情形 中 ,第 2 行 把 数组 A 中 的 相应 位 设 为 1。 在 递归 情形 中 ,第 3 行 的 递归 调用 将 HA 
相应 的 复 中 ， 并 且 第 4 行将 该 徐 中 的 summary 位 置 为 1。 

因为 PROTO-vEB-INSERT 在 最 坏 情 况 下 做 2 次 递归 调用 ， 其 运行 时 间 可 由 递归 式 (20. 3) 来 
表示 。 所 以 ，PROTO-vEB-INSERT 的 运行 时 间 为 BClgz) 。 

删除 元 素 

删除 操作 比 插 入 操作 要 更 复杂 些 。 当 插入 新 元 素 时 ,插入 时 总 是 将 一 个 summary 位 置 为 1, 
然而 删除 时 却 不 总 是 将 同样 的 summary 位 置 为 0。 我 们 需要 判断 相应 的 簇 中 是 否 存在 为 1 的 位 。 
对 于 已 定义 的 proto-vEB 结构 ， 本 来 需要 检查 艇 内 的 所 有 Vx 位 是 否 为 1。 取 而 代 之 的 是 ， 可 以 在 
proto-vEB 结构 中 添加 一 个 属性 nw， 来 记录 其 拥有 的 元 素 个 数 。 我 们 把 PROTO-vEB-DELETE 的 
实现 留 为 练习 20. 2-2 和 练习 20. 2-3。 

很 显然 ， 必 须要 修改 proto-vEB 结构 ， 使 得 每 个 操作 降 至 至 多 只 进行 一 次 递归 调用 。 下 一 节 
将 讨论 如 何 去 做 。 


练习 

20.2-1 写 出 PROTO-vEB-MAXIMUM 和 PROTO-vEB-PREDECESSOR 过 程 的 伪 代 码 。 

20.2-2 H PROTO-vEB-DELETE 的 伪 代 码 。 通 过 扫描 簇 内 的 相关 位 ， 来 更 新 相应 的 summary 
位 。 并 且 你 实现 的 伪 代 码 的 最 坏 情 况 运 行 时 间 是 多 少 ? 

20.2-3 为 每 个 protovEB 结构 增加 属性 nw， 以 给 出 其 所 在 集合 中 的 元 素 个 数 ， 然 后 写 出 
PROTO-vEB-DELETE 的 伪 代 码 ， 要 求 使 用 属性 来 确定 何 时 将 swmmary 重 置 为 0。 你 
的 伪 代 码 的 最 坏 情 况 运行 时 间 是 多 少 ? 由 于 加 入 了 新 的 属性 nw， 其 他 的 操作 要 改变 吗 ? 
这 些 变 化 会 影响 到 它们 的 运行 时 间 吗 ? 

20.2-4 修改 proto-vEB 结构 ， 以 支持 重复 关键 字 。 

20.2-5 ”修改 proto-vEB 结构 ， 以 支持 带 有 卫星 数据 的 关键 字 。 

20. 2-6” 写 出 一 个 创建 proto-vEB (ww) 结构 的 伪 代 码 。 

20. 2-7” 试 说 明 如 果 PROTO-vEB-MINIMUM 中 的 第 9 行 被 执行 ， 则 proto-vEB 结构 为 空 。 

20. 2-8 ”假设 设计 了 这 样 一 个 proto-vEB 结构 ， 其 中 每 个 签 数组 仅 有 w“ 个 元 素 。 那 么 每 个 操作 
的 运行 时 间 是 多 少 ? 


20.3 van Emde Boas 树 及 其 操作 


前 一 节 中 的 proto-vEB 结构 已 经 接近 运行 时 间 为 O(lglgz) 的 目标 。 其 缺陷 是 大 多 数 操作 要 
进行 多 次 递归 。 在 本 节 中 ， 我 们 要 设计 一 个 类 似 于 proto-vEB 结构 的 数据 结构 ， 但 要 存储 稍 多 一 
些 的 信息 ， 由 此 可 以 去 掉 一 些 递归 的 需求 。 

在 20. 2 节 ， 注 意 到 针对 全 域 大 小 二 2* ， 其 中 为 整数 ， 此 假设 有 非常 大 的 局 限 性 ，u 的 可 
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能 值 为 一 个 非常 稀 朴 的 集合 。 因 此 从 这 点 上 ， 我 们 将 允许 全 域 大 小 为 任何 一 个 2 HOE, AY 
Vu 不 为 整数 ( 即 “为 2 的 奇数 次 寡 x 一 2x+l: ， 其 中 某 个 整数 上 之 0) 时 ， 把 一 个 数 的 lgu 位 分 割 成 最 
高 [gw)/21 位 和 最 低 Llgw) /2 位 。 为 方便 起 见 ， 把 2? 站 记 为 Yalu 的 上 平方 根 ) 20A 
Valu 的 下 平方 根 )， 于 是 有 4 二 Vu* Yu。 当 为 2 的 偶数 次 竹 (u 二 2*， 其 中 为 某 个 整数 ) 时 ， 
有 Wu 二 Yu=Yu。 由 于 现在 允许 是 一 个 2 的 奇数 次 寡 ， 从 20. 2 节 中 重 定义 一 些 有 用 的 函数 : 
high(z) = | x/ Yul 
low(z) = xmod Vu 
index(z,y) =z Vuty 


20. 3. 1 van Emde Boas 树 


van Emde Boas 树 或 vEB 树 是 在 proto-vEB 结构 的 基础 上 修改 而 来 的 。 我 们 将 全 域 大 小 为 u 
的 vEB 树 记 为 EB(u) 。 如果 不 为 2 的 基础 情形 ,那么 属性 summary 指向 一 棵 vEB (Vw) 树 ， 
而 且 数 组 cluster[0.. Yu— 1j 指 向 fuvEB (Vu) 
树 。 如 图 20-5 所 示 ， 一 棵 VEB 树 含 有 proto-vEB 
结构 中 没有 的 两 个 属性 : 

。 min 存储 vEB 树 中 的 最 小 元 素 。 

。 max 存储 vEB 树 中 的 最 大 元 素 。 vEBWu) sn tan Se 

进一步 地 ， 存 储 在 min 中 的 元 素 并 不 出 现在 VuvEB(u)trees 
任何 递归 的 vEB (Yiw) 树 中 ， 这 些 树 是 由 cluster ”图 20-5 当 w>2 时 , 一 棵 EB(w) 树 中 的 信息 。 
数组 指向 它们 的 。 因 此 在 EB CO HV 中 存储 的 wai ee pe 
元 素 为 V.min 再 加 上 由 V. cluster[0.. Vu 一 1] 指 summary， 以 及 指向 vEBC/a) BY Yu 
向 的 递归 存储 在 vEB(Vw) 树 中 的 元 素 。 注 意 到 ， 个 指针 的 数组 cluster[0.. Yu 一 1] 
当 一 棵 vEB 树 中 包含 两 个 或 两 个 以 上 元 素 时 ， 我们 以 不 同方 式 处 理 min Al max: 存储 在 min 中 
的 元 素 不 出 现在 任何 复 中 ， 而 存储 在 max 中 的 元 素 却 不 是 这 样 。 

因为 基础 情形 的 大 小 为 2， 这 样 一 棵 vEB(2) 树 中 的 相应 proto-vEB(2) 结 构 并 不 需要 数组 A。 
然而 ， 我们 可 以 从 其 min Al max 属性 来 确定 它 的 元 素 。 在 一 棵 不 包含 任何 元 素 的 vEB 树 中 ,不 
管 全 域 的 大 小 zx 如何 ，min 和 maz 均 为 NIL。 

图 20-6 显示 了 一 棵 vEB(16) 树 V， 包 含 集合 (2，3，4，5，7，14，15}。 因 为 最 小 的 元 素 是 
2， 所 以 V. min 等 于 2， 而 且 即 使 high(2) = 二 0， 元素 2 也 不 会 出 现在 由 V. clusterL[0] 所 指向 的 
vEB(4) 树 中 : 注意 到 V. cluster[0]. min 等 于 3， 因 此 元 素 2 不 在 这 棵 VERB 树 中 。 类 似 地 ， 因 为 
V. cluster[ 0]. min 等 于 3， 而 且 V. cluster[0] 中 只 包含 元 素 2 和 3， 所 以 V. cluster[0] 内 的 vEBC2) 
TAZ 

min 和 max 属性 是 减少 VEB 树 上 这 些 操作 的 递归 调用 次 数 的 关键 。 这 两 个 属性 有 4 个 方面 
的 作用 : 

1. MINIMUM 和 MAXIMUM 操作 甚至 不 需要 递归 ， 因 为 可 以 直接 返回 min Al max 的 值 。 

2. SUCCESSOR 操作 可 以 避免 一 个 用 于 判断 值 x 的 后 继 是 否 位 于 high) 中 的 递归 调用 。 这 
是 因为 xz 的 后 继 位 于 xz EP, HAK x RF x HEN max. XF PREDECESSOR 和 min tif 
况 ， 可 以 对 照 得 到 。 

3. 通过 min Al max 的 值 ， 可 以 在 常数 时 间 内 告知 一 棵 VEB 树 是 否 为 空 、 仅 含 一 个 元 素 或 两 
个 以 上 元 素 。 这 种 能 力 将 在 INSERT 和 DELETE 操作 中 发 挥 作用 。 如 果 min 和 max 都 为 NIL， 
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那么 vEB 树 为 空 。 如 果 min Al max 都 不 为 NIL (ARMAS, MA vEB 树 仅 含 一 个 元 素 。 如 果 
min 和 max 都 不 为 NIL HAY, BBA vEB 树 包含 两 个 或 两 个 以 上 元 素 。 

4. 如 果 一 棵 vEB 树 为 空 ， 那 么 可 以 仅 更 新 它 的 min Ml max 值 来 实现 插入 一 个 元 素 。 因 此 ， 
可 以 在 常数 时 间 内 向 一 棵 空 vEB 树 中 插入 元 素 。 类 似 地 ， 如 果 一 棵 vEB 树 仅 含 一 个 元 素 ， 也 可 
以 仅 更 新 min Al max 值 在 常数 时 间 内 删除 这 个 元 素 。 这 些 性 质 可 以 缩减 递归 调用 链 。 


16) mn[ 2 ] maxf15] 












vEB(4) A 4 | min o max 3 | 
0 | 
summary z | cluster Arn 


vEB(2) 2) | EBO) | EBR 2) O EA 

s 2| $ E a | À nu 
min 0 | | : "By: min 和 7] min g 
max Be 4 PAS Ñ max [7] max 1 | 





vEB(2) 
u 2 | 
min n i 

max / | 1 1p T max 1 | 


图 20-6 ”对 应 于 图 20-4 中 proto-vEB 树 的 一 棵 vwEB(16) 树 。 它 存储 集合 {2，3，4，5，7，14，15)}。 斜 杠 
表示 NIL 值 。 存 储 在 vEB 树 中 的 min 属性 的 值 不 会 出 现在 它 的 任何 一 个 簇 中 。 这 里 深 阴 影 与 图 
20-4 的 表示 一 样 
即使 全 域 大 小 x 为 2 的 奇数 次 宕 ，vEB 树 中 summary Ail cluster 大 小 的 差异 不 会 影响 操作 的 
渐 近 运行 时 间 。 实 现 VEB 树 操作 的 递归 过 程 的 运行 时 间 可 由 下 面 递归 式 来 刻画 : 
Tu) < TO +00) (20. 4) 
这 个 递归 式 与 式 (20. DAMA, 我 们 用 类 似 的 方法 求解 它 。 今 m= 二 lgu， 重 写 为 : 
T(2") < TIA”) +00) 
注意 到 ， 对 所 有 m2, [m/2]}K2m/3, WW 782 
T(2") < T(2™*) +001) 
S Sm) = T(2") ， 上 式 重 写 为 ; 
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Sm) < S(2m/3) + O(1) 
根据 主 方法 的 情况 2， 有 解 SCm) = OC lgm) 。( 对 于 渐 近 解 ， 分 数 2/3 5 1/2 没有 任何 差别 ， 因 
为 应 用 主 方法 时 ， 得 到 log, 1=log, 1=0.) FRNA 
Tlu) = T(2") = S(m) = OUgm) = O(lg lgu) 

在 使 用 van Emde Boas 树 之 前 ， 一 定 要 知道 全 域 大 小 wx， 这 样 才 能 够 创建 一 个 大 小 合适 且 初 
始 为 空 的 van Emde Boas 树 。 正 如 思考 题 20-1 所 要 说 明 的 ， 一 棵 van Emde Boas 树 的 总 空间 需求 
是 O(x) ， 直 接地 创建 一 棵 空 vEB 树 需要 O(x) 时 间 。 相 反 ， 红 黑 树 的 建立 只 需 常 数 时 间 。 因 此 ， 
不 应 使 用 一 棵 van Emde Boas 树 用 于 仅仅 执行 少量 操作 的 情况 ， 因 为 建立 数据 结构 的 时 间 要 超过 
单个 操作 节省 的 时 间 。 这 个 缺点 并 不 严重 ， 我 们 通常 可 以 使 用 像 数 组 或 链表 这 样 简单 的 数据 结 
构 来 存储 少量 数据 。 


20.3.2 van Emde Boas 树 的 操作 


现在 来 介绍 van Emde Boas 树 的 操作 。 与 原型 van Emde Boas 结构 所 做 的 一 样 ， 首 先 介绍 查 
询 操作 ， 然 后 是 INSERT 和 DELETE 操作 。 由 于 在 一 棵 VEB 树 中 最 小 元 素 和 最 大 元 素 之 间 的 不 
对 称 性 ( 当 一 棵 vVEB 树 至 少 包含 两 个 元 素 时 ， 最 小 元 素 不 出 现在 艇 中 ， 而 最 大 元 素 在 簇 中 )， 我 
们 会 给 出 所 有 5 个 查询 操作 的 伪 人 代码。 正如 原型 van Emde Boas 结构 上 的 操作 ， 这 里 操作 取 输 入 
参数 V Az, HV 是 一 棵 van Emde Boas, r 是 一 个 元 素 ， 假定 ON 2<V. u. 

查找 最 小 元 素 和 最 大 元 素 

因为 最 小 元 素 和 最 大 元 素 分 别 存储 在 min H max 属性 中 ， 所 以 两 个 操作 均 只 有 一 行 代 码 ， 
耗费 常数 时 间 : 

vEB-TREE-MINIMUM(V) 

1 return V. min 


vEB-TREE-MAXIMUM(V) 
1 return V. max 


判断 一 个 值 是 否 在 集合 中 

过 程 vEB-TREE-MEMBER(V，z) 有 一 个 递归 情形 ， 其 与 PROTO-vVEB-MEMBER 中 的 类 似 ， 
然而 基础 情形 却 稍微 不 同 。 我 们 仍然 会 直接 检查 zx 是 否 等 于 最 小 元 素 或 者 最 大 元 素 。 由 于 vEB 
树 并 不 像 proto-vEB 结构 那样 存储 位 信息 ， 所 以 设计 VEB-TREE-MEMBER 返回 TRUE 或 
FALSE 而 不 是 0 或 1。 

vEB-TREE-MEMBER(V, x) 

l if z == V. min or zx == V. max 

2 return TRUE 

3 elseif V.u == 2 

4 return FALSE 

5 else return VEB-TREE-MEMBER(V. cluster[ high(zx) ], low(x)) 

第 1 行 判断 zx 是 否 与 最 小 元 素 或 者 最 大 元 素 相 等 。 如 果 是 ， 第 2 行 返 回 TRUE; 否则 , 第 3 
行 检查 执行 基础 情形 。 因 为 一 棵 vEB(2) 树 中 除了 min Al max 中 的 元 素 外 ， 不 包含 其 他 元 素 ， 所 
以 如 果 为 基础 情形 ， 第 4 行 返回 FALSE。 另 一 种 可 能 就 是 不 是 基础 情形 ， 且 xz 既 不 等 于 min 也 
不 等 于 raz ， 这 时 由 第 5 行 中 的 递归 调用 来 处 理 。 

递归 式 (20.4) 表 明了 过 程 vEB-TREE-MEMBER 的 运行 时 间 ， 这 个 过 程 的 运行 时 间 
为 O(lglgz) 。 

查找 后 继 和 前 驱 

接 下 来 介绍 怎样 实现 SUCCESSOR 操作 。 回 想 过程 PROTO-vEB-SUCCESSOR(V，z) 要 进 
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行 两 个 递归 调用 : 一 个 是 判断 xz 的 后 继 是 否 和 zz 一样 被 包含 在 z 的 能 中 ;如果 不 包 含 ， 另 一 个 递 
归 调 用 就 是 要 找 出 包含 后继 的 簇 。 由 于 能 在 VEB 树 中 很 快 地 访 存 最 大 值 ， 这 样 可 以 避免 进行 
两 次 递归 调用 ， 并 且 使 一 次 递归 调用 或 是 徐 上 的 或 是 summary 上 的 ， 并 非 两 者 同时 进行 。 


vEB-TREE-SUCCESSOR(V, x) 
t HV y= 


2 if z == 0 and V. max == 1 

3 return | 

4 else return NIL 

5 elseif V. min Æ NIL and x < V. min 

6 return V. min 

7 else max-low = vEB-TREE-MAXIMUMC(V. cluster[high(x)]) 

8 if maz-low Æ NIL and low(2)< maz-low 

9 offset = vEB-TREE-SUCCESSOR(V. cluster[high(z) ], low(x)) 
10 return index(high(z), offset) 
ll else suce-cluster = vEB-TREE-SUCCESSOR(V. summary, high(a)) 
12 if succ-cluster == NIL 
13 return NIL 

14 else offset = vEB-TREE-MINIMUMC(V. cluster[ succ-cluster ]) 
15 return index(succ-cluster, offset) 


这 个 过 程 有 6 个 返回 语句 和 几 种 情形 处 理 。 第 2~4 行 处 理 基础 情形 ， 如 果 查 找 的 是 0 的 后 
继 并 且 1 在 元 素 2 的 集合 中 ， 那 么 第 3 行 返回 1; 否则 第 4 行 返回 NIL. 
如 果 不 是 基础 情形 ， 下 面 第 5 行 判断 z 是 否 严格 小 于 最 小 元 素 。 如 果 是 ， 那 么 第 6 行 返回 这 
个 最 小 元 素 。 
如 果 进 入 第 7 行 ， 那么 不 属于 基础 情形 ， 并 且 zx 大 于 或 等 于 vEB 树 V 中 的 最 小 元 素 值 。 第 7 
行 把 z 秘 中 的 最 大 元 素 赋值 给 maz-low。 如 果 工 簇 存在 大 于 xz WICK. AAA Mae x 的 后 继 就 在 
工 马 中 。 第 8 行 测试 这 种 情况 。 如 果 z 的 后 继 在 xz 簇 内 ， 那 么 第 9 行 确定 z 的 后 继 在 簇 中 的 位 
置 ， 第 10 行 采用 与 PROTO-vEB-SUCCESSOR 第 7 行 相同 的 方式 返回 后 继 。 
如 果 工大 于 等 于 xz 簇 中 的 最 大 元 素 ， 则 进入 第 11 行 。 在 这 种 情况 下 ,第 11 一 15 行 采 用 与 
PROTO-vEB-SUCCUSSOR 中 第 8 一 12 行 相 同 的 方式 查找 z 的 后 继 。 
递归 式 (20. 4) 为 VEB-TREE-SUCCESSOR 的 运行 时 间 ， 这 很 容易 明白 。 根 据 第 7 行 测试 的 
结果 ， 过 程 在 第 9 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 或 者 第 11 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 
对 自身 进行 递归 调用 。 在 两 种 情况 中 ， 一 次 递归 调用 是 在 全 域 大 小 至 多 为 Vi 的 vEB 树 上 进行 的 。 
过 程 的 剩余 部 分 ， 包 括 调用 vEB-TREE-MINIMUM 和 vEB-TREE-MAXIMUM,, 耗费 时 间 为 
OQ) 。 所 以 VEB-TREE-SUCCESSOR 的 最 坏 情况 运行 时 间 为 O(lg lgu) 。 
vEB-TREE-PREDECESSOR 过 程 与 vEB-TREE-SUCCESSOR 是 对 称 的 ， 但 是 多 了 一 种 附加 情况 : 
vEB-TREE-PREDECESSOR(V, x) 
1 ifV.u==2 
2 if z == 1 and V. min == 0 
return 0 
else return NIL 
elseif V. maz Æ NIL and z > V. max 
return V. max 
else min-low = vEB-TREE-MINIMUMC(V. cluster[ high(z) ]) 
if min-low Æ NIL and low(z) > min-low 
offset = vEB-TREE-PREDECESSOR(V. cluster[high(x) ], low(z)) 
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10 return index(high(z), offset) 

ll else pred-cluster = VEB-TREE-PREDECESSOR(V. summary, high(z)) 
12 if pred-cluster == NIL 

13 if V. min # NIL and x > V. min 

14 return V. min 

15 else return NIL 

16 else offset = vEB-TREE-MAXIMUM(V. cluster[ pred-cluster }) 
17 return index( pred-cluster, offset) 


第 13 一 14 行 就 是 处 理 这 个 附加 情况 。 这 个 附加 情况 出 现在 z RUSK FEE. MANE x EP. 
在 vEB-TREE-SUCCESSOR 中 ， 如 果 x 的 后 继 不 在 xz 徐 中 ,那么 断定 它 一 定 在 一 个 更 高 编号 的 
ep. (ALINE z 的 前 驱 是 vEB 树 V 中 的 最 小 元 素 ， 那 么 后 继 不 存在 于 任何 一 个 簇 中 。 第 13 行 
就 是 检查 这 个 条 件 ， 而 且 第 14 行 返回 最 小 元 素 。 

与 vEB-TREE-SUCCESSOR 相 比 ， 这 个 附加 情况 并 不 影响 vEB-TREE-PREDECESSOR 的 渐 
近 运 行 时 间 ， 所 以 它 的 最 坏 情况 运行 时 间 为 O(lglgu) 。 

插入 一 个 元 素 

现在 讨论 如 何 向 一 棵 vEB 树 中 插入 一 个 元 素 。 回 想 PROTO-vEB-INSERT 操作 进行 两 次 
递归 调用 : 一 次 是 插入 元 素 ， 另 一 次 是 将 元 素 的 艇 号 插入 summary 中 。 然 而 vVEB-TREE- 
INSERT 只 进行 一 次 递归 调用 。 怎 样 才 能 做 到 只 用 一 次 递归 呢 ? 当 插 和 人 一 个 元 素 时 ， 在 操作 
的 复 中 要 么 已 经 包含 另 一 个 元 素 ， 要 么 不 包含 任何 元 素 。 如 果 簇 已 包含 另 一 个 元 素 ， 那 么 复 
编号 已 存在 于 summary 中 ， 因 此 我 们 不 需要 进行 递归 调用 。 如 果 簇 不 包含 任何 元 素 ， 那 么 
即将 插入 的 元 素 成 为 徐 中 唯一 的 元 素 ， 所 以 我 们 不 需要 进行 一 次 递归 来 将 元 素 插 入 一 棵 空 
vEB 树 中 : 


vEB-EMPTY-TREE-INSERT(V, x) 
1 V.min = x 


2 V.max = x 


利用 上 面 这 个 过 程 ， 这 里 给 出 vEB-TREE-INSERT(V，z) 的 擅 代 码 ， 假 设 z 不 在 vEB 树 了 
所 表示 的 集合 中 : 


vEB-TREE-INSERT(V, x) 

1 if V. min == NIL 

2 vEB-EMPTY-TREE-INSERT(V, x) 

3 else if x < V. min 

4 exchange x with V. min 

5 ifV.u>2 
6 if VEB-TREE-MINIMUM(V. cluster[high(x) ]) == NIL 
7 vEB-TREE-INSERTC(V. summary, high(2)) 
8 vEB-EMPTY-TREE-INSERTC(CV. cluster[high(z) ], low(x)) 
9 else VEB-TREE-INSERTCV. cluster[high(z) ], low(z)) 
10 if z > V. max 


11 V. max = x 


这 个 过 程 的 工作 如 下 。 第 1 行 判断 V 是 否 是 一 棵 空 YEB 树 ， 如 果 是 ， 第 2 行 处 理 这 种 比较 
简单 的 情况 。 第 3 一 11 行 假定 V 非 空 ， 因 此 某 个 元 素 会 被 插入 V 中 的 一 个 簇 中 。 而 这 个 元 素 不 
一 定 是 通过 参数 传递 进来 的 元 素 r WMR xz 二 min， 如 第 3 行 ， 那么 z 需 要 作为 新 的 min。 然 而 旧 
的 min 元 素 也 应 该 保留 ， 所 以 旧 的 min 元 素 需 要 被 插入 V 某 个 簇 中 。 在 这 种 情况 下 ,第 4 行 对 工 
和 min 互 换 ， 这 样 将 旧 的 min TRHA V 的 某 个 篮 中 。 
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仅 当 V 不 是 一 棵 基础 情形 的 vEB 树 时 ， 第 6 一 9 行 才 会 被 执行 。 第 6 行 判 断 z KERNE. 
如 果 是 ， 第 7 行将 z 的 簇 号 插入 summary H, 第 8 行 处 理 将 z 插入 空 徐 中 的 这 种 简单 情况 。 如 
果 工 秘 当 前 非 空 ， 则 第 9 行将 z 插 人 它 的 徐 中 。 在 这 种 情况 FORGE summary, AW x HRS 
已 经 存在 于 summary. 

最 后 ， 如 果 >mar, RAP 10 一 11 FH max, WAA, WR V 是 一 棵 非 空 的 基础 情形 
下 的 vEB 树 ， 那 么 第 3 一 4 行 和 第 10 一 11 行 相 应 地 更 新 min Al maz. 

这 里 ， 我 们 也 能 容易 明白 VEB-TREE-INSERT 的 运行 时 间 可 以 用 递归 式 (20.4) 表 示 。 根 据 
第 6 行 的 判断 结果 ,或 者 执行 第 7 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 中 的 递归 调用 ， 或 者 执行 第 9 
行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 中 的 递归 调用 。 在 两 种 情况 下 ， 其 中 一 个 递归 调用 是 在 全 域 大 
小 至 多 为 Vu 的 vEB 树 上 。 由 于 vEB-TREE-INSERT 操作 的 剩余 部 分 运行 时 间 为 0(1) ， 所 以 整 
个 运行 时 间 为 O(lg lgw) 。 

删除 一 个 元 素 

下 面 将 介绍 如 何 从 vEB 树 删 除 一 个 元 素 。 过 程 vVEB-TREE-DELETE(V，z) 假 设 z 是 vVEB 树 
所 表示 的 集合 中 的 一 个 元 素 。 

vEB-TREE-DELETE(V, x) 


1 if V. min == V. max 


2 V. min = NIL 
3 V. max = NIL 
4 elseif V.u == 2 
5 ifz==0 
6 V.min = 1 
7 else V. min = 0 
8 V. max = V. min 
9 else if x == V. min 
10 first-cluster = vVEB-TREE-MINIMUMC(V. summary) 
ll x = index( first-cluster, 
vEB-TREE-MINIMUM(V. cluster[ first-cluster ])) 
12 V. min = x 
13 vEB-TREE-DELETEC(CV. cluster[high(z) ], low(x)) 
14 if VEB-TREE-MINIMUMC(V. cluster[high(x) ]) == NIL 
15 vEB-TREE-DELETE(CV. summary, high(x)) 
16 if r == V. max 
17 summary-max = vEB-TREE-MAXIMUMC(V. summary) 
18 if summary-max == NIL 
19 V. max = V. min 
20 else V. max = index(summary max, 
vEB-TREE-MAXIMUM(V. cluster[ summary-mazx |])) 
21 elseif r == V. max 
22 V. max = index(high(z), 


vEB-TREE-MAXIMUM(V. cluster[high(z) ])) 


vEB-TREE-DELETE 过 程 工 作 如 下 。 如 果 vEB 树 V 只 包含 一 个 元 素 ， 那 么 很 容易 删除 这 个 
元 素 ， 如 同 将 一 个 元 素 插入 一 棵 空 YEB 树 中 一 样 : 只 要 置 min Amar 为 NIL。 第 1 一 3 行 处 理 这 
种 情况 。 否 则 ，YV 至 少 有 两 个 元 素 。 第 4 THT V 是 否 为 一 棵 基础 情形 的 vEB 树 ， 如 果 是 ， 第 
5~847 Ht min Al max 为 另 一 个 留 下 的 元 素 。 

第 9 一 22 行 假设 V 包含 两 个 或 两 个 以 上 的 元 素 ， 并 且 uw 宇 4。 在 这 种 情况 下 ， 必 须 从 一 个 簇 
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中 删除 元 素 。 然 而 从 一 个 簇 中 删除 的 元 素 可 能 不 一 定 是 zx， 这 是 因为 如 果 工 等 于 min， 当 工 被 删 
除 后 ， 簇 中 的 某 个 元 素 会 成 为 新 的 min, HAYA PRIX TICK. MRA 9 行 得 出 正 是 这 
种 情况 ， 那 么 第 10 行将 变量 first-cluster BART min 外 的 最 小 元 素 所 在 的 艇 号 ,并且 第 11 行 
置 z AME PR DTK MA. EB 12 行 中 ， 这 个 元 素 成 为 新 的 min， 由 于 xz 已 经 置 为 它 的 值 ， 
所 以 这 是 要 从 簇 中 删除 的 元 素 。 

当 执 行 到 第 13 行 时 ， 需 要 从 簇 中 删除 xz， 不 论 工 是 从 参数 传递 而 来 的 ， 还 是 z 是 成 为 新 的 
min 元 素 。 第 13 FARE PHAR zx。 第 14 行 判断 删除 后 的 簇 是 否 变 为 空 ， 如 果 是 ， 则 第 15 行 要 将 
MES MM summary 中 移 除 。 在 更 新 summary 之 后 ， 可 能 还 要 更 新 zaz。 第 16 行 判断 是 否 正在 
删除 V 中 的 最 大 元 素 ， 如 果 是 ， 则 第 17 行将 编号 为 最 大 的 非 空 簇 编号 赋值 给 变量 summary- 
max, MJH vEB-TREE-MAXIMUM(V. summary) 执 行 是 因为 已 经 在 V. summary 上 递归 调用 了 
vEB-TREE-DELETE， 因 此 有 必要 的 话 ，V. summary. max 已 被 更 新 。) 如 果 所 有 VV 的 簇 都 为 空 ， 
那么 V 中 剩余 的 元 素 只 有 min; 第 18 行 检查 这 种 情况 ， 第 19 行 相应 地 更 新 max, AM, F 20 
行 把 编号 最 高 秘 中 的 最 大 元 素 赋 值 给 mxaz。( 如 果 这 个 簇 是 已 删除 元 素 所 在 的 马 ， 再 依靠 第 13 行 
中 的 递归 调用 完成 得 中 的 max WIE.) 

最 后 来 处 理由 于 x 被 删除 后 ，z 簇 不 为 空 的 情况 。 虽 然 在 这 种 情况 下 不 需要 更 新 summary, 
但 是 要 更 新 max, $ 21 行 判断 是 否 为 这 种 情况 ， 如 果 是 ， 第 22 行 更 新 maz( 再 依靠 递归 调用 来 
更 正 max). 

现在 来 说 明 vEB-TREE-DELETE 的 最 坏 情 况 运 行 时 间 为 OUglgu) 。 初 看 起 来 ， 可 能 认为 递 
归 式 (20. 4) 不 适用 ， 因 为 vVEB-TREE-DELETE 会 进行 两 次 递归 调用 : 一 次 在 第 13 行 ， 另 一 次 在 
第 15 行 。 虽 然 过 程 可 能 两 次 递归 调用 都 执行 ， 但 是 要 看 看 实际 发 生 了 什么 。 为 了 第 15 行 的 递归 
调用 ， 第 14 行 必须 确定 ERZ. MER 13 行进 行 递归 调用 时 ， 如 果 z 是 其 徐 中 的 唯一 元 素 ， 
此 为 z+ 簇 为 空 的 唯一 方式 。 然 而 如 果 z 是 其 艇 中 的 唯一 元 素 ， 则 递归 调用 耗费 的 时 间 为 O(1) ， 
因为 只 执行 第 1 一 3 行 。 于 是 ， 有 了 两 个 互 斥 的 可 能 : 

。 第 13 行 的 递归 调用 占用 常数 时 间 。 

。 第 15 行 的 递归 调用 不 会 发 生 。 

无 论 哪 种 情况 ，vEB-TREE-DELETE 的 运行 时 间 仍 可 用 递归 式 (20.4) 表 示 ， 因 此 最 坏 情况 
运行 时 间 为 OUglgu) 。 


练习 

20.3-1 修改 vEB 树 以 支持 重复 关键 字 。 

20.3-2 ”修改 vEB 树 以 支持 带 有 卫星 数据 的 关键 字 。 

20.3-3 ” 写 出 创建 空 van Emde Boas 树 过 程 的 伪 代 码 。 

20. 3-4 ”如 果 调 用 vEB-TREE-INSERT 来 插入 一 个 已 包含 在 vEB 树 中 的 元 素 , 会 出 现 什么 情况 ? 
如 果 调 用 vEB-TREE-DELETE 来 删除 一 个 不 包含 在 VEB 树 中 的 元 素 ， 会 出 现 什么 情况 ? 
解释 这 些 函数 为 什么 有 相应 的 运行 状况 ? 怎样 修改 vEB 树 和 操作 ， 使 得 常数 时 间 内 能 判 
断 一 个 元 素 是 否 在 其 中 ? 

20. 3-5 ”假设 我 们 创建 一 个 包含 w“* 个 簇 (而 不 是 全 域 大 小 为 Vu 的 Vu 个 簇 ) 的 VEB 树 ， 其 每 个 簇 
的 全 域 大 小 为 xz ， 其 中 二 1， 而 且 上 为 常数 。 如 果 恰 当地 修改 这 些 操 作 ， 则 这 些 操 
作 的 运行 时 间 是 多 少 ? 为 了 分 析 方 便 , 假设 w* 和 uw" 总 是 为 整数 。 

20.3-6 ”创建 一 个 全 域 大 小 为 w 的 vEB 树 ,需要 OCw) 的 运行 时 间 。 假 设 我 们 想得到 确切 时 间 。 
如 果 vEB 树 中 每 个 操作 的 摊 还 时 间 为 Odglgu) ， 那 么 最 小 的 操作 数 n 是 多 少 ? 
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思考 题 


20. 1 


20-2 


(van Emde Boas 树 的 空间 需求 ) 这 个 问题 讨论 van Emde Boas 树 的 空间 需求 ， 并 给 出 一 
种 修改 数据 结构 的 方法 ， 使 其 空间 需求 依赖 元 素 个 数 zw， 而 不 是 全 域 大 小 wx。 为 简单 起 见 ， 
假设 Vu 总 是 为 整数 。 
a. 解释 为 什么 下 面 的 递归 式 表 示人 全域 大 小 为 的 van Emde Boas 的 空间 需求 P(w) 。 
Plu) = Wut+1)PWu) 十 BCVz) (20. 5) 

b. 证 明 : 递归 式 (20. 5) 的 解 为 P) =0u). 

为 了 减少 空间 需求 ， 定 义 一 棵 缩减 空间 的 van Emde Boas 树 (reduced- space van Emde 
Boas tree) ， 或 RS-vEB 树 。RS-vEB 树 是 一 棵 vEB 树 ， 但 做 出 了 如 下 修改 : 
。 属性 V. cluster 并 不 是 一 个 指向 全 域 大 小 为 的 vEB 树 的 简单 指针 数组 ， 而 是 一 个 散 
列表 ( 见 第 11 章 )， 以 动态 表 的 方式 来 存储 ( 见 17.4 节 )。 相 应 于 V. cluster 的 数组 版 
本 ， 而 散 列表 存储 指向 全 域 大 小 为 Vu 的 RS-vEB 树 的 指针 。 于 是 要 查找 第 i 个 秘 ， 就 在 
散 列 表 中 查找 关键 字 i， 所 以 可 以 用 在 散 列 表 中 的 简单 搜索 找到 第 i 个 艇 。 
散 列 表 只 存储 指向 非 空 徐 的 指针 ， 在 散 列表 中 搜索 一 个 空 徐 ， 返回 NIL， 表 示 这 个 艇 为 空 。 
如 果 所 有 的 簇 为 空 ， 则 属性 V. summary 为 NIL; 否则 ，V. summary 指向 全 域 大 小 为 
Vu 的 RS-vEB 树 。 
因为 散 列表 使 用 动态 表 来 实现 ， 所 以 需要 的 空间 与 非 空 秘 的 数量 成 正比 。 

当 需 要 向 空 RS-vEB 树 插 入 一 个 元 素 时 ， 调 用 下 面 的 过 程 创建 RS-vEB 树 ， 其 中 参数 
u 是 RS-vEB 树 的 全 域 大 小 : 


CREATE-NEW-RS-vEB-TREE(u) 


allocate a new vEB tree V 


V.u= u 
V. min = NIL 
V. max = NIL 


V. summary = NIL 


create V. cluster as an empty dynamic hash table 


NY fo A U N — 


return V 


c. 修改 vEB-TREE-INSERT 过 程 的 伪 代 码 ， 来 形成 RS-vEB-TREE-INSERT(V，zx) 的 伪 代 
码 ， 实 现 将 zx 插入 RS-vEB 树 V 中 ， 并且 调 用 相应 的 CREATE-NEW-RS-vEB-TREE.。 

d. 修改 vEB-TREE-SUCCESSOR 过 程 的 伪 人 代码， 来 形成 RS-vEB-TREE-SUCCESSOR 
(V，Zz) 的 伪 代 码 ， 实 现 返 回 2 在 RS-vEB 树 V 中 的 后 继 ， 或 者 如 果 工 在 V 中 无 后 继 ， 
则 返回 NIL。 

e 在 简单 均匀 散 列 的 假设 下 ， 证 明 : 你 实现 的 RS-vEB-TREE-INSERT 和 RS-vEB-TREE- 
SUCCESSOR 的 期 望 运行 时 间 为 O(lglgw) 。 

f. 假设 从 不 删除 vEB 树 中 的 元 素 , 证 明 : RS-vEB 树 结构 的 空间 需求 为 O(n) , Heep n 
存储 在 RS-vEB 树 中 的 实际 元 素 个 数 。 

g. Hitt vEB 树 ，RS-vEB 树 具有 另 一 个 优点 : 创建 树 的 时 间 较 少 。 创 建 一 棵 空 RS-vEB 树 
需要 多 长 时 间 ? 

(y-fast 检索 树 ) ”本题 讨论 的 是 D. Willard 的 y-fast 检索 树 ， 它 与 van Emde Boas 树 类 似 。 

一 个 全 域 大 小 为 u 的 y-fast 检索 树 的 MEMBER, MINIMUM, MAXIMUM, 

PREDECESSOR 和 SUCCESSOR 操作 的 最 坏 情 况 运 行 时 间 为 O(lg lg u) 。INSERT 和 
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DELETE 操作 的 摊 还 时 间 为 OUglgu) 。 像 缩减 空间 的 van Emde Boas 树 一 样 ( 见 思考 题 
20-1), y-fast 检索 树 存 储 n 个 元 素 的 空间 仅 需 要 O(n) 空间 。y-fast 检索 树 的 设计 依赖 于 完 
全 散 列 ( 见 11. 5 节 )。 

假设 创建 一 个 完全 散 列表 作为 初步 的 结构 ， 该 散 列 表 中 不 仅 包含 动态 集合 中 的 每 个 元 

素 ， 而 且 还 包含 这 些 元 素 的 二 进 制 前 级 。 例 如 ， 如 果 u=16, A lgu 二 4， 并 且 x 二 13 在 

集合 中 ， 由 于 13 的 二 进 制 表示 为 1101， 因 此 完全 散 列表 应 含有 串 1、11、110 和 1101。 除 

了 该 散 列表 外 ， 还 要 创建 一 个 该 集合 当前 元 素 以 升序 排列 的 双向 链表 。 

a. 这 个 数据 结构 的 空间 需求 是 多 少 ? 

b. 如 何在 OC) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 如 何在 O(lglgw) 时 间 内 完成 
MEMBER, PREDECESSOR 和 SUCCESSOR 操作 ? 如 何在 OUg u) 时 间 内 完成 
INSERT 和 DELETE 操作 ? 

为 了 将 空间 需求 减少 到 On) ， 我 们 对 数据 结构 做 出 如 下 修改 : 

。 将 nn 个 元 素 分 成 大 小 为 lgu 的 n/ lgx 个 组 。( 假 设 lgu 可 以 整除 n。) 第 一 组 由 最 小 的 lgu 
个 元 素 组 成 ， 第 二 组 由 下 面 lgx 个 最 小 的 元 素 组 成 ， 依 此 类 推 。 

。 对 每 个 组 都 设置 一 个 “代表 ”。 第 i 组 的 代表 至 少 与 组 里 的 最 大 元 素 一 样 大 ， 而 且 比 第 
i 十 1 组 的 最 小 元 素 要 小 。( 最 后 一 组 的 代表 可 以 是 最 大 的 可 能 元 素 u 一 1。) 注 意 ， 代 表 可 
能 是 一 个 值 并 不 包含 在 集合 中 。 

。 把 每 组 的 gu 个 元 素 存储 到 一 个 平衡 二 又 搜 索 树 中 ， 比 如 红 黑 树 。 每 个 代表 指向 它 所 
在 组 中 的 平衡 二 又 搜索 树 ， 而 且 每 个 平衡 二 又 搜索 树 指向 它 的 代表 。 

。 完全 散 列表 仅 存 储 这 些 代表 ， 也 是 用 双向 链表 按 升序 排列 来 存储 。 

我 们 称 这 种 结构 为 一 个 y-fast 检索 树 。 

c 说 明 一 个 y-fast 检索 树 存储 个 元 素 的 空间 需求 仅 为 O(n) 。 

d. 说 明 使 用 y-fast 检索 树 ， 如 何在 OUglgu) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 

e. 说 明 如 何在 Ol(glgw) 时 间 内 完成 MEMBER 操作 ? 

f. 说 明 如 何在 OC glgu) 时 间 内 完成 PREDECESSOR 和 SUCCESSOR 操作 ? 

g 解释 为 什么 INSERT 和 DELETE 操作 要 耗费 O(lglgw) 时 间 ? 

h. 在 y-fast 检索 树 中 每 组 需要 精确 的 lgu 个 元 素 存 储 ， 试 说 明 如 何 放松 这 个 存储 需求 来 保 
证 在 OUglgu) 摊 还 时 间 内 完成 INSERT 和 DELETE 操作 ， 并 同时 不 影响 其 他 操作 的 渐 
近 运 行 时 间 。 


本 章 注 记 

本 章 的 数据 结构 是 以 P. van Emde Boas 命名 的 ， 他 于 1975 年 提出 了 初步 的 想法 [339]。 以 后 
van Emde BoasL340] 和 van Emde Boas, Kaas 和 Zijlstra[ 341] 的 数 篇 论文 精练 了 该 想法 并 发 表 。 
随后 Mehlhorn 和 Naher[252] 进 行 了 扩展 ， 应 用 到 素数 大 小 的 全 域 上 。Mehlhorn 的 著作 [249] 包 
含 了 与 本 章 略 为 不 同 的 van Emde Boas 树 的 实现 方法 。 

利用 van Emde Boas 树 的 思想 ，Dementiev 等 人 [83] 开 发 了 一 个 非 递 归 的 三 层 搜索 树 ， 并 在 
实验 中 要 快 于 van Emde Boas 树 的 实现 。 

Wang 和 LinL347] 设 计 了 一 个 van Emde Boas 树 的 硬件 流水 版 本 ， 这 个 版 本 使 得 每 个 操作 均 
有 常数 的 摊 还 运行 时 间 ， 其 中 使 用 了 O(lglgzx) 步 流水 过 程 。 

Pătraşcu 和 Thorup[273，274] 得 到 了 查找 前 驱 操 作 的 一 个 下 界 ， 并 说 明了 van Emde Boas 的 
这 个 操作 是 最 优 的 ， 即 使 允许 引入 随机 化 方法 仍 是 最 优 的 。 
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用 于 不 相交 集合 的 数据 结构 


一 些 应 用 涉及 将 n 个 不 同 的 元 素 分 成 一 组 不 相交 的 集合 。 这 些 应 用 经 常 需要 进行 两 种 特别 的 
操作 : 寻找 包含 给 定 元 素 的 唯一 集合 和 合并 两 个 集合 。 本 章 将 介绍 如 何 维护 一 种 数据 结构 来 实 
现 这 些 操作 。 

21. 1 节 描 述 不 相交 集合 数据 结构 所 支持 的 各 种 操作 ， 并 给 出 一 个 简单 的 应 用 。 在 21. 2 节 
中 ， 我 们 可 以 看 到 使 用 一 种 简单 链表 结构 来 实现 不 相交 集合 。21. 3 节 给 出 一 种 使 用 有 根 树 表示 
的 更 有 效 方法 。 使 用 树 表 示 的 运行 时 间 理 论 上 好 于 线性 时 间 ， 然 而 对 于 所 有 的 实际 应 用 它 却 是 
线性 的 。21. 4 节 定 义 并 讨论 一 个 增长 非常 快 的 函数 和 其 增长 极 慢 的 逆 函 数 ， 这 种 逆 函 数 应 用 在 
基于 树 实现 上 的 各 种 操作 的 运行 时 间 中 。 然 后 ， 应 用 复杂 的 摊 还 分 析 方 法 ， 证 明 一 个 近似 线性 运 
行 时 间 的 上 界 。 


21. 1 不 相交 集合 的 操作 


一 个 不 相交 集合 数据 结构 (disjoint-set data structure) 维 护 了 一 个 不 相交 动态 集 的 集合 二 
{Sı » Soo tts Sits 我 们 用 一 个 代表 (representative) 来 标识 每 个 集合 ， 它 是 这 个 集合 的 某 个 成 
员 。 在 一 些 应 用 中 ， 我 们 不 关心 哪个 成 员 被 用 来 作为 代表 ， 仅 仅 关 心 的 是 2 次 查询 动态 集合 的 代 
表 中 ， 如 果 这 些 查询 没有 修改 动态 集合 ， 则 这 两 次 查询 应 该 得 到 相同 的 答案 。 其 他 一 些 应 用 可 能 
会 需要 一 个 预先 说 明 的 规则 来 选择 代表 ， 比 如 选择 这 个 集合 中 最 小 的 成 员 ( 当 然 假 设 集合 中 的 元 
素 能 被 比较 次 序 ) 。 

如 同 我 们 已 经 探讨 过 的 动态 集合 的 其 他 实现 ， 用 一 个 对 象 表示 一 个 集合 的 每 个 元 素 。 设 z 
表示 一 个 对 象 ， 我 们 希望 支持 以 下 三 个 操作 : 

MAKE-SET(x): 建立 一 个 新 的 集合 ， 它 的 唯一 成 员 ( 因 而 为 代表 ) 是 zx。 因 为 各 个 集合 是 不 
相交 的 ， 故 z 不 会 出 现在 别 的 某 个 集合 中 。 

UNION(x，y): 将 包含 和 y 的 两 个 动态 集合 (表示 为 S 和 S,) 合 并 成 一 个 新 的 集合 ， 即 
这 两 个 集合 的 并 集 。 假 定 在 操作 之 前 这 两 个 集合 是 不 相交 的 。 虽 然 UNION 的 很 多 实现 中 特别 地 
选择 S. RS, 的 代表 作为 新 的 代表 ， 然 而 结果 集 的 代表 可 以 是 S: US, 的 任何 成 员 。 由 于 我 们 要 
求 各 个 集合 不 相交 ， 故 要 “消除 ” 原 有 的 集合 S. 和 S,， 即 把 它们 从 中 删除 。 实 际 上 ， 我 们 经 常 
把 其 中 一 个 集合 的 元 素 并 入 另 一 个 集合 中 ， 来 代替 删除 操作 。 

FIND-SET(z): 返回 一 个 指针 ， 这 个 指针 指向 包含 x 的 (唯一 ) 集 合 的 代表 。 

贯穿 本 章 ， 我 们 使 用 两 个 参数 来 分 析 不 相交 集合 数据 结构 的 运行 时 间 : 一 个 参数 是 n， 表 示 
MAKE-SET 操作 的 次 数 ; 另 一 个 是 m， 表 示 MAKE-SET、UNION 和 FIND-SET 操作 的 总 次 数 。 
因为 各 个 集合 是 不 相交 的 ， 所 以 每 个 UNION 操作 减少 一 个 集合 。 因 此 ,nn 一 1 次 UNION 操作 
后 ， 只 有 一 个 集合 留 下 来 。 也 就 是 说 ，UNION 操作 的 次 数 至 多 是 n 一 1。 也 要 注意 到 ， 由 于 
MAKE-SET 操作 被 包含 在 总 操作 次 数 m 中 ， 因 此 有 mn, XERE n^ MAKE-SET 操作 
总 是 最 先 执行 的 个 操作 。 

不 相交 集合 数据 结构 的 一 个 应 用 

不 相交 集合 数据 结构 的 许多 应 用 之 一 是 确定 无 向 图 的 连通 分 量 ( 见 B.4 节 )。 例 如 ， 
21-1(a) 显 示 了 一 个 包含 4 个 连通 分 量 的 图 。 

下 面 的 CONNECTED-COMPONENTS 过 程 使 用 不 相交 集合 操作 来 计算 一 个 图 的 连通 分 量 。 一 
H. CONNECTED-COMPONENTS 预 处 理 了 该 图 ， 过 程 SAME-COMPONENT 就 回答 两 个 顶点 是 否 





在 同一 个 连通 分 量 的 询问 .9 (在 下 面 的 伪 代 码 中 ， 图 G 的 顶点 集 用 G VER, WRA G. ERR.) 


AE 





处 理 的 边 

初始 集合 
(b,d) {a} 
(e,g) {a} 
(a,c) {a,c} 
(h,i) {a,c} 
(a,b) {a,b,c,d} 
(ef) {a,b,c,d} 
(b,c) {a,b,c,d} 


图 21-1 (a) 一 个 包含 4 个 连通 分 量 的 图 : (a, b, c, d}, (e, 
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(a) 


不 相交 集合 组 

{ {c} {d} fe} 

{bd} {c} {e} 
{bd} {c} {e.g} 
{b,d} {e.g} 
{b,d} {e.g} 
{e.g} 
{e, fg} 
fe, fg} 


(b) 


N i th} 
th} 
th} 
thi} 
{h.i} 
{h,i} 
{h,i} 


SSSI 


{hy i), {j} OER AR Ua AACR E 


CONNECTED-COMPONENTS(G) 
1 for each vextex vEG. V 


2 MAKE-SET(v) 

3 for each edge(u,v) EG. E 

4 if FIND-SET(u) #FIND-SET(w) 
5 UNION(u, v) 


SAME-COMPONENT(u,v) 

1 if FIND-SET(u)== FIND-SET(v) 
2 return TRUE 

3 else return FALSE 


{i} 
{i} 
{i 
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过 程 CONNECTED-COMPONENTS 开始 时 ， 将 每 个 顶点 v 放 在 它 自己 的 集合 中 。 然 后 ， 对 
FERH, v), CHEE u Ao 的 集合 进行 合并 。 由 练习 21. 1-2， 处 理 完 所 有 的 边 之 后 ， 两 个 
顶点 在 相同 的 连通 分 量 当 且 仅 当 与 之 对 应 的 对 象 在 相同 的 集合 中 。 因 此 ，CONNECTED- 
COMPONENTS 以 这 种 方式 计算 出 的 集合 ， 使 得 过 程 SAME-COMPONENT 能 确定 两 个 顶点 是 
否 在 相同 的 连通 分 量 中 。 图 21-1(b) 示 出 了 CONNECTED-COMPONENTS 如 何 计算 不 相交 集合 。 

在 该 连通 分 量 算法 的 实际 实现 中 ， 图 和 不 相交 集 数据 结构 的 表示 需要 相互 引用 。 也 就 是 说 ， 
一 个 表示 顶点 的 对 象 会 包含 一 个 指向 与 之 对 应 的 不 相交 集合 对 象 的 指针 ; 反之 亦 然 。 这 些 编 程 
细节 取决 于 实现 的 编程 语言 ， 这 里 不 再 效 述 。 


练习 


21.1-1 假设 CONNECTED-COMPONENTS 作用 于 一 个 无 向 图 G 二 (V，E), 这 里 V={a, b, 
Cy d, es fs g» h, i, Fy k}, 且 五 中 的 边 以 如 下 的 顺序 处 理 : (d, i), Cf, k), 


O 当 图 的 边 集 是 静态 ( 即 不 随时 间 而 改变 ) 时 ， 我 们 可 以 通过 使 用 深度 优先 搜索 来 快速 地 计算 连通 分 量 ( 见 练习 
22. 3-12)。 然 而 ， 有 时 候 边 是 动态 被 加 入 的 ， 我 们 需要 在 加 入 每 条 边 时 ， 对 连通 分 量 进行 维护 。 在 这 种 情况 下 ， 
这 里 给 定 的 实现 比 对 于 每 个 新 边 都 运行 一 次 新 的 深度 优先 搜索 要 高 效 得 多 。 
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(g, i), (by g), Cas h), Cis j), Cd, k), (b, j), (d, fs (g, j), Cas e)s THEA 
出 在 每 次 执行 完 第 3 一 5 行 后 各 连通 分 量 的 顶点 。 

21.1-2 证明， CONNECTED-COMPONENTS 处 理 完 所 有 的 边 后 ， 两 个 顶点 在 相同 的 连通 分 量 
中 当 且 仅 当 它们 在 同一 个 集合 中 。 

21.1-3 在 CONNECTED-COMPONENTS 作用 于 一 个 有 & 个 连通 分 量 的 无 向 图 G 二 (V，E) 的 过 
程 中 ，FIND-SET 需要 调用 多 少 次 ? UNION 需要 调用 多 少 次 ? 用 |V| 、|E| 和 来 表示 
你 的 答案 。 


21.2 不 相交 集合 的 链表 表示 

图 21-2(a) 给 出 了 一 个 实现 不 相交 集 数 据 结构 的 简单 方法 : 每 个 集合 用 一 个 自己 的 链表 来 表 
示 。 每 个 集合 的 对 象 包含 head 属性 和 tail RHE, head 属性 指向 表 的 第 一 个 对 象 ，tiail 属性 指向 
表 的 最 后 一 个 对 象 。 链 表 中 的 每 个 对 象 都 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指 
针 和 一 个 指 回 到 集合 对 象 的 指针 。 在 每 个 链表 中 ， 对 象 可 以 以 任意 的 次 序 出 现 。 代 表 是 链表 中 第 
一 个 对 象 的 集合 成 员 。 

用 这 种 链表 表示 ，MAKE-SET 操作 和 FIND-SET 操作 是 非常 方便 的 ， 只 需 OC) 的 时 间 。 
要 执行 MAKE-SET(z) 操 作 ， 我 们 需要 创建 一 个 只 有 工 对 象 的 新 的 链表 。 对 于 FIND-SET(x)， 
仅 沿 着 xz 对 象 的 返回 指针 返回 到 集合 对 象 ， 然 后 返回 head 指向 对 象 的 成 员 。 例 如 ， 在 图 21-2(a) 
中 ，FIND-SET(g) 的 调用 将 返回 fo 











图 21-2 (a) 两 个 集合 的 链表 表示 。 令 集合 S 包含 成 员 d4d、/ 和 g， 代 表 为 Ss RAS. 包含 成 员 b, c 
e 和 h， 代 表 为 <。 链 表 中 的 每 个 对 象 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指针 
和 一 个 返回 到 集合 对 象 的 指针 。 每 个 集合 对 象 有 head Fl tail 指针 分 别 指向 第 一 个 对 象 和 最 后 
一 个 对 象 。(b)UNION(g，e) 的 结果 ， 使 得 包含 。 的 链表 加 到 包含 g 的 链表 中 。 结 果 集合 的 
代表 为 /。e 链表 的 集合 对 象 被 删除 


合并 的 一 个 简单 实现 

在 使 用 链表 集合 表示 的 实现 中 ，UNION 操作 的 最 简单 实现 明显 比 MAKE-SET 或 FIND- 
SET 花费 的 时 间 多 。 如 图 21-2(b)? 所 示 ， 我 们 通过 把 > 所 在 的 链表 拼接 到 x 所 在 的 链表 实现 了 
UNION(zx，y)。x 所 在 的 链表 的 代表 成 为 结果 集 的 代表 。 利 用 z 所 在 链表 的 tail 指针 ， 可 以 迅 
速 地 找到 拼接 > 所 在 的 链表 的 位 置 。 因 为 y 所 在 的 链表 的 所 有 成 员 加 入 了 xz 所 在 的 链表 中 ， 此 时 
可 以 删除 > 所 在 的 链表 的 集合 对 象 。 遗 憾 的 是 ， 对 于 > 所 在 链表 的 每 个 对 象 ， 我 们 必须 更 新 指向 
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集合 对 象 的 指针 ， 这 将 花费 的 时 间 与 y 所 在 链表 长 度 呈 线性 关系 。 例 如 在 图 21-2 中 ，UNION 
(Cg，e) 促 使 5、c、e 和 hh 对 象 的 指针 被 更 新 。 
事实 上 ,我 们 能 轻松 构建 一 个 在 7 个 对 象 上 需要 MAKE-SET(x,) 1 
OC) F H m 个 操作 序列 。 假 设 有 对 象 x, MAKESET OG) 1 
29 “9 no 如 图 21-3 所 示 ， 执行 n> MAKE-SET 








MAKE-SET(zx,) 


1 
操作 ， 后 面 跟着 执行 n 一 1 个 UNION 操作 ， 因 而 有 | UNION, x) 1 
m 二 2n 一 1。 执 行 n 个 MAKE-SET 操作 需要 O(n) Ag | NONG 2) i 


UNION(x, x;) 
时 间 。 由 于 第 i 个 UNION 操作 更 新 i 个 对 象 ， 因 此 : 


UNION(x,, Xn-1) 


所 有 的 n—1 个 UNION 操作 更 新 的 对 象 的 总 数 为 : 
th ag 图 21-3 ”使 用 链表 集合 表示 和 UNION 的 简 
211 8) 单 实现 ， 在 nn 个 对 象 上 的 2n 一 1 
总 的 操作 数 为 2n 一 1， 这 样 每 个 操作 平均 需要 OC) 个 操作 序列 需要 Or?) Mat, R 
的 时 间 。 也 就 是 说 ， 一 个 操作 的 摊 还 时 间 为 B(z) 。 者 每 个 操作 平均 时 间 为 O) 
一 种 加 权 合 并 的 启发 式 策略 


在 最 坏 情况 下 ， 上 面 给 出 的 UNION 过 程 的 每 次 调用 平均 需要 @(z) 的 时 间 ， 这 是 因为 需要 
把 一 个 较 长 的 表 拼 接 到 一 个 较 短 的 表 上 ， 此 时 必须 对 较 长 表 的 每 个 成 员 更 新 其 指向 集合 对 象 的 
指针 。 现 在 换 一 种 做 法 ， 假 设 每 个 表 中 还 包含 了 表 的 长 度 ( 这 是 很 容易 维护 的 ) 以 及 拼接 次 序 可 以 
任意 的 话 ， 我 们 总 是 把 较 短 的 表 拼 接 到 较 长 的 表 中 。 使 用 这 种 简单 的 加 权 合 并 启发 式 策略 
(weighted-union heuristic) ， 如 果 两 个 集合 都 有 Q(z) 个 成 员 ， 则 单个 的 UNION 操作 仍然 需要 
Q(n) 的 时 间 。 然 而 下 面 的 定理 表明 ， 一 个 具有 mm 个 MAKE-SET, UNION 和 FIND-SET 操作 的 
序列 (其 中 及 个 是 MAKE-SET 操作 ) 需 要 耗费 Olm 十 nlgn) 的 时 间 。 

定理 21.1 使 用 不 相交 集合 的 链表 表示 和 加 权 合 并 启发 式 策 略 ， 一 个 具有 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 有 nn 个 是 MAKE-SET 操作 ) 需 要 的 时 间 为 Omt 
nlgn). 

证 明 由 于 每 个 UNION 操作 合并 两 个 不 相交 集 ， 因 此 总 共 至 多 执行 n 一 1 个 UNION 操作 。 
现在 来 确定 由 这 些 UNION 操作 所 花费 时 间 的 上 界 。 我 们 先 确定 每 个 对 象 指向 它 的 集合 对 象 的 指 
针 被 更 新 次 数 的 上 界 。 考 虑 某 个 对 象 +?， 我 们 知道 每 次 z 的 指针 被 更 新 ，z 早先 一 定 在 一 个 规模 
较 小 的 集合 当中 。 因 此 第 一 次 天 的 指针 被 更 新 时 ， 结 果 集 一 定 至 少 有 2 个 成 员 。 类 似 地 ， 下 次 工 
的 指针 被 更 新 时 结果 集 一 定 至 少 有 4 个 成 员 。 一 直 继 续 下 去 ， 注 意 到 对 于 任意 的 kn, E rH 
指针 被 更 新 [lgk1 次 后 ， 结 果 集 一 定 至 少 有 上 个 成 员 。 因 为 最 大 集合 至 多 包含 ”个 成 员 ， 故 每 个 对 
象 的 指针 在 所 有 的 UNION 操作 中 最 多 被 更 新 [lgnl 次 。 因 此 在 所 有 的 UNION 操作 中 被 更 新 的 对 
象 的 指针 总 数 为 O(n lgn) 。 当 然 ， 我 们 也 必须 考虑 tail 指针 和 表 长 度 的 更 新 ， 而 它们 在 每 个 
UNION 操作 中 只 花费 8(1) 时 间 。 所 以 总 共 花 在 UNION 操作 的 时 间 为 O(nlgn)。 

整个 个 操作 的 序列 所 需 的 时 间 很 容易 求 出 。 每 个 MAKE-SET 和 FIND-SET 操作 需要 
OO) 时 间 ， 它 们 的 总 数 为 Olm) 。 所 以 整个 序列 的 总 时 间 是 OGn+n Ign). 


练习 

21. 2-1 使 用 链表 表示 和 加 权 合 并 启发 式 策略 ， 写 出 MAKE-SET、FIND-SET 和 UNION 操作 的 
伪 代 码 。 并 指定 你 在 集合 对 象 和 表 对 象 中 所 使 用 的 属性 。 

21.2-2 给 出 下 面 程序 的 结果 数据 结构 ， 并 回答 该 程序 中 FIND-SET 操作 返回 的 答案 。 这 里 使 用 
加 权 合并 启发 式 策略 的 链表 表示 。 


l for i=1 to 16 
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21. 2-3 


21. 2-4 


21. 2-5 


21. 2-6 


21.3 
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MAKE-SET(zi) 
for ;一 1 to 15 by 2 
UNION(zi, zit1) 
for i=1 to 13 by 4 
UNIONCziyzrz) 
UNION(zi ,zs) 
UNIONCzu +213) 
UNION (2; 5.210) 
10 FIND-SET(2;) 
11 FIND-SET(2;) 


假定 如 果 包 含 z Mr; 的 集合 有 相同 的 大 小 ， 则 UNION(z;，z; ) 表 示 将 x 所 在 的 
表 链 接 到 z, 所 在 的 表 后 。 
对 定理 21.1 的 整体 证 明 进行 改造 ， 得 到 使 用 链表 表示 和 加 权 合 并 启发 式 策 略 下 的 
MAKE-SET 和 FIND-SET 的 摊 还 时 间 上 界 为 O(1) ， 以 及 UNION 的 摊 还 时 间 上 界 为 
OUgn) 。 
请 给 出 图 21-3 所 示 操 作 序列 的 一 个 运行 时 间 的 渐 近 紧 确 界 ， 假 定 使 用 链表 表示 和 加 权 
合并 启发 式 策略 。 
Gompers 教授 猜想 也 许 有 可 能 在 每 个 集合 对 象 中 仅 使 用 一 个 指针 ， 而 不 是 两 个 指针 
Chead Fil tail), ， 同 时 仍然 保留 每 个 链表 元 素 的 2 个 指针 。 请 说 明教 授 的 猜想 是 有 道理 
的 ， 并 通过 描述 如 何 使 用 一 个 链表 来 表示 每 个 集合 ， 使 得 每 个 操作 与 本 章 中 描述 的 操作 
有 相同 的 运行 时 间 ， 来 加 以 解释 。 同 时 描述 这 些 操作 是 如 何 工作 的 。 你 的 方法 应 该 允许 
使 用 加 权 合并 启发 式 策 略 ， 并 与 本 节 所 描述 的 有 相同 效果 。( 提 示 : 使 用 一 个 链表 的 尾 
作为 集合 的 代表 。) 
假设 对 UNION 过 程 做 一 个 简单 的 改动 ， 在 采用 链表 表示 中 拿 掉 让 集合 对 象 的 tail 指针 
总 指向 每 个 表 的 最 后 一 个 对 象 的 要 求 。 无 论 是 使 用 还 是 不 使 用 加 权 合 并 启发 式 策略 ， 这 
个 修改 不 应 该 改变 UNION 过 程 的 渐 近 运行 时 间 。 (提示 : 而 不 是 把 一 个 表 链 接 到 另 一 
个 表 后 面 ， 将 它们 拼接 在 一 起 。) 


不 相交 集合 森林 


coon nan AUN 


在 一 个 不 相交 集合 更 快 的 实现 中 ， 我 们 使 用 有 根 树 来 表示 集合 ， 树 中 每 个 结 点 包含 一 个 成 


员 ， 每 棵 树 代表 一 个 集合 。 在 一 个 不 相交 集合 森 
林 (disjoint-set forest) 中 (如 图 21-4(a) 所 示 )， 每 个 
成 员 仅 指向 它 的 父 结 点 。 每 棵 树 的 根 包含 集合 的 
代表 ， 并且 是 其 自己 的 父 结 点 。 正 如 我 们 将 要 看 
到 的 那样 ， 虽 然 使 用 这 种 表示 的 直接 算法 并 不 比 
使 用 链表 表示 的 算法 快 ， 但 通过 引入 两 种 启发 式 
策略 (“ 按 秩 合 并 ”和 “路 径 压 缩 ”)， 我 们 能 得 到 一 
个 渐 近 最 优 的 不 相交 集合 数据 结构 。 

我 们 执行 以 下 三 种 不 相交 集合 操作 : MAKE- 
SET 操作 简单 地 创建 一 棵 只 有 一 个 结 点 的 树 ， 
FIND-SET 操作 通过 沿 着 指向 父 结 点 的 指针 找到 
树 的 根 。 这 一 通 向 根 结 点 的 简单 路 径 上 所 访问 的 
结 点 构成 了 查找 路 径 (find path), UNION 操作 (如 


a § D 
® © @ 风 @ 
© © © © 
(a) Q (b) 


图 21-4 ”一 个 不 相交 集合 森林 。(a) 两 棵 树 表示 
21-2 中 的 两 个 集合 。 左 边 的 树 表 示 
RAND, cy e, h}, FEP c 作为 集合 的 
代表 ; 右边 的 树 表示 集合 {d，f，g}， 
作为 集合 的 代表 。(b)UNION(e，g) 
的 结果 
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图 21-4(b) 所 示 ) 使 得 一 棵 树 的 根 指向 另外 一 棵 树 的 根 。 

改进 运行 时 间 的 启发 式 策略 

到 目前 为 止 ， 我 们 还 没有 对 使 用 链表 的 实现 做 出 改进 。 一 个 包含 "一 1 个 UNION 操作 的 序 
列 可 以 构造 出 一 棵 恰好 含有 个 结 点 的 线性 链 的 树 。 然 而 ， 通 过 使 用 两 种 启发 式 策略 ， 我 们 能 获 
得 一 个 几乎 与 总 的 操作 数 m 呈 线 性 关系 的 运行 时 间 。 

第 一 种 启发 式 策略 是 按 秩 合 并 (union by rank) ， 它 类 似 于 链表 表示 中 使 用 的 加 权 合并 启发 式 
策略 。 显 而 易 见 的 做 法 是 ， 使 具有 较 少 结 点 的 树 的 根 指向 具有 较 多 结 点 的 树 的 根 。 这 里 并 不 显 式 
地 记录 每 个 结 点 为 根 的 子 树 的 大 小 ， 而 是 采用 一 种 易于 分 析 的 方法 。 对 于 每 个 结 点 ， 维 护 一 个 
秩 ， 它 表示 该 结 点 高 度 的 一 个 上 界 。 在 使 用 按 秩 合并 策略 的 UNION 操作 中 ， 我们 可 以 让 具有 较 
小 秩 的 根 指向 具有 较 大 秩 的 根 。 

第 二 种 启发 式 策略 是 路 径 压缩 (path compression), ， 也 相当 简单 和 高 效 。 正 如 图 21-5 所 示 ， 
在 FIND-SET 操作 中 ， 使 用 这 种 策略 可 以 使 查找 路 径 中 的 每 个 结 点 直接 指向 根 。 路 径 压 缩 并 不 
改变 任何 结 点 的 秩 。 





图 21-5 操作 FIND-SET 过 程 中 的 路 径 压 缩 。 箭 头 和 根 结 点 的 自 环 被 略 去 了 。(a) 在 执行 FIND- 
SET(a) 之 前 代表 一 个 集合 的 树 。 三 角形 代表 一 棵 子 树 ， 其 根 为 图 中 示 出 的 结 点 。 每 个 
结 点 有 一 个 指向 父 结 点 的 指针 。(b) 在 执行 FIND-SET(a) 之 后 的 同一 个 集合 。 现 在 在 
查找 路 径 上 每 个 结 点 都 直接 指向 了 根 


实现 不 相交 集合 森林 的 伪 代 码 

为 了 使 用 按 秩 合并 的 启发 式 策略 实现 一 个 不 相交 集合 森林 ， 我 们 必须 记录 下 秩 的 变化 情况 。 
对 于 每 个 结 点 zx， 维 护 一 个 整数 值 x. rank, CRR z 的 高 度 ( 从 zz 到 某 一 后 代 叶 结 点 的 最 长 简单 路 
径 上 边 的 数目 ) 的 一 个 上 界 。 当 MAKE-SET 创建 一 个 单元 素 集 合 时 ， 这 个 树 上 的 单 结 点 有 一 个 为 0 
的 初始 秩 。 每 一 个 FIND-SET 操作 不 改变 任何 秩 。UNION 操作 有 两 种 情况 ， 取 决 于 两 棵 树 的 根 是 
否 有 相同 的 秩 。 如 果 根 没有 相同 的 秩 ， 就 让 较 大 秩 的 根 成 为 较 小 秩 的 根 的 父 结 点 ， 但 秩 本 身 保 持 不 
变 。 另 一 种 情况 是 两 个 根 有 相同 的 秩 时 ， 任 意 选 择 两 个 根 中 的 一 个 作为 父 结 点 ， 并 使 它 的 秩 加 1。 

下 面 把 这 种 方法 表示 伪 代 码 。 用 x. p 代表 结 点 xz 的 父 结 点 。LINK 过 程 是 由 UNION 调用 的 
一 个 子 过 程 ， 以 指向 两 个 根 的 指针 作为 输入 。 

MAKE-SET(z) 

1 z.p=zx 


2 x. rank=0 
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UNION(z,y) 

1 LINK(FIND-SET(z), FIND-SET(Cy)) 
LINK(z,y) 

1 if x. rank>y. rank 

2 y. pHx 

3 else z. p=y 

4 if x. rank= = y. rank 

5 y. rank= y. rank+1 


带 有 路 径 压 缩 的 FIND-SET 过 程 非常 简单 : 
FIND-SET(Cz) 

1 ifzAz.p 

2 x. p= FIND-SET(z. p) 


3 return z. p 


FIND-SET 过 程 是 一 种 两 趟 方法 (two-pass method); 当 它 递归 时 ， 第 一 趟 沿 着 查找 路 径 向 上 
直到 找到 根 ， 当 递归 回溯 时 ， 第 二 趟 沿 着 搜索 树 向 下 更 新 每 个 结 点 ， 使 其 直接 指向 根 。FIND- 
SET(z) 的 每 次 调用 在 第 3 行 返回 xz. po WME x FEA, 那么 FIND-SET 跳 过 第 2 行 并 返回 x. p, th 
就 是 zx; 这 是 递归 到 底 的 情形 。 和 否则， 第 2 行 执行 ， 并 且 参 数 为 x. p 的 递归 调用 返回 一 个 指向 根 
的 指针 。 第 2 行 更 新 结 点 x 并 让 其 直接 指向 根 结 点 ， 然 后 第 3 行 返 回 这 个 指针 。 

启发 式 策略 对 运行 时 间 的 影响 

如 果 单 独 使 用 按 秩 合 并 或 路 径 压 缩 ， 它 们 每 一 个 都 能 改善 不 相交 集合 森林 上 操作 的 运行 时 
间 ， 而 一 起 使 用 这 两 种 启发 式 策 略 时 ， 这 种 改善 更 大 。 单 独 来 看 ， 按 秩 合并 产生 的 运行 时 间 为 
OCmlgn)( 见 练习 21. 4-4)， 并 且 这 个 界 是 紧 的 ( 见 练习 21. 3-3)。 尽 管 这 里 不 打算 来 证 明 它 ， 然 而 
对 于 一 个 具有 个 MAKE-SET 操作 (因此 最 多 有 n—1 个 UNION 操作 ) 和 f 个 FIND-SET 操作 的 
序列 ， 单 独 使 用 路 径 压 缩 启 发 式 策略 给 出 的 最 坏 情 况 运行 时 间 为 Ont f e (1 十 log,; mnzz))。 

当 同 时 使 用 按 秩 合 并 与 路 径 压 缩 时 ， 最 坏 情 况 的 运行 时 间 为 Olma(n)) ， 这 里 a(n) 是 一 个 
增长 非常 慢 的 函数 ， 其 定义 将 在 21.4 节 给 出 。 在 任何 一 个 可 以 想得到 的 不 相交 集合 数据 结构 的 
应 用 中 ， BA an) <4; 因此 ， 我 们 可 以 认为 在 所 有 实际 应 用 中 ， 其 运行 时 间 与 m 呈 线 性 关系 。 
然而 ， 严 格 地 说 ， 它 是 超 线性 的 。21. 4 节 将 证 明 这 个 上 界 。 


练习 


21. 3-1 用 按 秩 合并 与 路 径 压 缩 启 发 式 策略 的 不 相交 集合 森林 重 做 练习 21. 2-2, 

21.3-2 写 出 使 用 路 径 压 缩 的 FIND-SET 过 程 的 非 递归 版 本 。 

21.3-3 给 出 一 个 包含 mm 个 MAKE-SET、UNION 和 FIND-SET 操作 的 序列 (其 中 有 个 是 
MAKE-SET 操作 )， 当 仅 使 用 按 秩 合 并 时 ， 需 要 QCmlgn) 的 时 间 。 

21. 3-4 ”假设 想 要 增加 一 个 PRINT-SET(z) 操 作 ， 它 是 对 于 给 定 的 结 点 工 打 印 出 z 所 在 集合 的 所 
有 成 员 ， 顺 序 可 以 任意 。 如 何 对 一 棵 不 相交 集合 森林 的 每 个 结 点 仅 增加 一 个 属性 ， 使 得 
PRINT-SET(z) 所 花费 的 时 间 同 zx 所 在 集合 元 素 的 个 数 呈 线性 关系 ， 并 且 其 他 操作 的 渐 
近 运行 时 间 不 改变 。 这 里 假设 我 们 可 在 O(1) 的 时 间 内 打印 出 集合 的 每 个 成 员 。 

*21.3-5 WEH: 任何 具有 m^ MAKE-SET, UNION 和 FIND-SET 操作 的 序列 ， 这 里 所 有 的 
LINK 操作 都 出 现在 FIND-SET 操作 之 前 ， 如 果 同 时 使 用 路 径 压 缩 和 按 秩 合并 启发 式 策 
略 ， 则 这 些 操作 只 需 OCm) 的 时 间 。 在 同样 情况 下 ， 如 果 只 使 用 路 径 压 缩 启 发 式 策 略 ， 
又 会 如 何 ? 
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“21.4 带路 径 压 缩 的 按 秩 合 并 的 分 析 

如 21. 3 节 中 提 到 的 ， 对 于 nn 个 元 素 上 的 m 个 不 相交 集合 操作 ， 联 合 使 用 按 秩 合并 与 路 径 压 
缩 启发 式 策略 后 的 运行 时 间 是 OGna(n)) 。 在 本 节 中 ， 我 们 将 考察 a 函数 ， 看 看 a 函数 增长 到 底 
有 多 慢 。 然 后 使 用 摊 还 分 析 中 的 势 方法 来 证 明 这 一 运行 时 间 。 

一 个 增长 非常 慢 的 函数 与 其 增长 非常 慢 的 逆 函 数 

对 于 整数 & 宇 0 与 j 宇 1， 定 义 函数 A QG 为 : 

71 wRkR=0 
AY? CG) 如 果 k 宇 1 
其 中 表达 式 AYP ORAT 3. 2 节 给 出 的 函数 迭代 记号 。 具 体 来 讲 ， 对 i>, AAAG S= jA 
Ap G) = Arı (ASR? Gj) o 我 们 称 参数 上 为 函数 A 的 级 (level) 。 

函数 A, G 随 着 7 和 k 严格 递增 。 为 了 了 解 该 函数 增长 有 多 快 ， 先 要 得 到 A1(j) A AG) 的 
闭 形式 表示 。 

引 理 21.2 对 于 任意 整数 j 宇 1， 有 Al(j) 一 21 十 1 。 

证 明 ” 先 对 i 使 用 归纳 法 来 证 明 As8?() = j 十 i 。 对 于 归纳 基础 ， 有 Ai" (7) =j=j+0. X} 
于 归纳 步 ， 假设 As?(j)==j 十 (i 一 1) 。 然 后 A8 G) =A CAF”? G 一 (十 (一 1)) 十 1 一 7 十 zi。 
最 后 , RANA AG) = AFP =j+G+D=2j+1. = 

518 21.3 对 于 任意 整数 j 宇 1， 有 As(j) =27G4+)D—-1. 

证 明 先 对 ;使 用 归纳 法 来 证 明 AP GD) = 2'G 十 1) 一 1 。 对 于 归纳 基础 ， 有 Ai”() = j = 
2G+D—1. MIME, BEA G) = 2° G+D—-1. Ra APG = AAP? G) = 
A (27° (j +1) —-1) =2- (2 (j+1)—1)+1 = 2 十 1) 一 2 十 1 = 2iGj 十 1) 一 1 。 最 后 ， 我 们 
AAG) = AP G) =2"G+D-1. a 

现在 对 于 级 二 0，1，2，3，4， 我 们 简单 地 考察 A (1) 就 能 看 到 A (j) 增长 得 有 多 快 了 。 根 
EA) 的 定义 以 及 上 面 的 引 理 ， 有 Ao(1) =14+1=2,A,0) =2-14+1=3 AMA) = 
2 。(1 十 1) 一 1 三 7 。 我 们 同样 有 573 

A;(1) = A? (1) = A: (A: (1)) 一 A:(7) = 28 - 8—1 = 2" —1 = 2 047 


AG) = 


并 且 有 
A(l) = AY (1) = A; (A, (1)) = A; (2 047) = AL“ (2 047) >> A, (2 047) 
= 2 .2048—1> 22o = (24)52 = 16 >> 10% 
这 就 是 客观 宇宙 中 所 有 原子 的 估计 数目 。( 符 号 "六 ”代表 “远大 于 ”。) 
对 于 整数 n 宇 9， 我 们 定义 函数 A. C 的 逆 函 数 如 下 : 
a(n) = min{k:A,(1) > n} 
也 就 是 说 , a(n) 是 满足 ALC) 至 少 为 n 的 最 小 的 级 &。 根 据 上 面 的 Ai(1) 值 ， 可 以 知道 : 
0 xs O0O<n<2 
1 xn=3 
a(n) 一 42 #4<n<7 
3 mM 8<n<2 047 
4 xf} 2048<n<A,(1) 
只 有 对 于 那些 非常 大 的 “天 文 数字 ”的 n 值 ( 比 A (1) 还 大 的 值 ， 一 个 巨大 的 数 ) ， 才 会 有 a(n) > 4, 
所 以 对 于 所 有 实际 的 应 用 ， 都 有 a(n) <4. 
秩 的 性 质 
在 本 节 剩 下 的 部 分 ， 我 们 证 明 使 用 按 秩 合并 与 路 径 压 缩 启 发 式 策略 的 不 相交 集合 操作 的 运 
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行 时 间 界 为 O(ma(z)) 。 为 了 证 明 这 个 界 ， 首 先 证 明 秩 的 一 些 简单 性 质 。 

引 理 21.4 对 于 所 有 的 结 点 TI， 有 x. rank<z. p.rank, w$ rA. p, 则 此 式 是 严格 不 等 
A. z. rank 的 初始 值 为 0， 并 且 随 时 间 而 增加 ， 直 到 rAr p; 从 此 以 后 ，X. rank 的 值 就 不 再 发 
Æ EAE., x. p. rank 的 值 随时 间 单 调 递 增 。 

证 明 使 用 21. 3 节 中 MAKE-SET, UNION 和 FIND-SET 的 实现 ， 对 操作 数 使 用 归纳 法 ， 
其 证 明 是 直接 的 。 该 证 明 留 为 练习 21. 4-1。 8 

推论 21.5 从 任何 一 个 结 点 指向 根 的 简单 路 径 上 ， 结 点 的 秩 是 严格 递增 的 。 加 

引 理 21.6 每 个 结 点 的 秩 最 大 为 n 一 1。 

证 明 每 个 结 点 的 秩 从 0 开始 ， 并 且 只 有 执行 了 LINK 操作 ， 它 才 会 增加 。 因 为 最 多 有 nn 一 1 
个 UNION 操作 ， 所 以 同样 最 多 有 n 一 1 个 LINK 操作 。 因 为 每 个 LINK 操作 或 者 不 改变 任何 的 
秩 ， 或 者 将 某 结 点 的 秩 加 1， 所 以 所 有 的 秩 最 大 为 n 一 1。 = 

引 理 21.6 提供 了 一 个 关于 结 点 秩 的 较 弱 的 界 。 事 实 上 ， 每 个 结 点 的 秩 最 大 为 [jgzj( 见 练习 
21. 4-2) 。 然 而 ， 引 理 21. 6 的 这 个 较 松 的 界 已 足够 满足 我 们 的 要 求 。 

时 间 界 的 证 明 

我 们 将 利用 摊 还 分 析 中 的 势 方法 ( 见 17. 3 节 ) 来 证 明 Oman) 的 时 间 界 。 在 进行 挫 还 分 析 
时 ， 为 了 方便 起 见 ， 我 们 假设 不 调用 UNION 操作 ， 而 是 调用 LINK 操作 。 也 就 是 说 ， 因 为 
LINK 过 程 的 参数 是 指向 两 个 根 的 指针 ， 故 我 们 独立 使 用 相应 的 FIND-SET 操作 。 下 面 的 引 理 说 
明 即 使 因 调 用 UNION 而 导致 额外 的 FIND-SET 操作 ， 其 渐 近 运行 时 间 仍 然 保 持 不 变 。 

引 理 21.7 假设 通过 将 每 个 UNION 转换 成 两 个 FIND-SET 操作 ， 后 再 接 一 个 LINK 操作 ， 
我 们 可 以 把 m 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 S' 转 换 成 m 个 MAKE-SET、 
LINK 和 FIND-SET 操作 的 序列 S。 那 么 ， 如 果 操 作 序 列 S 的 运行 时 间 为 Olma(n)) ， 则 序列 S' 
的 运行 时 间 为 OC(m'a(n)) 。 

证 明 由 于 序列 S' 中 的 每 个 UNION 操作 被 转换 成 S 中 的 三 个 操作 ， 于 是 有 m'’<m<3m', 
因为 m = Olm') ， 所 以 如 果 转 换 后 的 序列 S 的 时 间 界 为 Olma(n)) ， 就 蕴涵 着 原 序列 S 的 时 间 
界 为 OCm'a(n)) 。 m 

在 本 节 剩 下 的 部 分 ， 假设 m' 个 MAKE-SET, UNION 和 FIND-SET 操作 的 初始 序列 被 转换 
成 m 个 MAKE-SET、LINK 和 FIND-SET 操作 的 序列 。 现 在 证 明 转 换 后 的 序列 的 运行 时 间 界 为 
O(ma(n)) ， 并 且 应 用 引 理 21. 7 证 明 m' 个 操作 的 初始 序列 的 运行 时 间 界 为 OCm'a(n)) 。 

势 函 数 

我 们 使 用 的 势 函数 在 g 个 操作 之 后 ， 对 不 相交 集合 森林 中 的 每 个 结 点 zx 都 指派 了 一 个 势 


$C) 。 把 所 有 的 结 点 的 势 加 起 来 就 得 到 了 整个 森林 的 势 : @, = >)$,(z) ， 其 中 D, 代表 q 次 操 


作 之 后 森林 的 势 。 在 第 一 次 操作 之 前 ， 森 林 是 空 的 ， 任 意 置 D=. HO, 从 来 不 为 负 值 。 

$, (a) 的 值 取决 于 在 第 g 次 操作 之 后 ，z 是 否 是 一 棵 树 的 根 。 如 果 是 或 者 如 果 x. rank 二 0， 那 
Z $,(x) = a(n) + x. rank 。 

现在 假定 第 q 次 操作 之 后 ，z 不 是 一 个 树 根 且 x. rank 宇 1。 此 时 在 定义 和 (zx) 之 前 ， 需 要 定 
义 两 个 关于 z 的 辅助 函数 。 先 定义 

level(x) = max{k:2z. p. rank > A, (a. rank)} 

也 就 是 说 , level(z) 是 A, 的 一 个 最 大 级 &， 其 中 A 是 作用 于 z 的 秩 的 函数 ， 并 且 A 不 大 于 z 的 
父 结 点 的 秩 。 

我 们 断言 : 

0 < level(z) < a(n) (21.1) 

成 立 。 它 可 以 如 下 推出 : 
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x. p. rank >x. rank +1 (根据 引 理 21. 4) 
=A, (x. rank) (根据 AG) 的 定义 ) 
这 意味 着 level(z) 三 0 ， 并 且 有 : 
Axm (x. rank) SAgn (1) (AH AG) 是 严格 递增 的 ) 
>n (根据 a(n) 的 定义 ) 
>z. p. rank 〈 根 据 引 理 21. 6) 
这 意味 着 level(z) 二 a(n) 。 注 意 到 ， 由 于 z. p. rank 是 随时 间 单 调 递增 的 ， 这 样 level(z) 也 随时 
间 单 调 递增 。 
当 x. rank>1 时 ， 第 二 个 辅助 函数 是 : 
iter(z) = max{i:z. p. rank > Aa (x. rank)} 
也 就 是 说 , iter(z) 是 可 以 迭代 地 实施 Als 的 最 大 次 数 ， 开 始 时 将 Auoo 应 用 于 z 的 秩 ， 直 至 在 
获得 一 个 大 于 xz 的 父 结 点 的 秩 的 值 之 前 迭代 停止 。 
当 x. rank 宇 1 时 ， 我 们 有 
1 < iter(x) < zx. rank (21. 2) 
成 立 ， 它 可 以 如 下 推出 : 
x. p. rank > Asco (x. rank) (根据 level(z) 的 定义 ) 
= Aun (x. rank) (根据 函数 迭代 的 定义 ) 
这 意味 着 iter(z) 之 1 ， 并 且 有 
AGRA (x. rank) = Awon (a. rank) (根据 AG) 的 定义 ) 
> zx. p. rank (根据 level(x) 的 定义 ) 
这 意味 着 iter(z) <x. rank 。 注 意 到 ， 由 于 xz. p. rank 是 随时 间 单 调 递增 的 ， 为 了 使 iter(z) 能 够 
减 小 , level(z) 必须 增加 。 只 要 level(z) 保持 不 变 , iter(z) 一 定 是 增加 或 者 保持 不 变 。 
使 用 本 处 定义 的 这 些 辅助 函数 ， 就 可 以 来 定义 g 次 操作 之 后 结 点 z 的 势 : 
gee Ee * x. rank 如 果 工 是 一 个 树 根 或 XI.rank = 0 
s (a(n) — level(x)) * x. rank 一 iter(Z) 如 果 工 不 是 一 个 树 根 并 且 x. rank > 1 
接 下 来 给 出 结 点 势 的 一 些 有 用 的 性 质 。 
引 理 21.8 对 于 每 个 结 点 工 和 所 有 操作 的 计数 g， 我 们 有 
0 < $, (1) < a(n) + zx. rank 
证 明 如 果 工 是 一 个 树 根 或 者 zx. rank=0, WARREN, A 史 (z) = aln) + x. rank. WE 
假设 x 并 不 是 一 个 树 根 且 z. rank 宇 1。 通 过 最 大 化 level(z) 和 iter(z) 来 得 到 p) 的 一 个 下 界 。 
根据 界 (21. 1) A level(z) a(n) 一 1 ;， 并 且 根 据 界 (21.2) F iter(x) < x. rank, PU, A 
$,(x) = (a(n) — level(x)) » x. rank — iter(x) 
=> (a(n) — (a(n) — 1)) + x. rank — x. rank = x. rank — x. rank = 0 
类 似 地 ， 通 过 最 小 化 level(x) 和 iter(z) 来 获得 (xz) 的 一 个 上 界 。 根 据 界 (21.1)， 有 
level(z) >0; 并且 根 据 界 (21.2)， 有 iter(z) 三 1 。 所 以 ， 有 
$ C1) < (a(n) — 0) + x. rank — 1 = a(n) + x. rank — 1 < a(n) + x. rank u 
推论 21.9 如 果 结 点 工 不 是 一 个 根 结 点 ， 并 且 x. rank>0, N) p) <an). x. rank, W 
势 的 变化 与 操作 的 摊 还 代价 
现在 我 们 准备 来 分 析 不 相交 集合 操作 是 如 何 影响 结 点 的 势 的 。 理 解 了 每 个 操作 引起 的 势 的 
变化 ， 就 能 确定 每 个 操作 的 摊 还 代价 。 
引 理 21. 10 设 工 是 一 个 非 根 结 点 ， 并 且 假设 第 g 个 操作 是 LINK 或 FIND-SET。 那 么 在 第 g 
次 操作 之 后 ， 加 (ZX) 三 加 _1(X)。 此 外 ， 如 果 x. rankS1, HH level(x) 或 iter(z) 是 由 于 第 q KR 
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Ket RAT BE, MAA) 过 向 1(Z) 一 1 。 也 就 是 说 ， 工 的 势 不 可 能 增加 ， 并 且 如 果 它 有 正 的 
秩 ， 同 时 level(z) 或 iter(z) 发 生 改 变 ， 则 工 的 势 至 少 下降 1。 

证 明 因为 x 不 是 一 个 树 根 ， 所 以 第 g 个 操作 并 不 改变 z 的 秩 ， 又 因为 在 前 mn 次 MAKE- 
SET 操作 后 ，n 并 不 发 生 改变 ， 所 以 a(n) 也 同样 不 发 生变 化 。 因 此 在 第 g 个 操作 后 ，z 的 势 公式 
的 这 些 成 分 保持 相同 。 如 果 x. rank 二 0， 那 么 pC) =p (Zz) 二 0。 现 在 假设 x. rank>1, 

前 面 说 过 ，level(z) 随时 间 单 调 递增 。 如 果 第 g 个 操作 使 得 level(x) 不 发 生 改 变 ， 那么 
iter(Cz) 或 者 增加 ,或 者 保持 不 变 。 如 果 level(x) 和 iter(z) 都 不 变 , 则 加 (x) 二 加 -1 (x) 。 如 果 leveller) 
没有 变化 ,而 itero) 增加 了 , 则 它 至 少 增 加 1, 因而 有 和 (x) 夺 和 1(z) 一 1 。 

最 后 ,如 果 第 g 个 操作 增加 levele) 的 值 ,并 且 至 少 增加 1, 那 么 (a(n) 一 level(x) ) + x. rank 的 
值 至 少 下 降 x. rank, WH levele) 的 值 增加 了 , iter(z) 的 值 可 能 下 降 ， 但 是 根据 界 (21. 2)， 下 降 
最 多 只 有 x. rank 一 1。 于 是 ， 由 iter(x) 的 改变 导致 的 势 的 增加 量 少 于 由 level(z) 的 改变 导致 的 势 
的 减少 量 ， 因 此 可 以 得 出 结论 : 和 (zx) 三 加 1(7) 一 1。 a 

下 面 的 三 个 引 理 说 明 每 个 MAKE-SET, LINK 和 FIND-SET 操作 的 摊 还 代价 都 是 
OCa(n)) 。 回 顾 公 式 (17. 2) 可 知 ， 每 个 操作 的 摊 还 代价 是 它 的 实际 成 本 加 上 操作 本 身 导 致 的 势 
的 增 量 。 

引 理 21. 11 每 个 MAKE-SET 操作 的 摊 还 代价 为 0A). 

证 明 ”假设 第 gq 个 操作 是 MAKE-SET(z) ， 这 个 操作 创建 秩 为 0 的 结 点 z+， 并 使 得 加 (x) = 0。 
由 于 没有 其 他 的 秩 或 势 的 改变 ， 所 以 =O, !。 注 意 到 ，MAKE-SET 操作 的 实际 成 本 为 OC) ， 
从 而 本 引 理 得 证 。 a 

引 理 21.12 每 个 LINK 操作 的 摊 还 代价 为 Olal(n)) 。 

证 明 假设 第 g 个 操作 是 LINK(z,y) 。LINK 操作 的 实际 成 本 为 0(1) 。 不 失 一 般 性 ， 假 设 
这 个 LINK 使 > 成 为 zx 的 父 结 点 。 

为 了 确定 LINK 所 导致 的 势 的 改变 ， 我 们 注意 到 势 可 能 改变 的 结 点 只 有 c. y 和 操作 前 y 的 
子 结 点 。 下 面 证 明 由 于 LINK 导致 的 势 增 加 的 唯一 结 点 是 y， 并 且 它 的 增 量 最 多 为 aln) : 

。 根据 引 理 21. 10， 对 于 那些 在 LINK 操作 之 前 为 y 的 孩子 的 任何 一 个 结 点 ， 其 势 都 不 会 
因为 LINK 操作 而 增加 。 

。 根据 和 (xz) 的 定义 可 知 ， 由 于 xz 是 第 g 个 操作 之 前 的 一 个 根 , pC) = aln) + x. rank 。 如 
R x. rank 二 0， 那 么 加 (x) = $12) =0; 否则 ， 

$, (x) <aln) » x. rank( 根 据 推 论 21. 9) 
=f, (x) 
所 以 工 的 势 减 小 了 。 

。 因为 y 在 这 个 LINK 操作 之 前 是 一 个 根 ， 所 以 feil) = aln) + x. rank 。 这 个 LINK 操作 
使 得 y 成 为 一 个 根 ， 并 且 它 使 得 y 的 秩 不 变 或 增加 1。 因 此 加 (y) = $4) KE (y) = 
$r Cy) aln) 。 | 

因此 ， 由 于 这 个 LINK 操作 导致 势 至 多 增加 a(n) ， 所 以 这 个 LINK 操作 的 摊 还 代价 是 
OC) +a(m) = O(a(n)) 。 a 

引 理 21.13 每 个 FIND-SET 操作 的 摊 还 代价 为 Ola(n)) 。 

证 明 假设 第 g 个 操作 是 FIND-SET， 并且 查找 路 径 包含 ;个 结 点 。 这 个 FIND-SET 操作 的 
实际 成 本 为 O(s)。 下 面 将 要 证 明 由 于 执行 FIND-SET 操作 ， 没 有 结 点 的 势 会 增加 ， 并 且 在 查找 
路 径 上 最 少 有 max(0,s— (a(n) 十 2)) 个 结 点 使 得 它们 的 势 至 少 减少 1。 

为 了 证 明 没 有 结 点 的 势 会 增加 ， 首 先 对 除根 以 外 的 所 有 结 点 应 用 引 理 21. 10。 然 后 ， 如 果 x 
ER, IBA E ARE a(n) + x. rank ， 其 值 不 变 。 
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现在 证 明 至 少 有 max(0,s— (an) 十 2)) 个 结 点 使 得 它们 的 势 至 少 下 降 1。 假 设 z 是 查找 路 径 
上 一 个 满足 x. rank>0 的 结 点 ， 且 在 查找 路 径 上 的 某 处 ，z 后 跟 某 一 个 非 根 结 点 y， 它 在 FIND- 
SET 操作 之 前 有 level(y) = level(z) 。( 注 意 在 查找 路 径 上 ，y 不 需要 紧 跟 在 结 点 x 的 后 面 。) 在 查 
找 路 径 上 ， 除 了 至 多 a(n) 十 2 个 结 点 以 外 ， 其 他 所 有 结 点 都 满足 关于 zz 的 限制 。 那 些 不 满足 限制 
的 是 查找 路 径 上 的 第 一 个 结 点 (因为 它 的 秩 为 0)、 最 后 一 个 结 点 (因为 它 是 根 ) 和 路 径 上 最 后 一 个 
满足 level(w) =k WIA, HR = 0,1,2,*…,a(n) 一 1。 
让 我 们 固定 这 样 一 个 结 点 z， 下 面 证 明 z 的 势 至 少 下 降 1。 假 设 &= level(z) 二 level(y)。 在 
由 FIND-SET 操作 引起 路 径 压 缩 之 前 ， 我 们 有 : 
x. p. rank > Af (x. rank) (根据 iter(x) 的 定义 ) 
y. p. rank > A, (Cy. rank) (根据 level(y) 的 定义 ) 
y. rank > x. p. rank (根据 推论 21. 5, 并 因为 在 查找 路 径 上 yREr 的 后 面 ) 
将 这 些 不 等 式 组 合 在 一 起 ， 并 设 ; 为 路 径 压 缩 前 iter) 的 值 ， 我 们 有 : 
y. p. rank > A, Cy. rank) 
> A, (x. p. rank) (BA AG) 是 严格 递增 的 ) 
> A, (AÑ (x. rank)) 
= A$"? (x. rank) 
因为 路 径 压 缩 将 使 得 z Sy 有 相同 的 父 结 点 ， 那 么 在 路 劲 压缩 之 后 ， 有 x. p. rank=y. p. rank, 
并 且 路 径 压 缩 并 不 减少 y p. rank, AW x. rank 并 没有 改变 ， 在 路 径 压 缩 之 后 就 有 x. p. rank> 
At? (x. rank)。 因 此 ， 路 径 压 缩 将 致使 iter) 增加 (至 少 增加 到 i 十 1) 或 致使 levele) 增加 ( 当 
iter(Z) 至 少 增加 到 x. rank 十 1 时 才 发 生 )。 不 管 发 生 哪 种 情况 ， 根 据 引 理 21.10， 有 加 (zx) < 
$1(z) 一 1 。 所 以 ，z 的 势 至 少 下 降 1。 
FIND-SET 操作 的 挫 还 代价 是 实际 成 本 加 上 势 的 改变 量 。 实 际 成 本 为 Xs) ， 并 且 我 们 已 经 证 明 
势 总 共 下 降 了 至 少 max(0,s— (aln) 十 2)) 。 因 此 ， 摊 还 代价 最 多 为 OCs) 一 (s 一 (a(n) 十 2)) =O) 一 
st+Oaln)) = Oe(n)) ， 后 面 等 式 是 因为 我 们 能 放大 势 的 单位 去 消除 在 OG) 中 包含 的 内 部 常量 。 m 
把 上 面 的 引 理 综合 在 一 起 ， 就 可 以 产生 下 面 的 定理 。 
定理 21.14 ”一 组 m 个 MAKE-SET、UNION 和 FIND-SET 操作 的 序列 ， HP n HE 
MAKE-SET 操作 ， 它 能 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合并 与 路 径 压缩 在 最 坏 情况 时 间 OCm 
a(n)) 内 处 理 完 。 
证 明 根据 引 理 21.7、 引 理 21.11、 引 理 21. 12 和 引 理 21.13， 即 可 得 证 。 a 


练习 

21. 4-1 证 明 引 理 21. 4。 

21.4-2 证 明 : 每 个 结 点 的 秩 最 多 为 | lgnj。 

21.4-3 根据 练习 21. 4-2 的 结论 ， 对 于 每 个 结 点 z， 需 要 多 少 位 (bit) 来 存储 x. rank? 

21.4-4 利用 练习 21.4-2， 请 给 出 一 个 简单 的 证 明 ， 证 明 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合并 
策略 而 不 使 用 路 径 压 缩 策略 的 运行 时 间 为 OG Ign) 。 

21.4-5 Dante 教授 认为 ， 因 为 各 结 点 的 秩 在 一 条 指向 根 的 简单 路 径 上 是 严格 递增 的 ， 所 以 结 点 
的 级 沿 着 路 径 也 一 定 是 单调 递增 的 。 换 句 换 说 ， 如 果 x. rank>0, 并 且 z.p 不 是 一 个 
根 ， 那 么 level(x) < level(x. p) 。 请 问 这 位 教授 的 想法 正确 吗 ? 

*21.4-6 ”考虑 函数 a (n) = min{k:Ai(1) Slg(n+1)} 。 证明: 对 于 7 的 所 有 实际 值 ， 有 a'(n) < 
3 ， 并 利用 练习 21. 4-2， 说 明 如 何 去 修 改 势 函数 的 参数 来 证 明 对 于 一 组 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 个 是 MAKE-SET 操作 )， 我 们 能 在 一 个 
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不 相交 集合 森林 上 使 用 按 秩 合并 与 路 径 压缩 在 最 坏 情 况 时 间 OCma'(n)) 内 处 理 完 。 


思考 题 


21-1 


21-2 


( 脱 机 最 小 值 ) 脱 机 最 小 值 问题 (off-line minimum problem) Æt} INSERT #1 EXTRACT- 
MIN 操作 维护 一 个 元 素 取 自 域 {1，2，…，n} 的 动态 集合 T。 给 定 一 组 包含 ”个 INSERT 
和 m 个 EXTRACT-MIN 的 调用 序列 S$， 其 中 属于 {1，2，…，n} 中 的 每 个 关键 字 只 被 插入 
一 次 。 我 们 希望 确定 每 个 EXTRACT-MIN 调用 返回 的 是 哪个 关键 字 。 特 别 地 ， 和 希望 对 一 
个 extracted[1..m](i=1, 2, ++, m MABE HER, 其 中 extracted [i] Æ h iK 
EXTRACT-MIN 调用 所 返回 的 关键 字 。 该 问题 是 “ 脱 机 的 ”， 其 含义 就 是 在 确定 任何 返回 
的 关键 字 之 前 处 理 整 个 序列 S. 
a. 在 下 面 脱 机 最 小 值 问题 的 实例 中 ， 每 个 操作 INSERT(i) 用 一 个 i 值 来 表示 ， 并 且 每 个 
EXTRACT-MIN 用 字母 下 来 表示 : 
4,8,E,3,E,9,2,6,E,E,E,1,7,E,5 
将 正确 的 值 填 人 extracted 数组 。 
为 了 设计 出 解决 此 问题 的 算法 ， 我 们 把 序列 S 划分 成 若干 个 同 构 的 子 序列 ， 即 如 下 表 
示 S: 
I, Elz, E, I; °°° 9 Ins Es Tet 
REA ERKAK EXTRACT-MIN 调用 ， 并 且 每 个 1 代表 一 个 (可 能 为 空 的 )INSERT 
调用 序列 。 对 于 每 个 子 序列 1， 开始 时 把 由 这 些 操作 插入 的 关键 字 插 入 一 个 集合 K; WMR 
L 为 空 ， 那 么 它 也 为 空 。 然 后 执行 下 面 的 程序 : 
OFF-LINE-MINIMUM(@n,n) 
1 fori = 1ton 
2 determine j such that i € K; 
3 if; Am+1 
4 extracted[j] = i 
5 let Z be the smallest value greater than j 
for which set K; exists 
6 K,= K;UK,, destroying K; 


7 return extracted 


b. 证 明 : 由 OFF-LINE-MINIMUM 返回 的 数组 extracted 是 正确 的 。 

c 描述 如 何 用 不 相交 集合 数据 结构 来 高 效 实现 OFF-LINE-MINIMUM。 给 出 实现 的 最 坏 
情况 运行 时 间 的 紧 确 界 。 

(深度 确定 ) 在 深度 确定 (depth-determination) 问题 中 ， 我 们 通过 以 下 三 个 操作 来 维护 一 

个 有 根 树 的 森林 有 = {T;} : 

MAKE-TREE(v): 创建 一 棵 只 包含 唯一 结 点 v 的 树 。 
FIND-DEPTH (v): 返回 结 点 v 在 树 中 的 深度 。 
GRAFT(r, v): 使 得 结 点 r( 假 定 它 为 一 棵 树 的 树 根 ) 成 为 结 点 v 的 孩子 (假定 它 在 另 

一 棵 树 中 ， 但 是 它 本 身 可 能 是 、 也 可 能 不 是 一 棵 树 的 根 ) 。 

a. 假设 采用 类 似 于 不 相交 集合 森林 的 树 表 示 : v p BAA 的 父 结 点 ， 除 了 v 是 根 时 
v. p=v 的 这 种 情况 。 进 一 步 假设 ， 我们 可 以 通过 置 x. p= v KNB GRAFT, v), HEH 
可 以 通过 沿 着 查找 路 径 上 升 至 根 ， 返回 一 个 除 v 以 外 的 结 点 数 来 实现 
FIND-DEPTH(v) 。 证明: —4 m ^ MAKE-TREE, FIND-DEPTH 和 GRAFT 操作 的 
序列 的 最 坏 情况 运行 时 间 是 OC’) 。 
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通过 使 用 按 秩 合并 与 路 径 压 缩 启发 式 策略 ， 能 减少 最 坏 情况 运行 时 间 。 我 们 使 用 不 相 
交集 合 森林 如 = {S;} ， 其 中 每 个 集合 S;( 它 本 身 是 一 棵 树 ) 对 应 于 一 棵 森林 中 的 树 T: 
然而 ,集合 S 中 的 树 结构 没 有 必要 对 应 于 T; 的 树 结构 。 实 际 上 ，S; 的 实现 并 没有 记录 准 
确 的 父子 关系 ， 但 它 允 许 我 们 确定 T; 中 任意 结 点 的 深度 。 

关键 的 思想 是 维护 每 个 结 点 v 的 一 个 “ 伪 距 离 ”v. 4， 它 被 定义 为 使 得 沿 着 从 v EN 
集合 S; 的 根 的 简单 路 径 上 的 伪 距 离 之 和 等 于 T; 中 结 点 v 的 深度 。 也 就 是 说 ， 如 果 从 vv 到 
CHE S, 的 根 的 简单 路 径 为 vw。，w，…，wW%( 这 里 w 三 v 并 且 vi ES; 的 根 )， 那么 结 点 v 在 


HT: 上 的 深度 为 Xud. 

b. 给 出 MAKE-TREE 的 一 种 实现 。 

c 说明 应 如 何 修改 FIND-SET 来 实现 FIND-DEPTH。 你 的 实现 要 采用 路 径 压 缩 ， 并 且 它 
的 运行 时 间 应 与 查找 路 径 的 长 度 呈 线性 关系 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 

d. 说 明 如 何 实现 GRAFT(r，v)， 它 通过 修改 UNION 和 LINK 过 程 来 合并 包含 ~ 和 的 
集合 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 并 注意 到 ， 集 合 S 的 根 没有 必要 是 对 应 
BT; 的 根 。 

e 试 给 出 一 组 m 个 MAKE-TREE、FIND-DEPTH 和 GRAFT 操作 的 序列 (其 中 个 是 
MAKE-TREE 操作 ) 最 坏 情况 运行 时 间 的 一 个 紧 确 界 。 

(Tarjan 的 脱 机 最 小 公共 祖先 算法 ) ”在 一 棵 有 根 树 中 ， 两 个 结 点 和 w 的 最 小 公共 祖先 

(least common ancestor)w 是 结 点 和 w 的 一 个 共同 祖先 ， 且 它 有 最 大 的 深度 。 在 脱 机 最 

小 公共 祖先 问题 (off-line least-common-ancestors problem) 中， 给 定 一 棵 有 根 树 工 和 一 个 在 

T 中 的 无 序 结 点 对 的 任意 集合 P= 二 {{u，v}}， 我 们 希望 确定 已 中 每 对 的 最 小 公共 祖先 。 

为 了 解决 脱 机 最 小 公共 祖先 问题 ， 下 面 的 过 程 通过 对 LCACT. root) 的 初始 调用 ， 来 执 

行 对 工 的 树 遍 历 。 假 设 在 执行 遍历 之 前 ， 每 个 结 点 被 着 色 为 白色 。 

LCA(u) 

1 MAKE-SET(u) 

2 FIND-SET(u). ancestor=u 

3 for each child v of u in T 

4 LCA(v) 

5 UNION(u, v) 

6 FIND-SET (u). ancestor=u 
7 u. color=BLACK 

8 for each node v such that {u,v} € P 

9 if v. color= BLACK 

10 print “The least common ancestor of ” 

u“and”v“is” FIND-SET (v). ancestor 


a. 证 明 : 对 每 对 {u，v} EP, 第 10 行 恰好 只 执行 一 次 。 

b. 证 明 : 在 调用 LCA(w) 时 ,不 相交 集合 数据 结构 的 集合 数 等 于 醋 中 的 深度 。 
c 证 明 : 对 于 每 对 {u,v} E P, LCA 能 正确 地 输出 u 和 w 的 最 小 公共 祖先 。 

d. 假设 我 们 使 用 21. 3 节 中 的 不 相交 集合 数据 结构 实现 ， 试 分 析 LCA 的 运行 时 间 。 


本 章 注 记 


不 相交 集合 数据 结构 的 许多 重要 结果 至 少 应 部 分 归功 于 R. E. Tarjan。Tarjan[328，330] 使 用 


聚合 分 析 ， 给 出 了 第 一 个 紧 确 上 界 ， 它 是 用 增长 极 慢 的 Ackermann 函数 的 逆 函 数 am, n) 来 表示 
的 。( 在 21.4 节 给 出 的 Ai(j) 类 似 于 Ackermann 函数 ， 并 且 函 数 a(n) 类 似 于 这 个 道 函 数 。 对 于 
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所 有 可 想象 的 m 和 nn, a(n) 和 a(m，nn) 的 值 都 至 多 为 4,) 一 个 OCmlg” n) 的 上 界 早 期 由 Hopcroft 
与 Ullman[5，179] 所 证 明 。21. 4 节 中 的 叙述 是 改编 自 TarjanL332j] 后 来 所 做 的 分 析 ， 其 中 Tarjan 
的 工作 又 是 基于 Kozen[220] 的 分 析 而 做 出 的 。 对 于 Tarjan 早期 给 出 的 上 界 ，Harfst 和 Reingold 
[16] 给 出 了 一 个 基于 势 的 版 本 。 

Tarjan 和 van Leeuwen[ 333] 讨 论 了 各 种 路 径 压缩 启发 式 策略 ， 包 括 “ 一 趟 方法 ”， 这 种 方法 
有 时 在 性 能 上 可 以 给 出 比 两 趟 方法 更 好 的 常数 因子 。 与 Tarjan 早期 对 基本 路 径 压 缩 启发 式 策略 
的 分 析 一 样 ，Tarjan 和 van Leeuwen 给 出 的 分 析 是 聚合 分 析 。Harfst 和 Reingold[ 161 1] 后 来 证 明 
了 应 如 何 对 势 函 数 做 一 个 小 的 改动 ， 便 可 将 他 们 的 路 径 压 缩 分 析 方 法 应 用 到 这 些 一 趟 的 方法 中 。 
Gabow 和 Tarjan[121jJ 证 明了 在 某 些 特定 的 应 用 中 ， 不 相交 集合 操作 可 以 做 到 在 Olm) 时 间 内 
运行 。 

TarjanL329] 证 明了 在 任意 满足 特定 技术 条 件 的 不 相交 集合 数据 结构 上 ， 操 作 所 需要 的 时 间 
下 界 为 Qlmalm,n)) 。 这 个 下 界 后 来 由 Fredman 和 Saks[113] 推 广 ， 他 们 证 明了 在 最 坏 情 况 下 ， 
必须 访问 Am alm, n) Ugn) 位 的 内 存 字 。 
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由 于 图 论 问题 渗透 整个 计算 机 科学 ， 图 算法 对 于 计算 机 学 科 至 关 重 
要 。 成 百 上 干 的 计算 问题 最 后 都 可 以 归 约 为 图 论 问 题 。 本 书 的 第 六 部 分 就 
对 图 论 里 面 比较 重要 的 一 些 问 题 进行 讨论 。 

第 22 章 讨论 如 何在 计算 机 里 表示 一 张 图 ， 然 后 对 图 的 广度 优先 搜索 
和 深度 优先 搜索 算法 进行 讨论 。 同 时 ， 该 章 还 将 讨论 深度 优先 搜索 的 两 个 
应 用 : 有 向 图 的 拓扑 排序 和 将 有 向 图 分 解 为 强 连通 子 图 。 

第 23 章 阐述 如 何 计 算 图 的 最 小 生成 树 。 最 小 生成 树 要 解决 的 问题 是 
在 一 个 每 条 边 都 有 权重 的 图 里 ， 以 最 小 权重 之 和 来 连接 所 有 的 结 点 。 计 算 
最 小 生成 树 的 算法 很 好 地 展示 了 贪心 算法 (关于 贪心 算法 ， 请 参阅 本 书 第 
16 章 的 内 容 )。 

第 24 章 和 第 25 章 讨论 如 何在 权重 图 里 计算 两 个 结 点 之 间 的 最 短路 
径 。 其 中 ， 第 24 章 描 述 如 何 找到 从 给 定 源 结 点 至 所 有 其 他 结 点 的 最 短路 
径 ， 而 第 25 章 则 讨论 所 有 结 点 对 之 间 的 最 短路 径 。 

第 26 章 讨论 如 何在 流 网 络 中 计算 出 最 大 流 。 这 里 的 流 网 络 指 的 是 一 
个 有 向 图 ， 其 中 有 一 个 结 点 为 发 出 流量 的 源 结 点 ， 一 个 结 点 为 流量 汇集 的 
汇 点 ， 图 中 每 条 边 上 的 权重 代表 该 条 边 所 允许 的 最 大 流量 ， 也 称 为 边 的 容 
量 。 流 网 络 问题 是 一 种 通用 问题 ， 它 的 表现 形式 多 种 多 样 ， 一 个 优秀 的 计 
算 最 大 流 的 算法 可 以 有 效 解 决 各 种 相关 的 问题 。 

对 图 算法 进行 讨论 需要 有 一 些 约定 和 表述 。 给 定 图 G = (V,E) ， 当 
对 该 图 上 的 一 个 算法 的 运行 时 间 进 行 表述 时 ， 我 们 通常 以 图 的 结 点 数 |V| 
ADWARE | 作为 输入 的 规模 。 也 就 是 说 ， 我 们 用 的 是 两 个 参数 ， 而 不 
是 一 个 参数 ， 来 描述 输入 的 规模 。 对 这 些 参数 ， 我 们 采用 通常 的 约定 来 进 
行 表 述 。 在 渐 近 记号 (如 大 O 表示 或 大 8 表示) 中 ， 也 仅 当 在 此 种 表示 法 
E, 符号 V 代 表 |V|1, 符号 EE 代表 |E|。 例如 ,我 们 可 以 说 ,“ 某 算法 运 
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行 的 时 间 为 O(VE) ”， 意 味 着 算法 运行 的 时 间 为 O( 1V| | 无 | )。 这 种 约定 使 运行 时 间 的 表达 式 更 
容易 被 理解 ， 而 又 不 会 产生 模糊 性 。 
本 书 采用 的 男 一 种 约定 涉及 伪 代 码 。 本 书 用 G. V 来 表示 图 G 的 结 点 集 ， 用 G. ERREG 的 
边 集合 。 也 就 是 说 ， 在 伪 代 码 中 ,我 们 将 结 点 和 边 看 做 是 图 的 属性 。 
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本 章 将 介绍 图 的 表示 和 图 的 搜索 。 图 的 搜索 指 的 是 系统 化 地 跟随 图 中 的 边 来 访问 图 中 的 每 
个 结 点 。 图 搜索 算法 可 以 用 来 发 现 图 的 结构 。 许 多 的 图 算法 在 一 开始 都 会 先 通过 搜索 来 获得 图 
的 结构 ， 其 他 的 一 些 图 算法 则 是 对 基本 的 搜索 加 以 优化 。 可 以 说 ， 图 的 搜索 技巧 是 整个 图 算法 领 
域 的 核心 。 

22. 1 节 对 图 的 两 种 最 常见 的 计算 机 表示 法 进行 讨论 。 这 两 种 表示 法 分 别 是 邻接 链表 和 邻接 
矩阵 。22. 2 节 讲解 一 种 简单 的 图 搜索 算法 ， 称 为 广度 优先 搜索 ， 并 演示 如 何 创建 一 棵 广度 优先 
树 。22. 3 节 讲 解 深 度 优先 搜索 ， 同 时 对 此 种 搜索 所 访问 的 结 点 之 间 的 次 序 进行 讨论 ， 并 对 这 方 
面 的 一 些 标准 结果 进行 证 明 。22. 4 节 给 出 深度 优先 搜索 的 一 个 实际 应 用 : 有 向 无 环 图 中 的 拓扑 
排序 。22. 5 节 则 讨论 深度 优先 搜索 的 另 一 个 实际 应 用 : 在 有 向 图 中 计算 强 连通 分 量 。 


22.1 图 的 表示 

对 于 图 G = (V,E) ， 可 以 用 两 种 标准 表示 方法 表示 。 一 种 表示 法 将 图 作为 邻接 链表 的 组 合 ， 
另 一 种 表示 法 则 将 图 作为 邻接 矩阵 来 看 待 。 两 种 表示 方法 都 既 可 以 表示 无 向 图 ， 也 可 以 表示 有 
向 图 。 邻 接 链表 因为 在 表示 稀疏 图 ( 边 的 条 数 | 忆 | 远 远 小 于 |V| 的 图 ) 时 非常 紧凑 而 成 为 通常 的 
选择 。 本 书 给 出 的 多 数 图 算法 都 假定 作为 输入 的 图 是 以 邻接 链表 方式 进行 表示 的 。 不 过 ， 在 稠密 
图 (| 五 | 接近 |V| 的 图 ) 的 情况 下 ， 我 们 可 能 倾向 于 使 用 邻接 矩阵 表示 法 。 另 外 ， 如 果 需 要 快速 
判断 任意 两 个 结 点 之 间 是 否 有 边 相 连 ， 可 能 也 需要 使 用 邻接 矩阵 表示 法 。 例 如 ， 第 25 章 将 讨论 
的 最 短路 径 算 法 中 的 两 种 算法 都 以 邻接 矩阵 来 表示 图 。 

对 于 图 G= (VE) 来 说 ， 其 邻接 链表 表示 由 一 个 包含 |V| 条 链表 的 数组 Adj 所 构成 ， 每 个 
结 点 有 一 条 链表 。 对 于 每 个 结 点 uCV, BRR Adj[uj 包 含 所 有 与 结 点 u 之 间 有 边 相连 的 结 点 
v, Bl Adj[Luj 包 含 图 G 中 所 有 与 邻接 的 结 点 (也 可 以 说 ， 该 链表 里 包含 指向 这 些 结 点 的 指针 ) 。 
由 于 邻接 链表 代表 的 是 图 的 边 ， 在 伪 代 码 里 ， 我 们 将 数组 Adj 看 做 是 图 的 一 个 属性 ， 就 如 我 们 
将 边 集合 EE 看 做 是 图 的 属性 一 样 。 因此， 在 伪 代 码 里 ,我 们 将 看 到 G. Adj[uj 这 样 的 表示 。 
图 22-1(a) 给 出 的 是 一 个 无 向 图 ， 图 22-1(b) 给 出 的 是 图 22-1(a) 的 邻接 链表 表示 。 类 似 地 ， 
图 22-2(b) 给 出 的 是 图 22-2(a) 的 有 向 图 的 邻接 链表 表示 。 





tn 和 一 





(a) (b) Ce) 
图 22-1 无 向 图 的 两 种 表示 。(a) 一 个 有 5 个 结 点 和 7 条 边 的 无 向 图 G。(b)G 的 邻接 链表 表示 。 
COG 的 邻接 矩阵 表示 


如 果 G 是 一 个 有 向 图 ， 则 对 于 边 (u，v) 来 说 ， 结 点 v 将 出 现在 链表 Adj[uj 里 ， 因 此 ， 所 有 
邻接 链表 的 长 度 之 和 等 于 |E| 。 如 果 G 是 一 个 无 向 图 ， 则 对 于 边 (u，vw) 来 说 ， 结 点 v 将 出 现在 链 
表 Adj[uj] 里 , 结 点 将 出 现在 链表 Adj[v] 里 ， 因 此 ， 所 有 邻接 链表 的 长 度 之 和 等 于 2|E|。 但 
不 管 是 有 向 图 还 是 无 向 图 ， 邻 接 链 表 表 示 法 的 存储 空间 需求 均 为 6(V 十 E)， 这 正 是 我 们 所 希望 
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图 22-2 ”有 向 图 的 两 种 表示 。(a) 一 个 有 6 个 结 点 和 8 条 边 的 有 向 图 C。(b)G 的 邻接 链表 表示 。 
COG 的 邻接 矩阵 表示 

对 邻接 链表 稍 加 修改 ， 即 可 以 用 来 表示 权重 图 。 权 重 图 是 图 中 的 每 条 边 都 带 有 一 个 相关 的 
权重 的 图 。 该 权重 值 通常 由 一 个 w: ER 的 权重 函数 给 出 。 例 如 ， 设 G= 〈(V, 正 ) 为 一 个 权重 
图 ， 其 权重 函数 为 ww， 我 们 可 以 直接 将 边 (u,v) E EMRE wl (u,v) 存放 在 结 点 x 的 邻接 链表 
里 。 从 这 种 意义 上 说 ， 邻 接 链 表 表 示 法 的 鲁 棒 性 很 高 ， 可 以 对 其 进行 简单 修改 来 支持 许多 其 他 的 
图 变种 。 

邻接 链表 的 一 个 潜在 缺陷 是 无 法 快速 判断 一 条 边 (x，z) 是 否 是 图 中 的 一 条 边 ， 唯 一 的 办 法 是 
在 邻接 链表 Adj[uj 里 面 搜索 结 点 v。 邻 接 矩 阵 表示 则 克服 了 这 个 缺陷 ， 但 付出 的 代价 是 更 大 的 
存储 空间 消耗 (存储 空间 的 渐 近 数量 级 更 大 )( 关 于 如 何在 邻接 链表 上 进行 快速 边 搜索 的 信息 ， 请 
参阅 练习 22. 1-8) 。 

对 于 邻接 矩阵 表示 来 说 ， 我 们 通常 会 将 图 G 中 的 结 点 编 为 1，2，…，|V| ， 这 种 编号 可 以 
是 任意 的 。 在 进行 此 种 编号 之 后 ， 图 G 的 邻接 矩阵 表示 由 一 个 |V| X |V| 的 矩阵 A = aj) 予以 
表示 ， 该 矩阵 满足 下 述 条 件 ， 





cc) 


Qij 


4 #G,j) EE 


0 ”其 他 
图 22-1(c) 和 图 22-2(c) 分 别 给 出 的 是 图 22-1(a) 的 无 向 图 和 图 22-2(a) 的 有 向 图 的 邻接 矩阵 表示 。 
不 管 一 个 图 有 多 少 条 边 ， 邻 接 矩 阵 的 空间 需求 此 为 OV). 

从 图 22-1(c) 可 以 看 到 ， 无 向 图 的 邻接 矩阵 是 一 个 对 称 和 矩阵 。 由 于 在 无 向 图 中 , Hu, vd 和 
边 ("，z) 是 同一 条 边 ， 无 向 图 的 邻接 矩阵 A 就 是 自己 的 转 置 ， 即 A 王 AI。 在 某 些 应 用 中 ， 可 能 
只 需要 存放 对 角 线 及 其 以 上 的 这 部 分 邻接 矩阵 ( 即 半 个 矩阵 )， 从 而 将 图 存储 空间 需求 减少 几乎 
一 半 。 

与 邻接 链表 表示 法 一 样 ， 邻 接 和 矩阵 也 可 以 用 来 表示 权重 图 。 Ain, WR G= (V,E) 为 一 个 
权重 图 ， 其 权重 函数 为 w， 则 我 们 直接 将 边 (u，v) EE WIE wu, v) 存放 在 邻接 矩阵 中 的 第 zx 
行 第 v 列 记 录 上 。 对 于 不 存在 的 边 ， 则 在 相应 的 行列 记录 上 存放 值 NIL。 不 过 ， 对 于 许多 问题 来 
说 ， 用 0 或 者 cc 来 表示 一 条 不 存在 的 边 可 能 更 为 便捷 。 

虽然 邻接 链表 表示 法 和 邻接 矩阵 表示 法 在 渐 近 意义 下 至 少 是 一 样 空 间 有 效 的 ， 但 邻接 矩阵 
表示 法 更 为 简单 ， 因 此 在 图 规模 比较 小 时 ， 我 们 可 能 更 倾向 于 使 用 邻接 矩阵 表示 法 。 而 且 ， 对 于 
无 向 图 来 说 ， 邻 接 矩 阵 还 有 一 个 优势 : 每 个 记录 项 只 需要 1 位 的 空间 。 

表示 图 的 属性 

对 图 进行 操作 的 多 数 算法 需要 维持 图 中 结 点 或 边 的 某 些 属性 。 这 些 属性 可 以 使 用 通常 的 表 
述 法 来 进行 表示 ， 如 v d 表示 结 点 v 的 属性 d。 当 使 用 一 对 结 点 来 表示 一 条 边 的 时 候 ， 我 们 也 可 
以 使 用 同样 风格 的 表述 。 例 如 ， 如 果 边 有 一 种 属性 f MWA Cu, v) 的 这 种 属性 可 以 表示 为 
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(uy v). f。 对 于 表示 和 理解 算法 而 言 ， 这 种 属性 表述 足够 清晰 。 

不 过 ， 在 算法 的 实际 程序 里 面 实现 结 点 和 边 的 属性 则 完全 是 另外 一 回 事情 。 没 有 什么 最 好 
的 办 法 来 存放 和 访问 结 点 与 边 的 属性 。 对 于 给 定 的 场景 ， 我 们 所 做 出 的 决定 可 能 依赖 于 诸多 因 
K: 所 使 用 的 程序 设计 语言 、 需 要 实现 的 算法 和 程序 中 使 用 图 的 方式 等 因素 。 如 果 使 用 邻接 链表 
来 表示 图 ， 一 种 可 能 的 方法 是 使 用 额外 的 数组 来 表示 结 点 属性 ， 如 一 个 与 Adj 数组 相对 应 的 数 


组 ad[l. 


. |V|]。 如 果 与 邻接 的 结 点 都 在 Adj[uj 中 ， 则 属性 u.d 将 存放 在 数组 项 dLu] 里 。 还 有 


许多 其 他 方法 可 以 用 来 实现 属性 的 表示 。 例 如 ， 在 面向 对 象 的 程序 设计 语言 里 ， 结 点 属性 可 以 表 
示 为 Vertex 类 下 面 的 一 个 子 类 中 的 实例 变量 。 


练习 


22. 1-1 
22. 1-2 


22. 1-3 


22. 1-4 


22.145 


22. 1-6 


22. 1-7 


22. 1-8 


22.2 


给 定 有 向 图 的 邻接 链表 ， 需 要 多 长 时 间 才 能 计算 出 每 个 结 点 的 出 度 ( 发 出 的 边 的 条 数 )? 
多 长 时 间 才 能 计算 出 每 个 结 点 的 入 度 ( 进 入 的 边 的 条 数 )? 
给 定 一 棵 有 7 个 结 点 的 完全 二 又 树 的 邻接 链表 ， 请 给 出 等 价 的 邻接 矩阵 表示 。 这 里 假设 
结 点 的 编号 为 从 1 一 7。 
有 向 图 G = (V,E) 的 转 置 是 图 GT = (V,E") , XE E = ((v,u) E VXV: (u,v) € E}. 
因此 ， 图 G7 就 是 将 有 向 图 G 中 所 有 边 的 方向 反 过 来 而 形成 的 图 。 对 于 邻接 链表 和 邻接 
矩阵 两 种 表示 ， 请 给 出 从 图 G 计 算出 GT 的 有 效 算法 ， 并 分 析 算 法 的 运行 时 间 。 
RELA G=(V,E) 的 邻接 链表 (多 图 是 允许 重复 边 和 自 循环 边 的 图 )， 请 给 出 一 个 时 间 
为 O(V 十 EE) 的 算法 ， 用 来 计算 该 图 的 “等 价 ” 无 向 图 G' = (V,E') 的 邻接 链表 表示 。 这 
里 EE 是 将 玉 中 的 元 余 边 和 自 循环 边 删 除 后 余下 的 边 。 删 除 元 余 边 指 的 是 将 两 个 结 点 之 
间 的 多 条 边 替 换 为 一 条 边 。 
有 向 图 G = (V,E) 的 平方 图 是 图 G: = (VE), x8, W (u,v) € E 当 且 仅 当 图 G 包 
含 一 条 最 多 由 两 条 边 构 成 的 从 x 到 的 路 径 。 请 给 出 一 个 有 效 算 法 来 计算 图 G 的 平方 图 
G?*。 这 里 图 G 既 可 以 以 邻接 链表 表示 ， 也 可 以 以 邻接 矩阵 表示 。 请 分 析 算 法 的 运行 
时 间 。 
多 数 以 邻接 矩阵 作为 输入 的 图 算法 的 运行 时 间 为 AV) ， 但 也 有 例外 。 给 定 图 G 的 邻 
接 矩 阵 表 示 ， 请 给 出 一 个 OV) 时 间 的 算法 来 判断 有 向 图 G 是 否 存在 一 个 通用 汇 点 
(universal sink) 。 通 用 汇 点 指 的 是 入 度 为 |V| 一 1 但 出 度 为 0 的 结 点 。 
有 向 无 环 图 G = (V,E) 的 关联 矩阵 (incidence matrix) 是 一 个 满足 下 述 条 件 的 |V| XIE] 
RE B= (b; ) : 

by =41 如 果 边 7 进入 结 点 i 
0 其 他 
请 说 明和 矩阵 乘积 BB" 里 的 每 一 个 元 素 代表 什么 意思 。 这 里 BT 是 矩阵 B 的 转 置 。 
假定 数组 Adj[uj 的 每 个 记录 项 不 是 链表 ， 而 是 一 个 散 列表 ， 里面 包含 的 是 (u,v) € E 
的 结 点 v。 如 果 每 条 边 被 查询 的 概率 相同 ， 则 判断 一 条 边 是 否 在 图 中 的 期 望 时 间 值 是 多 
少 ? 这 种 表示 方式 的 缺陷 是 什么 ? 请 为 每 条 边 链 表 给 出 一 个 不 同 的 数据 结构 来 解决 这 个 
问题 。 与 散 列表 相 比较 ， 你 所 给 出 的 新 方法 存在 什么 缺陷 吗 ? 


广度 优先 搜索 


| 如 果 边 7 从 结 点 i 发 出 


广度 优先 搜索 是 最 简单 的 图 搜索 算法 之 一 ， 也 是 许多 重要 的 图 算法 的 原型 。Prim 的 最 小 生 
成 树 算法 (请 参见 23. 2 节 ) 和 Dijkstra 的 单 源 最 短路 径 算法 (请 参见 24. 3 节 ) 都 使 用 了 类 似 广 度 优 
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先 搜 索 的 思想 。 

AER G= (V, E) 和 一 个 可 以 识别 的 源 结 点 *， 广 度 优先 搜索 对 图 G 中 的 边 进行 系统 性 的 探 
索 来 发 现 可 以 从 源 结 点 s 到 达 的 所 有 结 点 。 该 算法 能 够 计算 从 源 结 点 s 到 每 个 可 到 达 的 结 点 的 距 
离 ( 最 少 的 边 数 )， 同 时 生成 一 棵 “广度 优先 搜索 树 ”。 该 树 以 源 结 点 s 为 根 结 点 ， 包 含 所 有 可 以 从 
s 到 达 的 结 点 。 对 于 每 个 从 源 结 点 s 可 以 到 达 的 结 点 v， 在 广度 优先 搜索 树 里 从 结 点 s 到 结 点 wv 的 
简单 路 径 所 对 应 的 就 是 图 G 中 从 结 点 s 到 结 点 v 的 “最 短路 径 >， 即 包含 最 少 边 数 的 路 径 。 该 算法 
既 可 以 用 于 有 向 图 ， 也 可 以 用 于 无 向 图 。 

广度 优先 搜索 之 所 以 如 此 得 名 是 因为 该 算法 始终 是 将 已 发 现 结 点 和 未 发 现 结 点 之 间 的 边界 ， 
沿 其 广度 方向 向 外 扩展 。 也 就 是 说 ,算法 需要 在 发 现 所 有 距离 源 结 点 * 为 & 的 所 有 结 点 之 后 ， 才 
会 发 现 距 离 源 结 点 s 为 十 1 的 其 他 结 点 。 

为 了 跟踪 算法 的 进展 ， 广 度 优先 搜索 在 概念 上 将 每 个 结 点 涂 上 白色 、 灰 色 或 黑色 。 所 有 结 
点 在 一 开始 的 时 候 均 涂 上 白色 。 在 算法 推进 过 程 中 ， 这 些 结 点 可 能 会 变 成 灰色 或 者 黑色 。 在 搜 
索 过 程 中 ， 第 一 次 遇 到 一 个 结 点 就 称 该 结 点 被 “发 现 ”， 此 时 该 结 点 的 颜色 将 发 生 改 变 。 因 此 ， 
凡是 灰色 和 黑色 的 结 点 都 是 已 被 发 现 的 结 点 。 但 广度 优先 搜索 对 灰色 和 黑色 结 点 加 以 区 别 ， 以 
确保 搜索 按照 广度 优先 模式 进行 推进 ? 。 如 果 边 (u,v) E EE 且 结 点 4 是 黑色 ， 则 结 点 v 既 可 能 
是 灰色 也 可 能 是 黑色 。 也 就 是 说 ， 所 有 与 黑色 结 点 邻接 的 结 点 都 已 经 被 发 现 。 对 于 灰色 结 点 来 
说 ， 其 邻接 结 点 中 可 能 存在 未 被 发 现 的 白色 结 点 。 灰 色 结 点 所 代表 的 就 是 已 知 和 未 知 两 个 集合 
之 间 的 边界 。 

在 执行 广度 优先 搜索 的 过 程 中 将 构造 出 一 棵 广度 优先 树 。 一 开始 ， 该 树 仅 含有 根 结 点 ， 就 是 
源 结 点 ;s。 在 扫描 已 发 现 结 点 u 的 邻接 链表 时 ， 每 当 发 现 一 个 白色 结 点 w， 就 将 结 点 v 和 边 
(u， 劝 同时 加 入 该 棵 树 中 。 在 广度 优先 树 中 ， 称 结 点 u 是 结 点 wv 的 前 驱 或 者 父 结 点 。 由 于 每 个 结 
点 最 多 被 发 现 一 次 ， 它 最 多 只 有 一 个 父 结 点 。 广 度 优先 树 中 的 祖先 和 后 代 关 系 皆 以 相对 于 根 结 
点 5 的 位 置 来 进行 定义 : 如 果 结 点 & 是 从 根 结 点 到 结 点 的 简单 路 径 上 的 一 个 结 点 ， 则 结 点 u 
是 结 点 wv 的 祖先 ， 结 点 v 是 结 点 4 的 后 代 。 

在 下 面 给 出 的 广度 优先 搜索 过 程 BFS 中 ,假定 输入 图 G 二 (V，E) 是 以 邻接 链表 所 表示 的 。 
该 算法 为 图 中 每 个 结 点 赋予 了 一 些 额 外 的 属性 : 我 们 将 每 个 结 点 的 颜色 存放 在 属性 u. color 里 ， 
HE u 的 前 驱 结 点 存放 在 属性 u. 里。 如 果 没 有 前 驱 结 点 (例如 ， 如 果 us MAG u 尚未 被 发 
现 )， 则 u. x 三 NIL。 属 性 u. d 记录 的 是 广度 优先 搜索 算法 所 计算 出 的 从 源 结 点 s 到 结 点 4 之 间 的 
距离 。 该 算法 使 用 一 个 先进 先 出 的 队列 Q( 请 参见 10. 1 节 ) 来 管理 灰色 结 点 集 。 

BFS(G, s) 

1 for each vertex u E€ G. V — {s} 

2 u. color = WHITE 
3 u.d = co 
4 u.x = NIL 
5s. color = GRAY 
6 sd 一 0 
7 s.x = NIL 
8 Q=2 
9 ENQUEUE(Q, s) 
10 while Q Æ Ø 


ORT RT IR GALA E AMAK A AER R ERER AR my ST. WKE, WME 22. 2-3 所 示 ， 


即使 不 对 这 两 种 颜色 的 结 点 进行 区 分 ， 获 得 的 结果 仍然 是 相同 的 。 
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11 u = DEQUEUE(Q) 
12 for each v € G. AdjLu] 


13 if v. color == WHITE 
14 v. color = GRAY 
15 vd 一 xd 十 1 
16 ur=u 

17 ENQUEUE(Q, v) 


18 u. color = BLACK 


图 22-3 描述 的 是 BFS 在 一 个 样本 图 上 的 推进 过 程 。 


Ce 


v w x y U w x y v w x y 
(d) (é) (f) 
t r s t u r s t u 
Q [uly 2 PI Og 
33 3 
w x v w x y w x 
(g) Ch) ci) 


图 22-3 BFS 在 无 向 图 上 的 运行 过 程 。 添 加 了 阴影 的 边 是 被 BFS 发 现 的 边 。 每 个 结 点 x 里 面 记 录 的 是 
u.d 的 值 。 图 中 还 给 出 了 在 算法 第 10 一 18 行 的 while 循环 每 次 开始 时 的 队列 Q 的 内 容 。 结 点 距 
离 标记 在 队列 相应 结 点 的 下 方 


过 程 BFS 的 工作 过 程 如 下 。 除 了 源 结 点 以外， 算法 的 第 1 一 4 行将 所 有 结 点 涂 上 白色 ， 将 
每 个 结 点 u Wu. d 属性 设置 为 无 穷 ， 将 每 个 结 点 的 父 结 点 设置 为 NIL。 第 5 行将 源 结 点 * 涂 上 灰 
色 ， 因 为 该 结 点 在 算法 开始 时 已 被 发 现 。 第 6 行将 sd 初始 化 为 0， 第 7 行将 源 结 点 s 的 前 驱 设 
置 为 NIL。 第 8 一 9 行 对 队列 Q 进 行 初始 化 ， 该 队列 的 初始 状态 仅 包含 源 结 点 so 

算法 第 10 一 18 行 的 while 循环 一 直 执行 到 图 中 不 再 有 灰色 结 点 时 结束 。 如 前 所 示 ， 灰 色 结 点 
指 的 是 已 被 发 现 的 结 点 ， 但 其 邻接 链表 尚未 被 完全 检查 。 该 while 循环 的 不 变 式 如 下 : 

在 算法 第 10 行 的 测试 中 ， 队 列 Q 里 面包 含 的 是 灰色 结 点 集合 。 

虽然 我 们 不 打算 使 用 循环 不 变 式 来 证 明 算法 的 正确 性 ， 但 容易 看 出 ， 该 不 变 式 在 第 1 次 循环 
前 成 立 ， 且 每 次 循环 过 程 都 维持 该 不 变 式 的 成 立 。 在 第 1 次 循环 开始 之 前 ， 唯 一 的 灰色 结 点 ， 也 
是 队列 Q 里 面 的 唯一 结 点 ， 是 源 结 点 *。 算 法 第 11 行 取出 队列 Q 的 队 头 结 点 zx， 将 其 从 队列 中 删 
除 。 第 12 一 17 行 的 for 循环 对 结 点 u 的 邻接 链表 中 的 每 个 结 点 " 进行 考察 。 如 果 结 点 v 是 白色 
的 ， 则 该 结 点 尚未 被 发 现 ， 算 法 执行 第 14 一 17 行 的 程序 来 发 现 该 结 点 : 算法 将 结 点 v 涂 上 灰色 ， 
将 其 距离 v d 设置 为 u. dtl, HEKRA u 记录 为 结 点 v 的 父 结 点 v.x， 将 其 插入 队列 Q 的 末 
尾 。 算 法 在 检查 完结 点 u 的 邻接 链表 里 的 所 有 结 点 后 将 4 涂 上 黑色 (第 18 行 )。 由 于 一 个 结 点 在 
涂 上 灰色 (第 14 行 ) 的 同时 被 加 入 队列 Q 中 (第 17 行 )， 而 结 点 在 从 队列 里 删除 (第 11 行 ) 的 同时 
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被 涂 上 黑色 (第 18 行 )， 所 以 我 们 前 面 给 出 的 循环 不 变 式 一 直 得 到 保持 。 

广度 优先 搜索 的 结果 可 能 依赖 于 对 每 个 结 点 的 邻接 结 点 的 访问 顺序 (第 12 行 ): 广度 优先 树 
可 能 会 不 一 样 ,但 本 算法 所 计算 出 来 的 距离 d 都 是 一 样 的 。( 请 参阅 练习 22. 2-5.) 

分 析 

在 证 明 广度 优先 搜索 算法 的 各 种 性 质 前 ,我们 先 来 分 析 该 算法 的 运行 时 间 。 在 这 里 ， 我 们 将 
使 用 17. 1 节 介绍 的 聚合 分 析 。 在 初始 化 操作 结束 后 ， 广 度 优 先 搜 索 不 会 再 给 任何 结 点 涂 上 白色 ， 
因此 ， 第 13 行 的 测试 可 以 确保 每 个 结 点 的 人 队 次 数 最 多 为 一 次 ， 因 而 出 队 最 多 一 次 。 和 人 队 和 出 
队 的 时 间 均 为 O(1) ， 因 此 ， 对 队列 进行 操作 的 总 时 间 为 OV) 。 因 为 算法 只 在 一 个 结 点 出 队 的 
时 候 才 对 该 结 点 的 邻接 链表 进行 扫描 ， 所 以 每 个 邻接 链表 最 多 只 扫描 一 次 。 由 于 所 有 邻接 链表 
的 长 度 之 和 是 BCE) ， 用 于 扫描 邻接 链表 的 总 时 间 为 OE) 。 初 始 化 操作 的 成 本 是 OC(V) ， 因 此 
广度 优先 搜索 的 总 运行 时 间 为 OV +E) 。 因 此 ， 广 度 优先 搜索 的 运行 时 间 是 图 G 的 邻接 链表 大 
小 的 一 个 线性 函数 。 

最 短路 径 

在 本 节 开 始 的 时 候 ， 我 们 曾 说 过 ， 广 度 优 先 搜索 能 够 找 出 从 给 定 源 结 点 ;SEV 到 所 有 可 以 到 
达 的 结 点 之 间 的 距离 。 我 们 定义 从 源 结 点 s 到 结 点 v 的 最 短路 径 距离 Go) 为 从 结 点 s BIZ o 
之 间 所 有 路 径 里 面 最 少 的 边 数 。 如 果 从 结 点 s 到 结 点 v 之 间 没 有 路 径 ， 则 6(s,v) = ce 。 我 们 称 

597] MARA s 到 结 点 wv 的 长 度 为 6(s,v) 的 路 径 为 > 到 的 最 短路 径 S 。 在 证 明 广 度 优先 搜索 可 以 正确 

计算 出 最 短路 径 距 离 之 前 ， 我 们 先 来 讨论 最 短路 径 距 离 的 一 个 重要 性 质 。 

引 理 22. 1 #2 G=(V,E), 为 一 个 有 向 图 或 无 向 图 ， 设 5SEV 为 任意 结 点 ， 则 对 于 任意 
(lu, vEE, Ms, Kls, uw) +1. 

证 明 如 果 结 点 x 是 可 以 从 源 结 点 s 到 达 的 结 点 ， 则 wv 也 是 从 s 可 以 到 达 的 结 点 。 在 这 种 情 
况 下 ， 从 源 结 点 s 到 结 点 v 的 最 短路 径 距 离 不 可 能 比 从 s 到 xz 的 最 短路 径 距 离 加 上 边 (x，z) 更 长 ， 


因此 ， 上 述 不 等 式 成 立 。 如 果 结 点 AAEM s 到达 ， 则 8(s,z) = co ， 不 等 式 显然 成 立 。 加 
我 们 现在 来 证 明 BFS 能 够 正确 计算 出 每 个 结 点 v€EV 的 v.d = 6(s,v) 。 首 先 证 明 v d 是 
d(s,v) 的 一 个 上 界 。 


引 理 22.2 设 G=(V,E) 为 一 个 有 向 图 或 无 向 图 ， ME BFS 以 给 定 结 点 SEV 作为 源 结 点 在 
图 G 上 运行 。 那 么 在 BFS 终结 时 ， 对 于 每 个 结 点 vEV，BFS 所 计算 出 的 vd iR ov d> 
0(s,v) 。 

证 明 ”我 们 通过 对 算法 里 面 ENQUEUE 操作 的 次 数 进行 归纳 来 证 明 本 引 理 。 我 们 的 归纳 假 
BRE: 对 于 所 有 的 结 点 VEV, v.d > 6(5,v) 。 

归纳 的 基础 是 BFS 在 第 9 行将 源 结 点 s 加 入 队列 Q 后 的 场景 。 此 时 ， 因 为 s.d=0=Xs, s), 
并 且 对 于 所 有 的 结 点 v€E V—{s},ud=coS>Xs,v) ， 所 以 归纳 假设 成 立 。 

对 于 归纳 步 ， 考 虑 从 结 点 u 进行 邻接 链表 搜索 时 所 发 现 的 白色 结 点 v。 根 据 归 纳 假设 ， 有 
u.d > 6(s,u) 。 从 算法 第 15 行 的 赋值 操作 和 引 理 22. 1 可 知 ， 

vd=udt1eHs,u)+1>HXs,v) 

结 点 v 在 这 之 后 被 加 入 到 队列 Q 里 ， 并 且 因 为 在 人 队 时 涂 上 灰色 而 不 会 再 次 人 队 ， 因 此 ， 第 
14 一 17 行 的 then 子 句 仅 在 白色 结 点 上 执行 。 所 以 ，w. d 的 值 不 再 会 发 生变 化 ， 我 们 的 归纳 假设 
成 立 。 a 

WWE v. d = 6(s,v) ， 首 先 需 要 更 加 精确 地 研究 队列 Q 在 BFS 过 程 中 是 如 何 操作 的 。 下 面 

的 引 理 将 证 明 在 任意 时 刻 ， 队 列 里 面 最 多 包含 两 个 不 同 的 d 值 。 i 


O 在 第 24 章 和 第 25 章 中 ， 我们 将 把 对 最 短路 径 的 研究 推广 到 权重 图 上 。 在 权重 图 里 ， 每 条 边 都 有 一 个 实数 权重 ， 
一 条 路 径 的 权重 是 组 成 该 路 径 的 所 有 边 的 权重 之 和 。 本 章 所 讨论 的 图 为 无 权重 图 ， 即 所 有 边 的 权重 为 单位 权重 。 
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引 理 22.3 Me BFSABG=(V,E) 上 运行 的 过 程 中 ， 队 列 QASHBRACYs ws os 
vu), ŽE u RUF) Qk, v AAF Q 的 尾 。 那 么 udu. dtl, 并 且 对 于 zi 一 1，2，…， 
r—1, ve dvi do 

证 明 ”我 们 仍然 通过 对 算法 里 面 人 队 操 作 的 次 数 进行 归纳 来 证 明 本 引 理 。 在 初始 情况 下 ， 
队列 Q 里 仅 包 含 源 结 点 s， 引 理 直 接 成 立 。 

对 于 归纳 步 ， 我 们 必须 证 明 在 人 队 和 出 队 操 作 时 ， 引 理 都 成 立 。 如 果 头 结 点 wm BOR, v 
将 变 为 队列 里 新 的 头 结 点 (如 果 队 列 在 删除 头 结 点 后 为 空 ， 则 引 理 直接 成 立 ) 。 根 据 归 纳 假设 ， 我 
们 有 ww.d 三 w. d。 但 是 我 们 有 v. dSn. d 十 1 三 ww. d 十 1， 且 余下 的 不 等 式 不 受 影 响 。 因 此 ,在 
v 为 头 结 点 时 引 理 依然 成 立 。 

为 了 理解 在 将 一 个 结 点 加 入 队列 时 发 生 了 什么 事情 ， 我 们 需要 对 算法 进行 更 加 细致 的 检 
查 。 在 算法 的 第 17 行将 结 点 ww 加 入 队列 Q 时 ， 该 结 点 成 为 结 点 wii。 在 这 个 时 候 ， 我 们 已 经 删 
除了 结 点 w， 并 正在 对 该 结 点 的 邻接 链表 进行 检查 。 根 据 归 纳 假 设 ， 新 的 头 结 点 满足 wm. d> 
u.d, WIE, v+. d=v. d=u. d 十 1 过 ww. d 十 1。 根 据 归 纳 假设 ， 我们 还 有 v..d<u.d+1, Al, 
v. du. d 十 1 二 vd 二 vn.d， 余 下 的 不 等 式 不 受 影响 。 因 此 ， 当 结 点 v 加 入 队列 时 引 理 仍然 
成 立 。 a 

下 面 的 推论 表明 ， 在 结 点 加 和 人 到 队列 时 ，& 值 随时 间 推 移 单 调 增长 。 

推论 22.4 假定 在 执行 BFS 时 ， 结 点 u 和 结 点 v; 都 加 入 到 队列 Q@ 里 ， 并 且 wv 在 v; WHA 
队 ， 则 在 vw 入 队 时 ， AMA v;.d<v,.d. 

证 明 根据 引 理 22. 3， 以 及 每 个 结 点 获得 的 d 值 都 是 有 限 的 且 BFS 过 程 中 最 多 只 取 一 次 d 
值 的 性 质 ， 可 以 立即 得 到 推论 22. 4。 a 

我 们 现在 可 以 来 证 明 广度 优先 搜索 算法 能 够 正确 计算 出 最 短路 径 距 离 。 

定理 22. 5( 广 度 优先 搜索 的 正确 性 ) 设 G= (V,E) 为 一 个 有 向 图 或 无 向 图 ， 又 假设 BFS 以 
5 为 源 结 点 在 图 G 上 运行 。 那 么 在 算法 执行 过 程 中 ，BFS 将 发 现 从 源 结 点 可 以 到 达 的 所 有 结 
点 wEV， 并 在 算法 终止 时 ， 对 于 所 有 的 vEV, vd 二 6(s,v) 。 而 有 全， 对 于 任意 可 以 从 到 达 的 
结 点 v 了 闫 5s， 从 源 结 点 5 到 结 点 ov 的 其 中 一 条 最 短路 径 为 从 结 点 s 到 结 点 v.xt 的 最 短路 径 再 加 上 
Cu. rs V6 

证 明 我们 使 用 反 证 法 来 证 明 本 定理 ， 假 定 某 些 结 点 获取 的 4 值 并 不 等 于 其 最 短路 径 距 离 。 
设 v 为 这 样 一 个 结 点 ， 则 其 最 短路 径 距 离 为 6(s,v) ， 而 其 所 取得 的 a 值 不 等 于 该 数值 ， 显 然 
zz#s。 根 据 引 理 22. 2, v.d > 6(s,v) ， 因 此 有 v.d 之 6(s,v) 。 另 外 ， 结 点 wv 必 定 是 从 s 可 以 到 达 
的 ， 因 为 如 果 不 是 这 样 ， 则 将 出 现 6(s,v) =o Dud. hu RE As 到 结 点 v 的 最 短路 径 上 
结 点 v 的 直接 前 驱 结 点 ， 则 6Cs,v) = lsu) 十 1 。 因 为 SGs,z) 二 6(Cs,v) ， 并 且 因 为 我 们 对 结 点 v 
的 选择 ， 所 以 有 u. d= 二 6(s，w)。 将 这 些 分 析 合 并 起 来 有 : 

v.d >6(s,v) = Ms,u)+l1=ud+l (22415 
我 们 现在 来 考虑 BFS 选择 将 结 点 v 从 队列 Q@ 里 取出 的 时 间 ( 第 11 行 )。 在 这 个 时 候 ， 结 点 v 可 以 
是 任何 颜色 。 而 我 们 将 证 明 ， 在 每 种 情况 下 ( 即 不 管 v 是 何 种 颜色 的 结 点 )， 我 们 都 将 导出 与 不 等 
式 (22.1) 巴 盾 的 情形 。 如 果 v 是 白色 结 点 ， 则 算法 的 第 15 行将 设置 v. d= 二 u. d 十 1， 这 与 不 等 式 
(22. DF. WR vv 是 黑色 ， 则 该 结 点 已 经 从 队列 里 删除 ， 根 据 推论 22.4, 我们 有 vdu. d, 
再 次 与 不 等 式 (22. DFA. WR v EKE, M o FERDA A w 出 队 时 被 涂 上 灰色 的 ， 而 结 点 ww 
在 结 点 之 前 出 队 ， 并 且 ud=w.dt+1, MEH 22.4, wd<ud, AKA ud=wdtl< 
u. d 十 1， 这 再 次 与 不 等 式 (22. 1) 相 矛盾 。 

因此 ， 我 们 得 出 结论 ， 对 于 所 有 的 VEV, v.d = 6(s,v) 。 所 有 从 s 可 以 到 达 的 结 点 都 必定 
被 发 现 ， 和 否则 将 有 =v. da 二 6(Gs,o) 。 而 要 获得 最 终 的 结论 ， 只 要 注意 到 如 果 wv. x 一 wx， 则 vw d= 
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u. d 十 1。 因 此 ， 通 过 将 从 源 结 点 * 到 结 点 v. n 的 最 短路 径 加 上 边 (v.x，v)， 我 们 即 可 以 获得 从 源 
结 点 s 到 结 点 wv 的 最 短路 径 。 m 
广度 优先 树 。 

过 程 BFS 在 对 图 进行 搜索 的 过 程 中 将 创建 一 棵 广度 优先 树 ， 如 图 22-3 所 示 。 该 棵 树 对 应 的 
是 x 属性 。 更 形式 化 地 说 ， 对 于 图 G = VD 和 源 结 点 ;s， 我 们 定义 图 G 的 前 驱 子 图 为 G, = 
(V.，E.)， 其 中 V.=={vE€EV: v.cANIL} U{s}, E.={(v.x, v): vEV,—{s}}. 

如 果 V, 由 从 源 结 点 s 可 以 到 达 的 结 点 组 成 ， 并 且 对 于 所 有 的 vEV-， 子 图 G, 包含 一 条 从 源 
结 点 到 结 点 v 的 唯一 简单 路 径 ， 且 该 路 径 也 是 图 G 里 面 从 源 结 点 * 到 结 点 v 之 间 的 一 条 最 短路 
径 ， 则 前 驱 子 图 G 是 一 棵 广度 优先 树 。 广 度 优 先 树 实际 上 就 是 一 棵 树 ， 因 为 它 是 连通 的 ， 并 且 
| E,| =|V,| 一 1( 请 参阅 本 书 的 定理 B. 2) 。 我 们 称 E, 中 的 边 为 树 边 。 

下 面 的 引 理 表明 BFS 过 程 所 生成 的 前 驱 子 图 是 一 棵 广度 优先 树 。 

引 理 22.6 当 运 行 在 一 个 有 向 或 无 向 图 G 二 (V,E) 上 时 ，BFS 过 程 所 建造 出 来 的 x 属性 使 
MFA G, =V, E) RAR RRA. 

证 明 BFS 在 第 16 行 设置 v. x 二 u 当 且 仅 当 (u，wv) EE 并 且 6(s,v) 一 ce ， 即 如 果 结 点 v 可 
以 从 源 结 点 s BGA, V, 由 从 源 结 点 s 可 以 到 达 的 V 集合 里 面 的 结 点 所 组 成 。 由 于 GG 形成 一 棵 树 ， 
根据 定理 B. 2， 该 树 包含 从 源 结 点 s BV, 集合 里 每 个 结 点 的 一 条 唯一 简单 路 径 。 通 过 递归 应 用 
定理 22. 5， 我 们 可 以 获得 每 条 这 样 的 路 径 也 是 图 G 里 面 的 一 条 最 短路 径 。 图 

下 面 的 伪 代 码 将 打印 出 从 源 结 点 s 到 结 点 v 的 一 条 最 短路 径 上 的 所 有 结 点 ， 这 里 假定 BFS E 
经 计算 出 一 棵 广度 优先 树 。 


PRINT-PATH(G, s,v) 
1 ifv==s 

2 print s 

3 elseif v.x== NIL 

4 print “no path from” s “to” v “exists” 
5 else PRINT-PATH(G, s, v.x) 

6 


print v 


因为 每 次 递归 调用 时 的 路 径 都 比 前 一 次 调用 中 的 路 径 少 一 个 结 点 ， 所 以 该 过 程 的 运行 时 间 
是 关于 所 输出 路 径 上 顶点 数 的 一 个 线性 函数 。 


练习 

22. 2-1 请 计算 出 在 有 向 图 22-2(a) 上 运行 广度 优先 搜索 算法 后 的 4 值 和 x 值 。 这 里 假定 结 点 3 
为 算法 所 用 的 源 结 点 。 

22.2-2 请 计算 出 在 图 22-3 所 示 无 向 图 上 运行 广度 优先 搜索 算法 后 的 d 值 和 x 值 。 这 里 假定 结 点 
u 为 算法 所 用 的 源 结 点 。 


22.2-3 证明: 使 用 单个 位 来 存放 每 个 结 点 的 颜色 即 可 。 这 个 论点 可 以 通过 证 明 将 算法 第 18 行 
的 伪 代 码 删除 后 ，BFS 过 程 生成 的 结果 不 变 来 得 到 。 

22. 2-4 ”如 果 将 输入 的 图 用 邻接 矩阵 来 表示 ， 并 修改 算法 来 应 对 此 种 形式 的 输入 ， 请 问 BFS 的 运 
行 时 间 将 是 多 少 ? 

22. 2-5 证 明 : 在 广度 优先 搜索 算法 里 ， 赋 给 结 点 x AY u. d 值 与 结 点 在 邻接 链表 里 出 现 的 次 序 无 
关 。 使 用 图 22-3 作为 例子 ， 证明: BFS 所 计算 出 的 广度 优先 树 可 以 因 邻 接 链表 中 的 次 
序 不 同 而 不 同 。 

22.2-6 举 出 一 个 有 向 图 G 二 (V，E) 的 例子 ， 对 于 源 结 点 sEV 和 一 组 树 边 下 .已 ， 使 得 对 于 每 
个 结 点 vEV， 图 (V，E.) 中 从 源 结 点 s 到 结 点 v 的 唯一 简单 路 径 也 是 图 G 中 的 一 条 最 短 
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路 径 , 但 是 ， 不 管 邻接 链表 里 结 点 之 间 的 次 序 如 何 ， 边 集 E, 都 不 能 通过 在 图 G 上 运行 
BFS 来 获得 。 

22.2-7 ”职业 摔跤 手 可 以 分 为 两 种 类 型 :“ 娃 娃 脸 ”“* 好 人 ”) 型 和 “高 跟 鞋 ”(“ 坏 人”) 型 。 在 任意 一 
对 职业 摔跤 手 之 间 都 有 可 能 存在 竞争 关系 。 假 定 有 个 职业 摔跤 手 ， 并 且 有 一 个 给 出 竞 
争 关系 的 > 对 摔跤 手 的 链表 。 请 给 出 一 个 时 间 为 O(n 十 7) 的 算法 来 判断 是 否 可 以 将 某 些 
摔跤 手 划分 为 “娃娃 脸型 ， 而 剩 下 的 划分 为 "高跟鞋 型， 使 得 所 有 的 竞争 关系 均 只 存在 
于 娃娃 脸型 和 高 跟 鞋 型 选手 之 间 。 如 果 可 以 进行 这 种 划分 ， 则 算法 还 应 当 生 成 一 种 这 样 
的 划分 。 

*22. 2-8 ”我 们 将 一 棵 树 T= 二 (V，E) 的 直径 定义 为 maxvev6(u，v)， 也 就 是 说 ， 树 中 所 有 最 短路 
径 距 离 的 最 大 值 即 为 树 的 直径 。 请 给 出 一 个 有 效 算法 来 计算 树 的 直径 ， 并 分 析 算 法 的 运 
行 时间 。 

22.2-9 G= (V,E) 为 一 个 连通 无 向 图 。 请 给 出 一 个 OV 十 E) 时 间 的 算法 来 计算 图 G 中 的 一 
条 这 样 的 路 径 : 该 路 径 正 反 向 通过 EE 中 每 条 边 恰好 一 次 (该 路 径 通 过 每 条 边 两 次 ,但 这 
两 次 的 方向 相反 )。 如 果 给 你 大 量 的 分 币 作 为 奖励 ， 请 描述 如 何在 迷宫 中 找 出 一 条 路 。 


22.3 深度 优先 搜索 


深度 优先 搜索 所 使 用 的 策略 就 像 其 名 字 所 隐 含 的 : 只 要 可 能 ， 就 在 图 中 尽量 “深入 ”。 深 度 优 
先 搜索 总 是 对 最 近 才 发 现 的 结 点 v 的 出 发 边 进行 探索 ， 直 到 该 结 点 的 所 有 出 发 边 都 被 发 现 为 止 。 
一 旦 结 点 v 的 所 有 出 发 边 都 被 发 现 ， 搜 索 则 “回溯 ”到 v 的 前 驱 结 点 (wv 是 经 过 该 结 点 才 被 发 现 
的 ) ， 来 搜索 该 前 驱 结 点 的 出 发 边 。 该 过 程 一 直 持 续 到 从 源 结 点 可 以 达到 的 所 有 结 点 都 被 发 现 为 
止 。 如 果 还 存在 尚未 发 现 的 结 点 ， 则 深度 优先 搜索 将 从 这 些 未 被 发 现 的 结 点 中 任 选 一 个 作为 新 
的 源 结 点 ， 并 重复 同样 的 搜索 过 程 。 该 算法 重复 整个 过 程 ， 直 到 图 中 的 所 有 结 点 都 被 发 现 
HIES. 

像 广 度 优 先 搜索 一 样 ， 在 对 已 被 发 现 的 结 点 的 邻接 链表 进行 扫描 时 ， 每 当 发 现 一 个 结 点 v 
时 ， 深 度 优先 搜索 算法 将 对 这 个 事件 进行 记录 ， 将 2 的 前 驱 属性 v. x 设置 为 x。 不 过 ， 与 广度 优 
先 搜索 不 同 的 是 ， 广 度 优先 搜索 的 前 驱 子 图 形成 一 棵 树 ， 而 深度 优先 搜索 的 前 驱 子 图 可 能 由 多 
棵 树 组 成 ， 因 为 搜索 可 能 从 多 个 源 结 点 重复 进行 。 因 此 ， 我 们 给 深度 优先 搜索 的 前 驱 子 图 所 下 的 
定义 与 对 广度 优先 搜索 前 驱 子 图 所 下 的 定义 略 有 不 同 : 设 图 G =V, E), 其 中 E, = {C m, 
v): vEV 且 wv.x 关 NIL)。 深 度 优先 搜索 的 前 驱 子 图 形成 一 个 由 多 棵 深度 优先 树 构 成 的 深度 优先 
RR. FM E. 中 的 边 仍 然 称 为 树 边 。 

像 广 度 优先 搜索 算法 一 样 ， 深 度 优先 搜索 算法 在 搜索 过 程 中 也 是 对 结 点 进行 涂 色 来 指明 结 
点 的 状态 。 每 个 结 点 的 初始 颜色 都 是 白色 ， 在 结 点 被 发 现 后 变 为 灰色 ， 在 其 邻接 链表 被 扫描 完成 
后 变 为 黑色 。 该 方法 可 以 保证 每 个 结 点 仅 在 一 棵 深度 优先 树 中 出 现 ， 因 此 ， 所 有 的 深度 优先 树 是 
不 相交 的 (disjoint) 。 

除了 创建 一 个 深度 优先 搜索 森林 外 ， 深 度 优 先 搜索 算法 还 在 每 个 结 点 盖 上 一 个 时 间 戳 。 每 
个 结 点 有 两 个 时 间 戳 : 第 一 个 时 间 稚 v d 记录 结 点 v 第 一 次 被 发 现 的 时 间 ( 涂 上 灰色 的 时 候 )， 
BARER v f 记录 的 是 搜索 完成 对 wv 的 邻接 链表 扫描 的 时 间 ( 涂 上 黑色 的 时 候 )。 这 些 时 间 截 


日 ”也许 看 上 去 有 点 随意 ， 在 讨论 广度 优先 搜索 算法 时 ， 我 们 将 源 结 点 的 数量 限制 为 一 个 ， 而 深度 优先 搜索 则 可 以 
有 多 个 源 结 点 。 虽 然 从 概念 上 看 ， 广 度 优先 搜索 可 以 从 多 个 源 结 点 开始 搜索 ， 深 度 优先 搜索 也 可 以 限制 为 从 一 
个 源 结 点 开始 ， 但 本 书 所 采取 的 方法 所 反映 的 是 这 些 搜索 结果 是 如 何 被 使 用 的 。 广 度 优 先 搜 索 通 常用 来 寻找 从 
特定 源 结 点 出 发 的 最 短路 径 距 离 (及 其 相关 的 前 驱 子 图 )， 而 深度 优先 搜索 则 常常 作为 另 一 个 算法 里 的 一 个 子 程 
序 ， 我 们 将 在 本 章 后 面 的 时 候 看 到 这 点 。 
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提供 了 图 结构 的 重要 信息 ， 通 常 能 够 帮助 推断 深度 优先 搜索 算法 的 行为 。 

下 面 的 深度 优先 搜索 算法 的 伪 代 码 将 其 发 现 结 点 的 时 刻 记录 在 属性 u. d 中 ， 将 其 完成 对 结 
点 4 处理 的 时 刻 记 录 在 属性 u. f 中 。 因 为 |1V| 个 结 点 中 每 个 结 点 只 能 有 一 个 发 现 事件 和 一 个 完成 
事件 ， 所 以 这 些 时间 惟 都 是 处 于 1 和 2|V | 之 间 的 整数 。 很 显然 ， 对 于 每 个 结 点 w， 我 们 有 : 

ud<u. f (22. 2) 

45 u ENA u. d 之 前 为 白色 ， 在 时 刻 ud flu. f 之 间 为 灰色 ， 在 时 刻 u f 之 后 为 黑色 。 

下 面 的 伪 代 码 给 出 的 是 基本 的 深度 优先 搜索 算法 。 输 入 图 G 既 可 以 是 无 向 图 ， 也 可 以 是 有 
向 图 。 变 量 time 是 一 个 全 局 变量 ， 用 来 计算 时 间 戳 。 


DFS(G) 
l1 for each vertex u € G. V 
2 u. color = WHITE 
3 u.n = NIL 
4 time= 0 
5 for each vertex u € G. V 
6 if u. color == WHITE 
7 DFS-VISIT(G, u) 


DFS-VISIT(G, u) 
l time = time + 1 // white vertex u has just been discovered 
u.d = time 
u. color = GRAY 
for each v € G:Adjlu] // explore edge (u, v) 
if v. color == WHITE 
ur =u 
DFS-VISIT(G, v) 
u. color = BLACK // blacken u; it is finished 


9 time = time + 1 


on fm oH ee BH HS 


10 u.f = time 


图 22-4 描述 的 是 深度 优先 搜索 算法 在 图 22-2 上 运行 的 过 程 。 

DFS 的 运行 过 程 如 下 。 第 1 一 3 行将 所 有 的 结 点 涂 成 白色 ， 将 所 有 结 点 的 r 属 性 设置 为 NIL。 
第 4 行将 全 局 时 间 计 数 器 进行 复位 。 第 5 一 7 行 依次 对 每 个 结 点 进行 检查 。 当 一 个 白色 结 点 被 发 
现时 ， 则 使 用 DFS-VISIT 对 结 点 进行 访问 。 每 次 在 算法 第 7 行 调用 DFS-VISIT(G，z) 时 ， 结 点 zx 
便 成 为 深度 优先 森林 中 一 棵 新 的 深度 优先 树 的 根 结 点 。 当 DFS 算法 返回 时 ， 每 个 结 点 u 都 已 经 
被 赋予 一 个 发 现时 间 u. d 和 一 个 完成 时 间 u. fo 

在 每 次 对 DFS-VISIT(G，w) 的 调用 中 ， 结 点 u 的 初始 颜色 都 是 白色 。 算 法 的 第 1 行将 全 局 
变量 time 的 值 进行 递增 , 第 2 行将 time 的 新 值 记录 为 发 现时 间 u. 4， 第 3 行将 结 点 zx 涂 上 灰色 。 
第 4 一 7 行 对 结 点 的 每 个 邻接 结 点 v 进行 检查 ， 并 在 v 是 白色 的 情况 下 递归 访问 结 点 v。 随 着 每 
个 结 点 vE Adj[uj 在 第 4 行 被 考虑 ,我们 说 深度 优先 搜索 算法 已 经 探索 了 边 (u，v)。 最 后 ， 在 从 
结 点 vx 发 出 的 每 条 边 都 被 探索 后 ， 算 法 的 第 8 一 10 行将 结 点 x 涂 上 黑色 ， 对 变量 time 的 值 进行 
递增 ,， 并 将 完成 时 间 记 录 在 属性 x. f 中 。 

注意 ， 深 度 优先 搜索 的 结果 可 能 依赖 于 算法 DFS 中 第 5 行 对 结 点 进行 检查 的 次 序 和 算法 
DFS-VISIT 的 第 4 行 对 一 个 结 点 的 邻接 结 点 进行 访问 的 次 序 。 不 过 ， 这 些 不 同 的 访问 次 序 在 实际 
中 并 不 会 导致 问题 ， 因 为 我 们 通常 可 以 对 任意 的 深度 优先 搜索 结果 加 以 有 效 利用 ， 并 获得 等 价 
的 结果 。 
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图 22-4 深度 优先 搜索 算法 DFS 在 有 向 图 上 的 运行 过 程 。 随 着 算法 对 边 的 探索 的 推进 ， 这 些 边 或 者 变 
成 有 阴影 的 边 ( 如 果 它 们 是 树 边 )， 或 者 变 为 虚线 边 ( 其 他 情况 )。 非 树 边 则 根据 其 为 后 向 (back) 
边 、 横 向 (cross) 边 或 前 向 (forward) 边 而 分 别 标记 为 B、C 或 上 。 结 点 中 的 时 间 惟 表明 该 结 点 的 
发 现时 间 和 完成 时 间 


DFS 的 运行 时 间 是 多 少 ? 如 果 排 除 调用 DFS-VISIT 的 时 间 ， 第 1 一 3 行 的 循环 和 第 5 一 7? 行 的 
循环 所 需 的 时 间 为 BCV) 。 就 像 对 待 广度 优先 搜索 算法 一 样 ， 我 们 在 这 里 也 使 用 聚合 分 析 。 对 每 
个 结 点 vEV 来 说 ，DFS-VISIT 被 调用 的 次 数 刚好 为 一 次 ， 这 是 因为 在 对 一 个 结 点 u 调用 DFS- 
VISIT 时 ， 该 结 点 u 必须 是 白色 ,而 DFS-VISIT 所 做 的 第 一 件 事情 就 是 将 结 点 涂 上 灰色 。 在 
执行 DFS-VISIT(G, V 的 过 程 中 ， 算 法 第 4 一 7 行 的 循环 所 执行 的 次 数 为 | Adj[v]|。 由 于 
>) 14dij[ 四 |= @CE) ,执行 DFS-VISIT 第 4~7 行 操作 的 总 成 本 是 B(E) 。 因 此 ， 深 度 优 先 搜索 


poEV 


算法 的 运行 时 间 为 OCV+E). 

深度 优先 搜索 的 性 质 

深度 优先 搜索 提供 的 是 关于 图 结构 的 价值 很 高 的 信息 。 也 许 深度 优先 搜索 最 基本 的 性 质 是 ， 
其 生成 的 前 驱 子 图 G. 形成 一 个 由 多 棵 树 所 构成 的 森林 ， 这 是 因为 深度 优先 树 的 结构 与 DFS- 
VISIT 的 递归 调用 结构 完全 对 应 。 也 就 是 说 ，u 二 v.x 4 HAL DFS-VISIT(G, 在 算法 对 结 点 
的 邻接 链表 进行 搜索 时 被 调用 。 此 外 ， 结 点 v 是 深度 优先 森林 里 结 点 的 后 代 当 且 仅 当 结 点 wv 在 
结 点 为 灰色 的 时 间 段 里 被 发 现 。 

深度 优先 搜索 的 另 一 个 重要 性 质 是 ， 结 点 的 发 现时 间 和 完成 时 间 具 有 所 谓 的 括号 化 结构 
(parenthesis structure) 。 如 果 以 左 括号 “(z” 来 表示 结 点 zx 的 发 现 ， 以 右 括 号 “wu) ”来 表示 结 点 的 
完成 ， 则 发 现 和 完成 的 历史 记载 形成 一 个 规整 的 表达 式 ， 这 里 “规整 ”的 意思 是 所 有 的 括号 都 适当 
地 栋 套 在 一 起 。 例 如 ， 对 图 22-5(a) 进 行 深度 优先 搜索 所 对 应 的 括号 化 结构 如 图 22-5(b) 所 示 。 下 
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面 的 定理 提供 了 另 一 种 对 括号 化 结构 进行 描述 的 方法 。 


123 4 5 67 8 9 1011 12 13 1415 16 
C e Oxy wW az) s) @ (v v) (u u)t) 
(a) Cb) 








图 22-5 ”深度 优先 搜索 的 性 质 。(a) 有 向 图 上 的 深度 优先 搜索 结果 。 与 图 22-4 一 样 ， 每 个 结 点 都 
有 自己 的 时 间 戳 ， 边 的 类 型 也 在 图 中 予以 注 明 。(b) 每 个 结 点 的 发 现时 间 和 完成 时 间 所 
构成 的 区 间 对 应 图 中 所 示 的 括号 化 结构 。 每 个 矩形 区 域 横 跨 由 相应 结 点 的 发 现 和 完成 时 
间 所 给 出 的 时 间 区 间 。 图 中 给 出 的 边 都 是 树 边 ( 非 树 边 被 略 去 了 ) 。 如 果 两 个 时 间 区 间 存 
在 重 香 ， 则 其 中 一 个 区 间 必 定 完全 囊括 在 另 一 个 区 间 内 部 ， 而 对 应 较 小 区 间 的 结 点 是 对 
应 较 大 区 间 的 结 点 的 后 代 。(c) 对 图 Ca) 所 进行 的 重 画 ， 该 图 给 出 了 深度 优先 树 中 所 有 的 
树 边 、 往 下 的 从 祖先 指向 后 代 的 前 向 边 和 往 上 的 从 后 代 指 向 祖先 的 后 向 边 


定理 22.7( 括 号 化 定理 ) ”在 对 有 向 或 无 向 图 G = 二 (V,E) 进行 的 任意 深度 优先 搜索 中 ， 对 于 
任意 两 个 结 点 wu 和 vw 来 说 ， 下 面 三 种 情况 只 有 一 种 成 立 : 
。 区 间 [u. d，u. 有 和 区 间 [v. 4d，w. 用 完全 分 离 ， 在 深度 优先 森林 中 ， 结 点 以 不 是 结 点 vv 的 
后 代 ， 结 点 也 不 是 结 点 4 的 后 代 。 
。 区 间 [u. d，u. 仆 完 全 包含 在 区 间 [v.d，wv. 内， 在 深度 优先 树 中 ， 结 点 u 是 结 点 v 的 
后 代 。 
。 区 间 [v. d，w. 有 完全 包含 在 区 间 [u.d，u. 内， 在 深度 优先 树 中 ， 结 点 凡是 结 点 的 
后 代 。 
证 明 我 们 从 u. d<v.d 的 情况 开始 。 在 该 情况 下 ， 根 据 不 等 式 vdu. f 是 否 成 立 又 可 以 
分 为 两 种 子 情况 。 第 一 种 子 情况 是 在 v. d<u. f 成 立时， 结 点 v 在 结 点 仍然 是 灰色 的 时 候 被 发 
现 ， 这 意味 着 结 点 v 是 结 点 & 的 后 代 。 而 且 ， 因 为 结 点 v 在 结 点 4 的 后 面 被 发 现 ， 其 所 有 的 出 发 
边 都 已 经 被 探索 完 ， 在 搜索 算法 返回 来 继续 处 理 结 点 时 ， 结 点 v 的 处 理 已 经 完成 。 在 这 种 情况 
Fo KELo d, v. 由 完全 包含 在 区 间 [u. d, u. 有 内 。 在 第 二 种 子 情况 下 ，u. f 二 wv. d， 根 据 不 等 
式 (22. 2)， 我们 有 u. d 二 wu. f<v.d<v. f， 因 此 ， 区 间 [u. d, u. 用 和 区 间 [v. d, v. 由 是 完全 分 离 
的 ， 没 有 一 个 结 点 是 在 男 一 个 结 点 为 灰色 的 时 候 被 发 现 的 ， 因 此 ， 没 有 一 个 结 点 是 另 一 个 结 点 的 
后 代 。 
对 于 v. d<u. d 的 情况 ,证明 过 程 类 似 ， 只 不 过 将 上 述 证 明 中 的 和 w 进行 对 调 即 可 。 = 
推论 22. 80GKKMNKE) 在 有 向 或 无 向 图 G 的 深度 优先 森林 中 ， 结 点 也 是 结 点 & 的 真 
BRS BS u.d<v.d<v. fu. f RZ, 
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证 明 ”从 定理 22.7 立即 可 得 。 u 

下 面 的 定理 给 出 的 是 在 深度 优先 森林 中 ， 当 一 个 结 点 是 另 一 个 结 点 的 后 代 时 的 另 一 个 重要 
特征 。 

定理 22. 9( 白 色 路 径 定理 ) ”在 有 向 或 无 向 图 G 二 (V,E) 的 深度 优先 森林 中 ， 结 点 Uv 是 结 点 u 
的 后 代 当 且 仅 当 在 发 现 结 点 的 时 间 u.d， 存 在 一 条 从 结 点 到 结 点 v 的 全 部 由 白色 结 点 所 构成 
的 路 径 。 

证 明 =>: 如 果 vsu, WAAR x 到 结 点 v 的 路 径 仅 包含 结 点 w， 而 该 结 点 在 算法 设置 u. d 
的 值 时 仍然 是 白色 的 。 现 在 ,假定 在 深度 优先 森林 中 ， 结 点 v 是 结 点 的 真 后 代 。 根 据 推 论 
22.8， 我 们 有 ud<v.d, AGA v ÆRA u.d 时 为 白色 。 由 于 结 点 v 可 以 是 的 任意 后 代 ， 
在 深度 优先 森林 中 ， 从 结 点 u 到 结 点 wv 的 唯一 简单 路 径 上 的 所 有 结 点 在 时 刻 x. d 时 都 是 白色 的 。 

=; 假定 在 时 刻 u. d 时 存在 一 条 从 结 点 w 到 结 点 v 的 全 部 由 白色 结 点 组 成 的 路 径 ， 但 结 点 
在 深度 优先 树 中 却 不 是 结 点 x 的 后 代 。 不 失 一 般 性 ， 假 定 从 结 点 zx， 到 结 点 o 的 路 径 上 除 结 点 wv 以 
外 的 每 个 结 点 都 成 为 x 的 后 代 ( 和 否则 ， 可 设 "为 路 径 上 离 结 点 x 最 近 的 没有 成 为 结 点 zx 的 后 代 的 
结 点 ) 。 设 结 点 w ARE LSA o 的 前 驱 ， E1 w E u 的 一 个 后 代 ( 事 实 上 wA u 可 能 是 同一 个 
结 点 )。 根 据 推论 22.8, RIA w. fu f。 因 为 结 点 v 必须 在 结 点 被 发 现 之 后 但 在 结 点 也 的 
处 理 完成 之 前 被 发 现 ， 所 以 u. d<vud<w. fu fo 根据 定理 22.7， 区 间 [v. d, v 万 完全 包含 在 
区 间 [u. d，w. 有 中。 根据 推论 22.8, BA v 最 后 必然 成 为 结 点 的 后 代 。 u 

边 的 分 类 

深度 优先 搜索 的 另 一 个 有 趣 的 性 质 是 ， 可 以 通过 搜索 来 对 输入 图 G = (V, E) 的 边 进行 分 类 。 
每 条 边 的 类 型 可 以 提供 关于 图 的 重要 信息 。 例 如 ， 在 下 一 节 的 讨论 中 ， 我 们 将 看 到 有 向 图 是 无 环 
图 当 且 仅 当 深度 优先 搜索 不 产生 “后 向 ” 边 ( 引 理 22. 11) 。 

对 于 在 图 G 上 运行 深度 优先 搜索 算法 所 生成 的 深度 优先 森林 G.， 我 们 可 以 定义 4 种 边 的 
类 型 

1. 树 边 : 为 深度 优先 森林 G. 中 的 边 。 如 果 结 点 v 是 因 算 法 对 边 (u，wv) 的 探索 而 首先 被 发 
现 ， 则 (x， 了 是 一 条 树 边 。 

2. 后 向 边 : 后 向 边 (x， 了 是 将 结 点 连接 到 其 在 深度 优先 树 中 (一 个 ) 祖 先 结 点 wv 的 边 。 由 
于 有 向 图 中 可 以 有 自 循环 ， 自 循环 也 被 认为 是 后 向 边 。 

3. 前 向 边 : 是 将 结 点 u 连接 到 其 在 深度 优先 树 中 一 个 后 代 结 点 v 的 边 (u，wv)。 

4. 横向 边 : 指 其 他 所 有 的 边 。 这 些 边 可 以 连接 同一 棵 深度 优先 树 中 的 结 点 ， 只 要 其 中 一 个 
结 点 不 是 另外 一 个 结 点 的 祖先 ， 也 可 以 连接 不 同 深 度 优 先 树 中 的 两 个 结 点 。 

在 图 22-4 和 图 22-5 中 ， 每 条 边 上 的 标签 标明 了 该 条 边 的 类 型 。 图 22-5(c) 同 时 还 描述 了 如 何 
对 图 22-5(a) 进 行 重 画 ， 以 便 让 所 有 的 树 边 和 前 向 边 都 朝 下 指 ， 而 所 有 的 后 向 边 都 朝 上 指 。 事 实 
上 ， 我 们 可 以 将 任何 图 都 重 画 成 这 种 模式 。 

在 遇 到 某 些 边 时 ，DFS 有 足够 的 信息 来 对 这 些 边 进行 分 类 。 这 里 的 关键 是 ， 当 第 一 次 探索 
Wu, Vit, Hi v 的 颜色 能 够 告诉 我 们 关于 该 条 边 的 一 些 信息 。 

1. 结 点 "为 白色 表明 该 条 边 (x， 妇 是 一 条 树 边 。 

2. 结 点 "为 灰色 表明 该 条 边 (x， 了 是 一 条 后 向 边 。 

3. 结 点 "为 黑色 表明 该 条 边 (x， 了 是 一 条 前 向 边 或 横向 边 。 

第 一 种 情况 可 以 从 算法 的 规范 中 立即 推 知 。 对 于 第 二 种 情况 ， 只 要 注意 到 ， 灰 色 结 点 总 是 形成 一 
条 线性 的 后 代 链 ， 这 条 链 对 应 当前 活跃 的 DFS-VISIT 调用 栈 ; 灰色 结 点 的 数量 总 是 比 深度 优先 
森林 中 最 近 被 发 现 的 结 点 的 深度 多 1。 而 算法 对 图 的 探索 总 是 从 深度 最 深 的 灰色 结 点 往 前 推进 ， 
因此 ，( 从 当前 灰色 结 点 ) 通 向 另 一 个 灰色 结 点 的 边 所 到 达 的 是 当前 灰色 结 点 的 祖先 。 第 三 种 情况 


608 


354 。 第 六 部 分 图 BR 法 


处 理 的 是 剩 下 的 可 能 性 。 练 习 22. 3-5 将 要 求 读 者 证 明 这 种 情况 下 的 边 (u，vw) 在 u.d 二 v.d 时 为 前 
HH, YE u. d>v. d 时 为 横向 边 。 

在 对 边 进 行 分 类 时 ， 无 向 图 可 能 给 我 们 带 来 一 些 模 糊 性 ， 因 为 边 (u，v) 和 边 (v， 忆 实际 上 是 
同一 条 边 。 在 这 种 情况 下 ， 我 们 将 边 (x，v) 划 分 为 分 类 列表 中 第 一 种 适合 该 边 的 类 型 。 等 价 地 
(请 参阅 练习 22. 3-6)， 我 们 也 可 以 根据 搜索 时 算法 是 先 探索 到 边 (u，v) 还 是 边 (v，?) 来 进行 
分 类 。 

我 们 现在 来 证 明 ， 在 对 无 向 图 的 深度 优先 搜索 中 ， 从 来 不 会 出 现 前 向 边 和 横向 边 。 

定理 22. 10 在 对 无 向 图 G 进行 深度 优先 搜索 时 ， 每 条 边 要 么 是 树 边 ， 要 么 是 后 向 边 。 

证 明 设 (x，z) 是 G 的 任意 一 条 边 。 不 失 一 般 性 ， 假 定 x d 二 wv. 4。 那么 因为 结 点 v 在 结 点 
的 邻接 链表 中 ， 搜 索 算 法 将 在 完成 结 点 & 的 处 理 之 前 ( 即 在 结 点 是 灰色 的 时 间 段 里 ) 必 定 发 现 和 
完成 对 结 点 v 的 处 理 。 如 果 在 搜索 算法 第 一 次 探索 边 (u，v) 时 ， 其 方向 是 从 结 点 到 结 点 w， 则 结 
点 v 在 该 时 刻 之 前 没有 被 发 现 ( 颜 色 为 白色 )， 否 则 ， 搜 索 算 法 将 已 经 从 反方 向 探索 了 这 条 边 。 因 
此 ， 在 这 种 情况 下 ，(u， 必 成 为 一 条 树 边 。 如 果 搜 索 算法 第 一 次 探索 边 (u，) 时 是 从 结 点 v 到 结 点 
& 的 方向 ， 则 (wx， 切 是 一 条 后 向 边 ， 因 为 在 边 (x， 切 被 第 一 次 探索 时 ， 结 点 & 仍然 是 灰色 的 。 = 

在 本 章 后 面 的 小 节 中 ， 我 们 将 看 到 这 些 定理 的 几 种 应 用 。 


练习 


22.3-1 画 一 个 3X3 的 网 格 ， 行 和 列 的 抬头 分 别 标记 为 白色 、 灰 色 和 黑色 。 对 于 每 个 表单 元 
(i，])， 请 指出 在 对 有 向 图 进行 深度 优先 搜索 的 过 程 中 ， 是 否 可 能 存在 一 条 边 ， 连 接 一 
个 颜色 为 i 的 结 点 和 一 个 颜色 为 7 的 结 
点 。 对 于 每 种 可 能 的 边 ， 指 明 该 种 边 的 
类 型 。 另 外 ， 请 针对 无 向 图 的 深度 优先 
搜索 再 制作 一 张 这 样 的 网 格 。 

22.3-2 给 出 深度 优先 搜索 算法 在 图 22-6 上 的 运 
行 过 程 。 假 定 深度 优先 搜索 算法 的 第 
5 一 7 行 的 for 循环 是 以 字母 表 顺 序 依 次 图 22-6 ”用 于 练习 22. 3-2 和 22. 5-2 的 有 向 图 
处 理 每 个 结 点 ， 并 假定 每 条 邻接 链表 皆 以 字母 表 顺 序 对 里 面 的 结 点 进行 了 排序 。 请 给 出 
每 个 结 点 的 发 现时 间 和 完成 时 间 ， 并 给 出 每 条 边 的 分 类 。 

22.3-3 给 出 图 22-4 的 深度 优先 搜索 的 括号 化 结构 。 

22.3-4 WEH: 使 用 单个 位 来 存放 每 个 结 点 的 颜色 已 经 足够 。 这 一 点 可 以 通过 证 明 如 下 事实 来 得 
到 : 如果 将 DFS-VISIT 的 第 2 行 删除 ，DFS 给 出 的 结果 相同 。 

22. 3-5 ”证 明 边 (u， vi: 
a. 树 边 或 前 向 边 当 且 仅 当 u. d<v.d<v. fu. fo 
b. 后 向 边 当 且 仅 当 v d<u. d<u. f<v. fo 
c 横向 边 当 且 仅 当 v. d<v. f<u.d<u. f. 

22.3-6 证明 : 在 无 向 图 中 ， 根 据 深度 优先 搜索 算法 是 先 探索 (x，z) 还 是 先 探索 (w，z) 来 将 边 
(Cx， 切 分 类 为 树 边 或 者 后 向 边 ， 与 根据 分 类 列表 中 的 4 种 类 型 的 次 序 进行 分 类 是 等 价 的 。 

22.3-7 请 重 写 DFS 算法 的 伪 代 码 ， 以 便 使 用 栈 来 消除 递归 调用 。 

22.3-8 ”请 给 出 如 下 猜想 的 一 个 反例 : 如 果 有 向 图 G 包 含 一 条 从 结 点 u 到 结 点 v 的 路 径 ， 并且 在 对 图 
G 进行 深度 优先 搜索 时 有 ud<ud, WR vB u 在 深度 优先 森林 中 的 一 个 后 代 。 

22.3-9 请 给 出 如 下 猜想 的 一 个 反例 : 如 果 有 向 图 G 包含 一 条 从 结 点 到 结 点 v 的 路 径 ， 则 任何 
对 图 G 的 深度 优先 搜索 都 将 导致 v d<u. f。 
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22.3-10 ”修改 深度 优先 搜索 的 伪 代 码 ， 让 其 打印 出 有 向 图 G 的 每 条 边 及 其 分 类 。 并 指出 ， 如 果 
图 G 是 无 向 图 ， 要 进行 何 种 修改 才能 达到 相同 的 效果 。 

22.3-11 请 解释 有 向 图 的 一 个 结 点 怎样 才能 成 为 深度 优先 树 中 的 唯一 结 点 ， 即 使 结 点 u 同时 
有 入 边 和 出 边 。 

22.3-12 证明: 我 们 可 以 在 无 向 图 G 上 使 用 深度 优先 搜索 来 获得 图 G 的 连通 分 量 ， 并 且 深 度 优 
先 森 林 所 包含 的 树 的 棵 数 与 G 的 连通 分 量 数量 相同 。 更 准确 地 说 ， 请 给 出 如 何 修改 深 
度 优先 搜索 来 让 其 给 每 个 结 点 赋予 一 个 介 于 1 和 A& 之 间 的 整数 值 v. cc， 这 里 & 是 G 的 
连通 分 量 数 ， 使 得 u. co=v. cc 当 且 仅 当 结 点 x 和 结 点 v 处 于 同一 个 连通 分 量 中 。 

*22.3-13 ”对 于 有 向 图 G = (V,E) Kğ, WF uv 意味 着 图 G 至 多 包含 一 条 从 到 wv 的 简单 路 

径 ， 则 图 G 是 单 连通 图 (singly connected) 。 请 给 出 一 个 有 效 算 法 来 判断 一 个 有 向 图 是 
否 是 单 连通 图 。 


22.4 拓扑 排序 


本 节 阐 述 如 何 使 用 深度 优先 搜索 来 对 有 向 无 环 图 进行 拓扑 排序 。 对 于 一 个 有 向 无 环 图 G = 
(V,E) 来 说 ， 其 拓扑 排序 是 G 中 所 有 结 点 的 一 种 线性 次 序 ， 该 次 序 满足 如 下 条 件 : 如 果 图 C 包 
RWU, v), WEE u 在 拓扑 排序 中 处 于 结 点 z 的 前 面 ( 如 果 图 G 包含 环 路 ， 则 不 可 能 排出 一 个 
线性 次 序 )。 可 以 将 图 的 拓扑 排序 看 做 是 将 图 的 所 有 结 点 在 一 条 水 平 线 上 排 开 ， 图 的 所 有 有 向 边 
都 从 左 指向 右 。 因 此 ， 拓 扑 排 序 与 本 书 第 二 部 分 所 讨论 的 通常 意义 上 的 “排序 ”是 不 同 的 。 

许多 实际 应 用 都 需要 使 用 有 向 无 环 图 来 指明 事件 的 优先 次 序 。 图 22-7 描述 的 是 Bumstead 教 
授 每 天 早上 起 床 穿 衣 所 发 生 的 事件 的 次 序 图 。 教 授 必须 先 穿 某 些 衣服 ， 才 能 再 穿 其 他 衣服 (如 先 
穿 袜子 后 才能 再 穿 鞋 )。 有 些 服 饰 则 可 以 以 任意 顺序 穿 上 (如 袜子 和 裤子 之 间 可 以 以 任意 次 序 进 
行 穿戴 ) 。 在 图 22-7(a) 所 示 的 有 向 无 环 图 中 ， 有 向 边 (u，v) 表 明 服 装 u 必须 在 服装 v 之 前 穿 上 。 
对 该 有 向 无 环 图 进行 拓扑 排序 所 获得 的 就 是 一 种 合理 穿 衣 的 次 序 。 图 22-7(b) 将 拓扑 排序 后 的 有 
向 无 环 图 在 一 条 水 平 线 上 展示 出 来 ， 在 该 水 平 线 上 ， 所 有 的 有 向 边 都 从 左 指向 右 。 
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图 22-7 (a)Bumstead 教授 对 自己 每 天 早上 的 穿 衣 进 行 的 拓扑 排序 。 每 条 有 向 边 (u，wv) 表 明 服 
装 u 必须 在 服装 v 之 前 穿 上 。 深 度 优先 搜索 的 发 现时 间 和 完成 时 间 注 明 在 每 个 结 点 旁 
边 。(b) 以 拓扑 排序 展示 的 同一 个 图 ， 所 有 的 结 点 按照 其 完成 时 间 的 闭 序 被 排 成 从 左 
至 右 的 一 条 水 平 线 。 所 有 的 有 向 边 都 从 左 指向 右 
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下 面 的 简单 算法 可 以 对 一 个 有 向 无 环 图 进行 拓扑 排序 : 


TOPOLOGICAL-SORT(G) 

1 call DFS(G) to compute finishing times v. f for each vertex v 

2 as each vertex is finished, insert it onto the front of a linked list 
3 return the linked list of vertices 


图 22-7(b) 描 述 的 是 经 过 拓扑 排序 后 的 结 点 次 序 ， 这 个 次 序 与 结 点 的 完成 时 间 恰 好 相反 。 

我 们 可 以 在 OCV +E) 的 时 间 内 完成 拓扑 排序 ， 因 为 深度 优先 搜索 算法 的 运行 时 间 为 
OV +E) ， 将 结 点 插入 到 链表 最 前 端 所 需 的 时 间 为 0(1) ， 而 一 共 只 有 |V| 个 结 点 需要 插 人 。 

我 们 将 使 用 下 面 的 引 理 来 证 明 拓 扑 排序 算法 的 正确 性 ， 该 引 理 描述 的 是 有 向 无 环 图 的 特征 。 

引 理 22. 11 一 个 有 向 图 G 一 (VW， 天 ) 是 无 环 的 当 且 仅 当 对 其 进行 的 深度 优先 搜索 不 产生 后 
向 边 。 

证 明 >: 假定 对 图 G 进行 的 深度 优先 搜索 产生 了 一 条 后 向 边 (x，z) ， 则 在 深度 优先 森林 
中 ， 结 点 v 是 结 点 w 的 祖先 。 因 此 ， 图 G 包含 一 条 从 wv 到 的 路 径 ， 该 路 径 与 后 向 边 (u， 必 一 起 
形成 一 个 环 路 。 

=; 假定 CG 包 含 一 个 环 路 <。 我们 下 面 来 证 明 深 度 优先 搜索 将 产生 一 条 后 向 边 。 设 结 点 ， 是 
环 路 c 上 第 一 个 被 发 现 的 结 点 ， 设 (x， 妇 是 环 路 c 中 结 点 v 前 面 的 一 条 边 。 在 时 刻 w &， 环 路 c 
中 的 结 点 形成 一 条 从 结 点 v 到 结 点 w 的 全 白色 结 点 路 径 。 根 据 白色 路 径 定理 ， 结 点 将 在 深度 优 
先 森 林 中 成 为 结 点 wv 的 后 代 。 因 此 ，(u， 马 是 一 条 后 向 边 。 m 

定理 22. 12 拓扑 排序 算法 TOPOLOGICAL-SORT 生成 的 是 有 向 无 环 图 的 拓扑 排序 。 

证 明 BEEE HEAK G= (V,E) 上 运行 DFS 来 计算 结 点 的 完成 时 间 。 我 们 只 需要 证 明 ， 
对 于 任意 一 对 不 同 的 结 点 u,v € V ， 如 果 图 G 包 含 一 条 从 结 点 到 结 点 v 的 边 ， 则 w fu fo 
考虑 算法 DFS(G) 所 探索 的 任意 一 条 边 (u，v) 。 当 这 条 边 被 探索 时 ， 结 点 v 不 可 能 是 灰色 ， 因 为 
那样 的 话 ， 结 点 v 将 是 结 点 的 祖先 ， 这样 (uw，wv) 将 是 一 条 后 向 边 ， 与 引 理 22. 11 矛盾 。 因 此 ， 
结 点 v 要 么 是 白色 ,要么 是 黑色 。 如 果 结 点 v 是 白色 ， 它 将 成 为 结 点 的 后 代 ， 因 此 v f=u. fo 
如 果 结 点 v 是 黑色 ， 则 对 其 全 部 的 处 理 都 已 经 完成 ， 因 此 wv. f 已 经 被 设置 。 因 为 我 们 还 需要 对 结 
A u HIRR, u f 尚 需要 设 定 。 但 一 旦 我 们 对 u 了 进行 设 定 ， 则 其 数值 必定 比 of K, B 
v. f<u f。 因 此 ， 对 于 任意 一 条 边 (u，v)， 我们 有 v. fu f- a 


练习 


22.4-1 给 出 算法 TOPOLOGICAL-SORT 运行 于 图 22-8 上 时 所 生成 的 结 点 次 序 。 这 里 的 所 有 假 
设 与 练习 22. 3-2 一 样 。 

22.4-2 请 给 出 一 个 线性 时 间 的 算法 ,算法 的 输入 为 一 
个 有 向 无 环 图 G = (V,E) 以 及 两 个 结 点 ;和 ， 
算法 的 输出 是 从 结 点 s 到 结 点 上 之 间 的 简单 路 径 
的 数量 。 例 如 ， 对 于 图 22-8 所 示 的 有 向 无 环 
图 ， 从 结 点 p 到 结 点 wv 一 共有 4 条 简单 路 径 ， 
分 别 是 pov, poryv, posryv 和 psryv。( 本 题 仅 
要 求 计数 简单 路 径 的 条 数 ， 而 不 要 求 将 简单 路 ”图 22-8 一 个 用 于 拓扑 排序 的 有 向 无 环 图 
径 本 身 列举 出 来 .) 

22. 4-3 ”给 出 一 个 算法 来 判断 给 定 无 向 图 G= (VE) 是 否 包含 一 个 环 路 。 算 法 运行 时 间 应 该 在 
OW) BHR, AAS| E| HK. 

22. 4-4 证 明 或 反 证 下 述 论 断 : 如 果 有 向 图 G 包 含 环 路 ， 则 在 算法 TOPOLOGICAL-SORT(G) fi 
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生成 的 结 点 序列 里 ， 图 G 中 与 所 生成 序列 不 一 致 的 “ 坏 ” 边 的 条 数 最 少 。 

22.45 在 有 向 无 环 图 G 二 (V,E) 上 执行 拓扑 排序 还 有 一 种 办 法 ， 就 是 重复 寻找 入 度 为 0 的 结 
点 ， 输 出 该 结 点 ， 将 该 结 点 及 从 其 发 出 的 边 从 图 中 删除 。 请 解释 如 何在 OC(V 十 E) 的 时 
间 内 实现 这 种 思想 。 如 果 图 G 包含 环 路 ， 将 会 发 生 什么 情况 ? 


22.5 RERNE 


我 们 现在 来 考虑 深度 优先 搜索 的 一 个 经 典 应 用 : 将 有 向 图 分 解 为 强 连 通 分 量 。 本 节 将 阐述 
如 何 使 用 深度 优先 搜索 来 做 到 这 一 点 。 许 多 针对 有 向 图 的 算法 都 以 此 种 分 解 操作 开始 。 在 将 图 
分 解 为 强 连通 分 量 后 ， 这 些 算法 将 分 别 运行 在 每 个 连通 分 量 上 ， 然 后 根据 连通 分 量 之 间 的 连接 
结构 将 各 个 结果 组 合 起 来 ， 从 而 获得 最 终 所 需 的 结果 。 

从 本 书 附录 B 的 讨论 可 知 ， 有 向 图 G = (V,E) 的 强 连通 分 量 是 一 个 最 大 结 点 集合 CCV, xt 
于 该 集合 中 的 任意 一 对 结 点 u Alo Rib, Buu 和 路 径 w 同时 存在 ; 也 就 是 说 ， 结 点 “ 
和 结 点 v 可 以 互相 到 达 。 图 22-9 描述 的 是 强 连通 分 量 的 一 个 例子 。 





Ce) 


E 22-9 (a) 有 向 图 G。 每 个 加 了 阴影 的 区 域 是 G 的 一 个 强 连通 分 量 。 每 个 结 点 上 注 明 了 其 在 深 
度 优 先 搜索 中 的 发 现时 间 和 完成 时 间 ， 所 有 的 树 边 都 加 了 额外 的 阴影 。(b) 图 G 的 转 
置 图 GI， 图 中 注 明 了 由 算法 STRONGLY-CONNECTED-COMPONENTS 第 3 行 所 计 
算出 来 的 深度 优先 森林 ， 所 有 树 边 都 加 上 了 额外 的 阴影 。 每 个 强 连 通 分 量 对 应 一 棵 深 
度 优先 树 。 加 了 深 阴 影 的 结 点 5、c、g Mh 全 部 是 深度 优先 树 的 根 结 点 。 这 些 深度 优 
先 树 是 在 转 置 图 G 上 运行 深度 优先 搜索 算法 所 获得 的 。(c) 无 环 分 量 图 CSz ， 由 对 图 
G 的 强 连 通 分 量 进行 收缩 而 成 ， 这 种 收缩 将 每 个 强 连通 分 量 收缩 为 一 个 结 点 ， 即 由 一 
个 结 点 来 替换 整个 连通 分 量 
我 们 用 于 寻找 强 连通 分 量 的 算法 需要 用 到 图 G==(V，E) 的 转 置 ， 在 练习 22. 1-3 中 将 其 定义 
为 G 二 (V，E"), XE E”={(wu, v): (v, WEE), WRH, E 由 对 图 G 中 的 边 进行 反 向 而 
获得 。 给 定 图 G 的 邻接 链表 ， 创 建 GT 的 时 间 为 O(V 十 E)。 有 趣 的 是 ， 图 G 和 图 GT 的 强 连通 分 
量 完全 相同 : u Mv 在 图 G 中 可 以 相互 到 达 当 且 仅 当 它 们 在 图 G" 中 可 以 相互 到 达 。 图 22-9(b) 描 
述 的 就 是 图 22-9(a) 的 转 置 ， 我 们 在 其 强 连通 分 量 上 加 了 阴影 。 
下 面 的 线性 时 间 ( 即 @CV + E) 时 间 ) 算 法 使 用 两 次 深度 优先 搜索 来 计算 有 向 图 G= (VE) 的 
强 连通 分 量 。 这 两 次 深度 优先 搜索 一 次 运行 在 图 G 上 ， 一 次 运行 在 转 置 图 GI E. 
STRONGLY-CONNECTED-COMPONENTS(G) 
1 call DFS (G) to compute finishing times u. f for each vertex u 
2 compute GT 
3 call DFS(G"), but in the main loop of DFS, consider the vertices 


in order of decreasing u. f (as computed in line 1) 
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4 output the vertices of each tree in the depth-first forest formed in line 3 as a 


separate strongly connected component 


上 述 算法 背后 的 思想 来 自 于 分 量 图 GS = V, ES) — PEI, PS EE HE 
义 如 下 : 假定 图 G 有 强 连 通 分 量 Ci， Cz,» R Cro 结 点 集 Vs 为 {w， Vs °°" Uds 对 于 图 G 的 
每 个 强 连 通 分 量 C; 来 说 ， 该 集合 包含 代表 该 分 量 的 结 点 ~ WRATTEN EG 和 >EC， 图 G 
包含 一 条 有 向 边 (z，y) ， 则 边 (w，vw)E ES。 从 另 一 个 角度 来 看 ， 通 过 收缩 所 有 相 邻 结 点 都 在 
同一 个 强 连通 分 量 中 的 边 ， 剩 下 的 图 就 是 GX*。 图 22-9(c) 描 述 的 就 是 图 22-9(a) 的 分 量 图 。 

分 量 图 的 关键 性 质 就 是 : 分 量 图 是 一 个 有 向 无 环 图 。 该 事实 可 由 下 面 的 引 理 所 推出 。 

引 理 22. 13 设 C 和 C" 为 有 向 图 G 王 (V， 瓦 ) 的 两 个 不 同 的 强 连通 分 量 ， 设 结 点 &W，mEC， 结 
Su, EC, 假定 图 G 包含 一 条 从 结 点 到 结 点 妈 的 路 径 x~ yz 。 那 么 图 G 不 可 能 包含 一 条 从 
结 点 也 到 结 点 也 的 路 径 w ~ v, 

证 明 ”如 果 图 G 包含 一 条 从 结 点 v' 到 结 点 v 的 路 径 v~2v， 则 G 也 将 包含 路 径 u ~u~ v 和 
vaunu., 因此, u 和 w' 可 以 互相 到 达 ， 从 而 与 C 和 C' 是 不 同 的 强 连通 分 量 的 假设 矛盾 。 m 

在 后 面 我 们 将 看 到 ， 在 进行 第 二 次 深度 优先 搜索 时 ， 以 第 一 次 深度 优先 搜索 所 计算 出 的 结 
点 完成 时 间 的 递减 顺序 来 对 结 点 进行 考察 ， 我 们 实际 上 是 在 以 拓扑 排序 的 次 序 来 访问 分 量 图 中 
的 结 点 (每 个 结 点 对 应 图 G 的 一 个 强 连通 分 量 ) 。 

因为 算法 STRONGLY-CONNECTED-COMPONENTS 执行 两 次 深度 优先 搜索 ， 在 讨论 u. d 
aku. f 时 可 能 存在 潜在 的 模糊 性 。 在 本 节 的 讨论 中 ， 这 些 值 指 的 都 是 第 一 次 深度 优先 搜索 (算法 
第 1 行 ) 所 计算 出 的 发 现时 间 和 完成 时 间 。 

下 面 我 们 将 结 点 的 发 现时 间 和 完成 时 间 的 概念 推广 到 结 点 集合 上 : 如 果 结 点 集合 USV， 则 
定义 dU) =min{u. d) Al f(U)=max{u. 有}。 也 就 是 说 ，d(U) 和 f(U) 分 别 是 结 点 集合 U 中 所 有 
结 点 里 最 早 的 发 现时 间 和 最 晚 的 完成 时 间 。 

下 面 的 引 理 及 其 推论 给 出 的 是 一 个 关键 性 质 ， 该 性 质 将 图 G 的 强 连 通 分 量 与 第 一 次 深度 优 
先 搜索 所 计算 出 的 完成 时 间 关 联 起 来 。 

引 理 22.14 设 C 和 C' 为 有 向 图 G= 王 (V， 巨 ) 的 两 个 不 同 的 强 连通 分 量 。 假 如 存在 一 条 边 
(us VEE, KBuEC, vEC, M f(O>f(C’). 

证 明 ”根据 深度 优先 搜索 算法 中 最 早 发 现 的 结 点 在 哪个 强 连通 分 量 里 而 分 为 两 种 情况 进行 考虑 。 

第 一 种 情况 : 如 果 d(C) 二 d(C'), .: 设 工 为 连通 分 量 C 中 最 早 被 发 现 的 结 点 ， 那 么 在 时 刻 
x.d， 所 有 C 和 C' 中 的 结 点 都 是 白色 的 。 在 该 时 刻 ， 图 G 包含 一 条 从 结 点 z 到 C 中 每 个 结 点 的 仅 
包含 白色 结 点 的 路 径 。 因 为 (wu，v) EE， 对 于 任意 结 点 wEC ， 在 时 刻 x.d 时 ，G 中 也 存在 一 条 
从 结 点 x DA w HME AARNE suse we. RHA AREER. MEE CA 
C 中 的 所 有 结 点 都 成 为 深度 优先 树 里 结 点 zx 的 后 代 。 根 据 推论 22.8, ZEA z 的 完成 时 间 比 其 所 
有 的 后 代 都 晚 ， 因 此 x. f=f(O>f(C). 

第 二 种 情况 : 如 果 d&C)>dCC)7， 设 > 为 C" 中 最 早 被 发 现 的 结 点 ， 那 么 在 时 刻 y. d， 所 有 C 
中 的 结 点 都 是 白色 的 ， 且 图 G 包 含 一 条 从 结 点 y IC 中 每 个 结 点 的 仅 包含 白色 结 点 的 路 径 。 根 
据 白 色 路 径 定 理 ， 连 通 分 量 C 中 的 所 有 结 点 都 将 成 为 深度 优先 树 里 结 点 y 的 后 代 。 根 据 推论 
22.8, y. f=f(C). TENA y. d 时， 连通 分 量 C 中 的 所 有 结 点 都 是 白色 的 。 由 于 存在 边 (u，w) 
将 C 连 接 到 C'， 引 理 22. 13 告诉 我 们 ， 不 可 能 存在 一 条 从 C 到 C 的 路 径 。 因 此 ，C 中 的 结 点 不 
可 能 从 y 到达。 在 时 刻 y. SIN, SAC 中 的 结 点 仍然 是 白色 。 因 此 ， 对 于 任意 结 点 wEC 来 说 ， 
我 们 有 w. >y. f， 这 就 意味 着 SOS. a 

下 面 的 推论 告诉 我 们 ， 转 置 图 GT 中 连接 不 同 强 连通 分 量 的 每 条 边 都 是 从 完成 时 间 较 早 ( 第 
一 次 深度 优先 搜索 所 计算 出 的 完成 时 间 ) 的 分 量 指向 完成 时 间 较 迟 的 分 量 。 
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推论 22.15 设 C 和 C" 为 有 向 图 G 王 (V， 巨 ) 的 两 个 不 同 的 强 连通 分 量 ， 假 如 存在 一 条 边 
(u, EE", KBuUEC, veC, MKO<f(C’). 

证 明 HF, EE, RAW WEE. K GARG 的 强 连 通 分 量 相 同 ， 引 理 
22. 14 FRM, (O<f(C). a 

推论 22. 15 是 我 们 理解 为 什么 强 连通 分 量 算法 能 够 正确 工作 的 关键 。 我 们 来 看 一 下 在 进行 第 
二 次 深度 优先 搜索 时 到 底 发 生 了 什么 。 第 二 次 深度 优先 搜索 运行 在 图 G 的 转 置 图 G Ee RIIA 
完成 时 间 最 晚 的 强 连通 分 量 C 开始 。 搜 索 算法 从 C 中 的 某 个 结 点 工 开 始 ， 访 问 C 中 的 所 有 结 点 。 
根据 推论 22.15, G" 不 可 能 包含 从 C 到 任何 其 他 强 连通 分 量 的 边 ， 因 此 ， 从 结 点 工 开 始 的 搜索 
不 会 访问 任何 其 他 分 量 中 的 结 点 。 因 此 ， 以 z 为 根 结 点 的 树 仅 包含 C 的 所 有 结 点 。 在 完成 对 C 
中 所 有 结 点 的 访问 后 ， 算 法 第 3 行 从 另 一 个 强 连通 分 量 C 选择 一 个 结 点 作为 根 结 点 来 继续 进行 
深度 优先 搜索 ， 这 里 f(C') 的 取 值 在 除 C 以 外 的 所 有 强 连通 分 量 里 面 为 最 大 。 再 一 次 ， 搜 索 算法 
将 访问 C' 中 的 所 有 结 点 ,但 是 根据 推论 22.15, 图 G 中 从 C 到 任何 其 他 连通 分 量 的 边 必定 是 从 
C 到 C 的 边 ， 而 这 些 边 我 们 已 经 访问 过 。 一 般 来 说 ， 当 算法 第 3 行 对 G 的 深度 优先 搜索 访问 任 
意 一 个 强 连通 分 量 时 ， 从 该 连通 分 量 发 出 的 所 有 边 只 能 是 通 向 已 经 被 访问 过 的 强 连通 分 量 。 因 
此 ， 每 棵 深度 优先 树 恰恰 是 一 个 强 连通 分 量 。 下 面 的 定理 对 该 论点 进行 了 正式 表述 。 

定理 22. 16 算法 STRONGLY-CONNECTED-COMPONENTS 能 够 正确 计算 出 有 向 图 G 的 
强 连通 分 量 。 

证 明 ”我们 以 算法 第 3 行 对 图 G 进行 深度 优先 搜索 时 所 发 现 的 深度 优先 树 的 棵 数 来 进行 归 
纳 。 我 们 的 归纳 假设 是 ， 算 法 第 3 行 所 生成 的 前 面 & 棵 树 都 是 强 连通 分 量 。 归 纳 证 明 的 初始 情况 
Æ k=0 时 ， 归 纳 假设 显然 成 立 。 

在 归纳 步 ， 假 定 算法 第 3 行 所 生成 的 前 & 棵 树 都 是 强 连通 分 量 ， 现 在 需要 考虑 第 (k 十 1) 棵 
树 。 设 该 树 的 根 结 点 为 w， 结 点 4 处 于 强 连通 分 量 C 中 。 根 据 我 们 在 算法 第 3 行 选择 深度 优先 搜 
索 的 根 结 点 的 方式 ， 对 于 任意 除 C 以 外 且 尚 未 被 访问 的 强 连通 分 量 C' 来 说 ， 有 .f=f(0) 放 
f(C')。 根据 归纳 假设 ， 在 搜索 算法 访问 结 点 u 的 时 刻 ，C 中 的 所 有 结 点 都 是 白色 的 。 根 据 白色 
路 径 定理 ，C 中 的 其 他 所 有 结 点 都 是 结 点 在 深度 优先 树 中 的 后 代 。 而 且 ， 根 据 归 纳 假设 和 推论 
22.15, RAG 中 所 有 从 C 发 出 的 边 只 能 是 指向 已 经 访问 过 的 强 连 通 分 量 。 因 此 ， 除 C 以 外 
的 强 连通 分 量 中 的 结 点 不 可 能 在 对 GT 进行 深度 优先 搜索 时 成 为 结 点 x Matt. Aut, RAG" 
里 根 结 点 为 结 点 u 的 深度 优先 树 中 的 所 有 结 点 恰好 形成 一 个 强 连通 分 量 。 = 

我 们 也 可 以 从 另 一 个 角度 来 看 第 二 次 深度 优先 搜索 的 运行 过 程 。 考 虑 转 置 图 G 的 分 量 图 
(G")*Y。 如 果 将 第 二 次 深度 优先 搜索 所 访问 的 每 个 强 连 通 分 量 映 射 到 (Gm )Y 的 一 个 结 点 上 ， 则 
第 二 次 深度 优先 搜索 将 以 拓扑 排序 次 序 的 逆序 来 访问 (G )Y 中 的 结 点 。 如 果 将 (G")Y 中 的 边 翻 
转 过 来 ， 我 们 将 获得 图 ((GT)scz)T。 因 为 ((GT)scc)T 一 Gsc (请 参阅 练习 22. 5-4) ， 所 以 第 二 次 深度 
优先 搜索 是 以 拓扑 排序 次 序 访问 GY 中 的 结 点 的 。 


练习 

22.5-1 如 果 在 图 G 中 加 入 一 条 新 的 边 ，G 中 的 强 连 通 分 量 的 数量 会 发 生 怎样 的 变化 ? 

22.5-2 给 出 算法 STRONGLY-CONNECTED-COMPONENTS 在 图 22-6 上 的 运行 过 程 。 具 体 要 
求 是 ， 给 出 算法 第 1 行 所 计算 出 的 完成 时 间 和 第 3 行 所 生成 的 森林 。 假 定 DFS 的 第 
5 一 7 行 的 循环 是 以 字母 表 顺 序 来 对 结 点 进行 处 理 ， 并 且 连 接 链 表 中 的 结 点 也 是 以 字母 表 
顺序 排列 好 的 。 

22.5-3 Bacon 教授 声称 ， 如 果 在 第 二 次 深度 优先 搜索 时 使 用 原始 图 G 而 不 是 图 G 的 转 置 图 GT， 
并 且 以 完成 时 间 的 递增 次 序 来 扫描 结 点 ， 则 计算 强 连通 分 量 的 算法 将 会 更 加 简单 。 这 个 
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22.5-4 


22.5-5 


22. 5-6 


22.5-7 
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更 加 简单 的 算法 总 是 能 计算 出 正确 的 结果 吗 ? 

证 明 ， 对 于 任意 有 向 图 G 来 说 ，((GIT)szcz)T 王 GsC 。 也 就 是 说 ， 转 置 图 G 的 分 量 图 的 转 
置 与 图 G 的 分 量 图 相同 。 

给 出 一 个 时 间 复 杂 度 为 O(V 十 E) 的 算法 来 计算 有 向 图 G 二 (V，E) 的 分 量 图 。 请 确保 在 
算法 所 生成 的 分 量 图 中 ， 任 意 两 个 结 点 之 间 至 多 存在 一 条 边 。 

给 定 有 向 图 G 二 (V，E)， 请 说 明 如 何 创建 男 一 个 图 G'= 二 (V，E'), 使 得 : (a)G 的 强 连 
通 分 量 与 G 的 相同 ，(b)G' 的 分 量 图 与 G 的 相同 ， 以 及 (c)E' 所 包含 的 边 尽 可 能 少 。 请 
给 出 一 个 计算 图 G' 的 快速 算法 。 

给 定 有 向 图 G 二 (V，E)， 如 果 对 于 所 有 结 点 对 uw，vEV， RIA uv Ruu, WG 
是 半 连 通 的 。 请 给 出 一 个 有 效 的 算法 来 判断 图 G 是 否 是 半 连 通 的 。 证 明 算法 的 正确 性 
并 分 析 其 运行 时 间 。 


思考 题 

22-1 (以 广度 优先 搜索 来 对 图 的 边 进行 分 类 ) ”深度 优先 搜索 将 图 中 的 边 分 类 为 树 边 、 后 向 边 、 
前 向 边 和 横向 边 。 广 度 优先 搜索 也 可 以 用 来 进行 这 种 分 类 。 具 体 来 说 ， 广 度 优先 搜索 将 从 
源 结 点 可 以 到 达 的 边 划 分 为 同样 的 4 种 类 型 。 
a. 证 明 在 对 无 向 图 进行 的 广度 优先 搜索 中 ， 下 面 的 性 质 成 立 : 


已 


1. 不 存在 后 向 边 ， 也 不 存在 前 向 边 。 
2. 对 于 每 条 树 边 (x，z) ， 我 们 有 v.d=u.d+1, 
3. FERH CUu, v, RIA v. d=u. d Rv. d= 二 u.d 十 1。 


. 证 明 在 对 有 向 图 进行 广度 优先 搜索 时 ， 下 面 的 性 质 成 立 : 


1. 不 存在 前 向 边 。 

2. 对 于 每 条 树 边 (u，v)， RTA v.d=ud+1, 
3. 对 于 每 条 横向 边 (u，v)， 我 们 有 v. dv d 十 1。 
4. 对 于 每 条 后 向 边 (u，v)， 我 们 有 <v. du. d. 


22-2 (衔接 点 、 桥 和 双 连 通 分 量 ) ” 设 G=(V，E) 为 一 个 连通 无 向 图 。 图 G 的 衔接 点 是 指 图 G 
中 的 一 个 结 点 ， 删 除 该 结 点 将 导致 图 不 连通 。 图 G 的 桥 是 指 图 中 的 一 条 边 ， 删 除 该 条 边 ， 
图 就 不 再 连通 。 图 G 的 双 连 通 分 量 是 指 一 个 最 大 的 边 集 合 ， 里 面 的 任意 两 条 边 都 处 于 同一 
条 简单 环 路 中 。 图 22-10 描述 的 就 是 这 些 概念 的 定义 。 我 们 可 以 使 用 深度 优先 搜索 算法 来 
判断 图 G 的 衔接 点 、 桥 和 双 连 通 分 量 。 设 G, 二 (V，E,) 为 图 G 的 深度 优先 树 。 





图 22-10 思考 题 22-2 中 所 用 到 的 连通 无 向 图 的 衔接 点 、 桥 和 双 连 通 分量 。 图 中 深 阴 影 的 
结 点 为 衔接 点 ， 深 阴影 的 边 为 桥 ， 图 中 阴影 覆盖 的 区 域 中 的 边 (旁边 示 出 了 一 
个 pcc 编号 ) 表 示 双 连通 分 量 


a. 证 明 : G, 的 根 结 点 是 图 G 的 衔接 点 当 且 仅 当 它 在 G. 中 至 少 有 两 个 子 结 点 。 
b. 设 结 点 v AG, 的 一 个 非 根 结 点 。 证 明 : v 是 G 的 衔接 点 当 且 仅 当 结 点 v 有 一 个 子 结 点 


s， 且 没有 任何 从 结 点 或 任何 s 的 后 代 结 点 指向 v 的 真 祖先 的 后 向 边 。 
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c. 定义 
tow=min] g, Cu, WAEA VME ERB A u 的 一 条 后 向 边 
请 说 明 如 何在 OC(E) 的 时 间 内 为 所 有 结 点 v 计 算出 vw. low 的 值 。 
d. 说 明 如 何在 OCE) 时 间 内 计算 出 图 G 的 所 有 衔接 点 。 
e 证 明 : 图 G 的 一 条 边 是 桥 当 且 仅 当 该 边 不 属于 G 中 的 任何 简单 环 路 。 
f. 说 明 如 何在 OC(E) 时 间 内 计算 出 图 G 的 所 有 桥 。 
g 证 明 : G 的 双 连 通 分 量 是 G 的 非 桥 边 的 一 个 划分 。 
h 给 出 一 个 OC(E) 时 间 复 杂 度 的 算法 来 给 图 G 的 每 条 边 e 做 出 标记 。 这 个 标记 是 一 个 正 整 
数 e. bec HW E e. bcc 二 e'. bee 当 且 仅 当 边 e AW e 在 同一 个 双 连 通 分 量 中 。 
22-3 〈 欧 拉 回 路 ) ” 强 连 通 有 向 图 G 二 (V，E) 中 的 一 个 欧 拉 回 路 是 指 一 条 遍历 图 G 中 每 条 边 恰 
好 一 次 的 环 路 。 不 过 ， 这 条 环 路 可 以 多 次 访问 同一 个 结 点 。 
a. WEH: 图 G 有 一 条 欧 拉 回路 当 且 仅 当 对 于 图 中 的 每 个 结 点 v， 有 in-degree(v) = out- 
degree(v) 。 
b. 给 出 一 个 复杂 度 为 O(E) 的 算法 来 找 出 图 G 的 一 条 欧 拉 回路 。( 提 示 : 对 边 不 相交 环 路 


进行 归并 。) 
22-4 (可 到 达 性 ) 设 G=(V，E) 为 一 个 有 向 图 ， 且 每 个 结 点 wE€V 都 标 有 一 个 唯一 的 整数 值 标 
记 L(u)，L(w) 的 取 值 为 集合 {1，2，…，|V|}。 对 于 每 个 结 点 wE€EV, w Ru)={vEV: 


xA2a} 为 从 结 点 zx 可 以 到 达 的 所 有 结 点 的 集合 。 定 义 min(w) 为 RC(w) 中 标记 为 最 小 的 结 
点 ， 即 min(w) 为 结 点 v， WE LW) =min{L(w): wE R(wu)}。 请 给 出 一 个 时 间 复 杂 度 为 
OV 十 E) 的 算法 来 计算 所 有 结 点 EV 的 min(w)。 


本 章 注 记 

EvenL103] 和 TarjanL330] 是 非常 好 的 关于 图 算法 方面 的 参考 资料 。 

广度 优先 搜索 算法 由 MooreL260] 在 研究 迷宫 路 径 问题 时 所 发 现 。LeeL226] 在 研究 电子 线路 
板 的 排 线 问题 时 独立 地 发 现 了 同一 个 算法 。 

Hopcroft 和 Tarjan[L178] 提 倡 使 用 邻接 链表 而 不 是 邻接 矩阵 来 表示 稀 朴 图 ， 并 最 先 认 识 到 深 
度 优 先 搜索 算法 的 重要 性 。 深 度 优 先 搜索 在 20 世纪 50 年 代 晚 期 获得 广泛 使 用 ， 尤 其 是 在 人 工 智 
能 方面 。 

TarjanL327] 给 出 了 一 个 找 出 强 连通 分 量 的 线性 时 间 算 法 。22. 5 节 所 讨论 的 找 出 强 连通 分 量 
的 算法 摘自 于 Aho, Hopcroft 和 Ullman[ 6]， 而 该 文 的 作者 则 将 功劳 归于 S. R. Kosaraju( 未 发 表 ) 
和 M. Sharir[314]j。Gabow[119] 也 提出 了 一 个 计算 强 连通 分 量 的 算法 ， 它 的 做 法 是 收缩 环 路 ， 并 
使 用 两 个 栈 结构 来 保证 算法 以 线性 时 间 运 行 。Knuth[209] 第 一 个 给 出 了 计算 图 的 拓扑 排序 的 线 
性 时 间 算 法 。 
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最 小 生成 树 


在 电子 电路 设计 中 ， 我 们 常常 需要 将 多 个 组 件 的 针脚 连接 在 一 起 。 要 连接 ”个 针脚 ， 我 们 可 
以 使 用 一 1 根 连 线 ， 每 根 连 线 连接 两 个 针脚 。 很 显然 ， 我 们 希望 所 使 用 的 连 线 长 度 最 短 。 

我 们 可 以 将 上 述 的 布线 问题 用 一 个 连通 无 向 图 G 二 (V，E) 来 予以 表示 ， 这 里 的 V 是 针脚 的 
RE. E 是 针脚 之 间 的 可 能 连接 ， 并且 对 于 每 条 边 (u，v) EE， 我 们 为 其 赋予 权重 wau, vd EW 
连接 针脚 和 针脚 v 的 代价 (也 就 是 连 线 的 长 度 )。 我 们 希望 找到 一 个 无 环 子 集 TCE， 既 能 够 将 
所 有 的 结 点 (针脚 ) 连 接 起 来 ， 又 具有 最 小 的 权重 ， 即 wT) = Dw 2) 的 值 最 小 。 由 于 工 


是 无 环 的 ， 并 且 连 通 所 有 的 结 点 ， 因 此 ， 工 必然 是 一 棵 树 。 我 们 称 这 样 的 树 为 (图 G 的 ) 生 成 树 ， 
因为 它 是 由 图 G 所 生成 的 。 我 们 称 求 取 该 生成 树 的 问题 为 最 小 生成 树 问 题 s。 图 23-1 描 述 的 是 一 
个 连通 图 及 其 最 小 生成 树 的 例子 。 








图 23-1 连通 图 的 最 小 生成 树 。 每 条 边 上 标记 的 数值 为 该 条 边 的 权重 。 在 图 中 ， 属 于 最 小 生成 树 的 
边 都 加 上 了 阴影 。 图 中 所 示 的 生成 树 的 总 权重 为 37。 不 过 ,该 最 小 生成 树 并 不 是 唯一 的 : 
删除 边 (56，c)， 然 后 加 入 边 (a，h)， 将 形成 男 一 棵 权重 也 是 37 的 最 小 生成 树 


在 本 章 中 ， 我 们 将 详细 讨论 解决 最 小 生成 树 问题 的 两 种 算法 : Kruskal 算 法 和 Prim 算法。 如 
果 使 用 普通 的 二 叉 堆 ， 那 么 可 以 很 容易 地 将 这 两 个 算法 的 时 间 复 杂 度 限制 在 OC(E1lgV) 的 数量 级 
PY. {ARR SER AR RHE, Prim 算法 的 运行 时 间 将 改善 为 O(E 十 V lgV)。 此 运行 时 间 在 |V| 
远 远 小 于 | 已 | 的 情况 下 较 二 叉 堆 有 很 大 改进 。 

我 们 讨论 的 两 种 最 小 生成 树 算法 都 是 贪心 算法 。 如 本 书 第 16 章 所 讨论 的 ， 贪 心算 法 的 每 一 步 
必须 在 多 个 可 能 的 选择 中 选择 一 种 。 贪 心算 法 推荐 选择 在 当前 看 来 最 好 的 选择 。 这 种 策略 一 般 并 
不 能 保证 找到 一 个 全 局 最 优 的 解决 方案 。 但是， 对 于 最 小 生成 树 问 题 来 说 ， 我 们 可 以 证 明 ， 某 些 
贪心 策略 确实 能 够 找到 一 棵 权重 最 小 的 生成 树 。 虽 然 读 者 可 能 在 阅读 本 章 的 内 容 时 并 没有 将 其 与 第 
16 章 的 内 容 关 联 起 来 ， 但 这 里 所 阐述 的 贪心 策略 正 是 第 16 章 所 介绍 的 理论 思想 的 一 种 经 典 应 用 。 

因为 树 是 图 的 一 种 ， 为 了 精确 起 见 ， 我 们 在 定义 树 时 不 仅 要 用 到 边 ， 还 必须 用 到 结 点 。 虽 然 
本 章 在 讨论 树 的 时 候 关注 的 是 它 的 边 ， 但 我 们 必须 留意 的 是 ， 树 工 中 的 结 点 是 指 由 工 中 的 边 所 
连接 的 结 点 。 


23. 1 最 小 生成 树 的 形成 


假定 有 一 个 连通 无 向 图 C 一 (V， 刀 和 权重 函数 w: E>R, Fel ARIA G 的 一 棵 最 小 生成 树 。 
本 章 所 讨论 的 两 种 算法 都 使 用 贪心 策略 来 解决 这 个 问题 ， 但 它们 使 用 贪心 策略 的 方式 却 有 所 不 同 。 


O 术语 “最 小 生成 树 ”是 术语 “最 小 权重 生成 树 ” 的 简称 。 例 如 ,我 们 并 不 打算 将 工 中 的 边 的 条 数 减 到 最 少 ， 因 为 根 
据 定理 B.2， 生 成 树 必 须 恰好 有 | V | 一 1 条 边 。 
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这 个 贪心 策略 可 以 由 下 面 的 通用 方法 来 表述 。 该 通用 方法 在 每 个 时 刻 生长 最 小 生成 树 的 一 
条 边 ， 并 在 整个 策略 的 实施 过 程 中 ， 管 理 一 个 遵守 下 述 循环 不 变 式 的 边 集合 A: 

在 每 由 循环 之 前 ，A 是 某 棵 最 小 生成 树 的 一 个 子 集 。 

在 每 一 步 ， 我 们 要 做 的 事情 是 选择 一 条 边 (x，z) ， 将 其 加 入 到 集合 A 中 ， 使 得 A 不 违反 循 
环 不 变 式 ， 即 AU {(x， 妇 } 也 是 某 棵 最 小 生成 树 的 子 集 。 由 于 我 们 可 以 安全 地 将 这 种 边 加 入 到 集 
合 A 而 不 会 破坏 A 的 循环 不 变 式 ， 因 此 称 这 样 的 边 为 集合 A 的 安全 边 。 

GENERIC-MST(G, w) 

1 A=@ 

while A does not form a spanning tree 


A=AU {(u,v)} 


2 
3 find an edge(u,v)that is safe for A 
4 
5 return A 


我 们 使 用 循环 不 变 式 的 方式 如 下 : 

初始 化 : 在 算法 第 1 行 之 后 ， 集 合 A 直接 满足 循环 不 变 式 。 

保持 : 算法 第 2 一 4 行 的 循环 通过 只 加 入 安全 边 来 维持 循环 不 变 式 。 

终止 : 所 有 加 入 到 集合 A 中 的 边 都 属于 某 棵 最 小 生成 树 ， 因 此 ， 算 法 第 5 行 所 返回 的 集合 A 
必然 是 一 棵 最 小 生成 树 。 

当然 ， 这 里 的 奥妙 是 算法 的 第 3 行 : 找到 一 条 安全 边 。 这 条 安全 边 必 然 存 在 ， 因 为 在 执行 算 
法 第 3 行 时 ， 循 环 不 变 式 告诉 我 们 存在 一 棵 生成 树 T， 满 足 AST。 在 第 2 一 4 行 的 while 循环 体 
H, 集合 A 一 定 是 T 的 真子 集 ， 因 此 ， 必 然 存 在 一 条 边 (x，z) ET， 使 得 (u，v) A， 并 且 
(u，v) 对 于 集合 A 是 安全 的 。 

在 本 节 剩 下 的 篇 幅 里 ， 我 们 将 介绍 辨认 安全 边 的 规则 (定理 23.1)。 下 一 节 则 讨论 使 用 这 条 
规则 来 快速 找到 安全 边 的 两 个 算法 。 

我 们 首先 需要 一 些 定义 。 无 向 图 G==(V，E) 的 一 个 切割 (S,，V 一 S) 是 集合 V 的 一 个 划分 ， 如 
图 23-2 所 示 。 如 果 一 条 边 (u，)EE 的 一 个 端点 位 于 集合 S， 另 一 个 端点 位 于 集合 V 一 S， 则 称 该 
条 边 横 跨 切 割 (S，V 一 S) 。 如 果 集合 A 中 不 存在 横 跨 该 切割 的 边 ， 则 称 该 切割 尊重 集合 A。 在 横 跨 
一 个 切割 的 所 有 边 中 ， 权 重 最 小 的 边 称 为 轻 量 级 边 。 注 意 ， 轻 量 级 边 可 能 不 是 唯一 的 。 一 般 ， 如 
果 一 条 边 是 满足 某 个 性 质 的 所 有 边 中 权重 最 小 的 ， 则 称 该 条 边 是 满足 给 定性 质 的 一 条 轻 量 级 边 。 





(a) (b) 


图 23-2 图 23-1 所 示 的 图 的 切割 (S，V 一 S)， 这 里 给 出 了 两 个 视角 。(a) 黑 色 结 点 位 于 集合 S 中 ， 白 色 结 
点 位 于 集合 V 一 S 中 。 横 跨 该 切割 的 边 是 那些 连接 白色 结 点 和 黑色 结 点 的 边 。 边 (&，<c) 是 横 跨 该 
切割 的 唯一 一 条 轻 量 级 边 。 加 了 阴影 的 边 属于 子 集 A: 注意 切割 (S，V 一 S) 尊 重 集合 A， 因 为 集 
合 A 中 没有 横 跨 该 切割 的 边 。(b) 同 一 个 图 ， 只 不 过 将 集合 S 中 的 结 点 画 在 左边 , 集合 V 一 S 中 
的 结 点 画 在 右面 。 横 跨 切割 的 边 所 连接 的 一 端 是 左面 的 结 点 ， 另 一 端 是 右面 的 结 点 
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用 来 辨认 安全 边 的 规则 由 下 面 的 定理 给 出 。 

定理 23.1 设 G=(V， EE) 是 一 个 在 边 忆 上 定义 了 实数 值 权重 函数 的 连通 无 向 图 。 设 集合 
A 为 巨 的 一 个 子 集 ， 且 A 包括 在 图 G 的 某 棵 最 小 生成 树 中 ， 设 (S，V 一 S) 是 图 G 中 尊重 集合 A 
的 任意 一 个 切割 ， 又 设 (xk， 切 是 横 跨 切割 (S，V 一 S) 的 一 条 轻 量 级 边 。 那 么 边 (k，z) 对 于 集合 A 
是 安全 的 。 

证 明 设 工 是 一 棵 包括 A 的 最 小 生成 树 ， 并 假定 工 不 包含 轻 量 级 边 (x，z;， 和 否则， 我们 已 
经 证 明 完 毕 。 现 在 来 构建 另 一 棵 最 小 生成 树 工 ， 我 们 通过 前 切 和 粘贴 来 将 AU{(x，z)} 包 括 在 
KTP, MAMER CU, VIITES A 来 说 是 安全 的 。 

Wu, 区 与 工 中 从 结 点 到 结 点 v 的 简单 路 径 p 形 成 一 个 环 路 ， 如 图 23-3 所 示 。 由 于 结 点 
u 和 结 点 v 分 别处 在 切割 (S,，V 一 S) 的 两 端 ,， 本 中 至 少 有 一 条 边 属于 简单 路 径 p 并 且 横 跨 该 切 
割 。 设 (rx，y) 为 这 样 的 一 条 边 。 因 为 切割 (S,，V 一 5) 尊重 集合 A， 边 (x，y) 不 在 集合 A 中。 由 于 
边 (x，) 位 于 中 从 到 wv 的 唯一 简单 路 径 上 ， 将 该 条 边 删除 会 导致 被 分 解 为 两 个 连通 分 量 。 
将 (u，) 加 上 去 可 将 这 两 个 连通 分 量 连接 起 来 形成 一 棵 新 的 生成 树 T' 二 T 一 {(zx，y)}U{(u, v))。 





图 23-3 定理 23. 1 的 证 明 。 黑 色 结 点 位 于 集合 S 里 ， 白 色 结 点 位 于 集合 V 一 S 里 。 图 中 仅 
描述 了 最 小 生成 树 工 中 的 边 ， 而 没有 绘 出 图 G 中 的 其 他 边 。 集 合 A 中 的 边 都 加 了 
阴影 ， 边 (x， 了 是 横 跨 切割 (S，V 一 S) 的 一 条 轻 量 级 边 。 边 (z，y) 是 树 工 里 面 从 
结 点 4 到 结 点 v 的 唯一 简单 路 径 上 的 一 条 边 。 要 形成 一 棵 包含 (u，v) 的 最 小 生成 
BT, RERE TP PHRA, y), REMEH, VR 


下 面 证 明 T' 是 一 棵 最 小 生成 树 。 由 于 边 (x， 了 是 横 跨 切割 (S，V 一 S) 的 一 条 轻 量 级 边 并 且 

边 (z，y) 也 横 跨 该 切割 ， 我 们 有 wu, Swa, y). A, 
w(T') = wT) — wlz, y) +wlu,v) < wT) 

但 是 ， 工 是 一 棵 最 小 生成 树 ， 我 们 有 w( 了 TD 三 w(T'); 因此，T 一 定 也 是 一 棵 最 小 生成 树 。 

下 面 还 需要 证 明 边 (wu，v) 对 于 集合 A 来 说 是 一 条 安全 边 。 因 为 ACT 并 且 (z，y) 儿 A， 所 以 
有 AST'; 因此 AU{(u, 臣 }CST'。 由 于 TT' 是 最 小 生成 树 ，(u，wv) 对 于 集合 A 是 安全 的 。 m 

定理 23. 1 能 够 帮助 我 们 更 好 地 理解 连通 图 G 二 (V，E) 上 算法 GENERIC-MST 的 工作 原理 。 
随 着 该 算法 的 推进 ， 集 合 A 总 是 保持 在 无 环 状态 ; 否则 ， 包含 A 的 最 小 生成 树 将 包含 一 个 环 路 ， 
这 将 与 树 的 定义 相 矛 盾 。 在 算法 执行 的 任意 时 刻 ， 图 G4 一 (V，A) 是 一 个 森林 ，G 中 的 每 个 连 
通 分 量 则 是 一 棵 树 ( 某 些 树 可 能 仅 包含 一 个 结 点 ， 如 在 算法 开始 时 ， 集 合 A 为 空 ， 而 森林 中 包含 
1V| 棵 树 ， 每 棵 树 中 只 有 一 个 结 点 ) 。 而 且 ， 由 于 AU {(x，z)} 必 须 是 无 环 的 ， 所 有 对 于 集合 A 
为 安全 的 边 (x， 了 所 连接 的 是 Ga 中 不 同 的 连通 分 量 。 

GENERIC-MST 算法 的 第 2 一 4 行 的 while 循环 执行 的 总 次 数 为 |V| 一 1 次 ， 因 为 该 循环 的 每 
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遍 循 环 都 找 出 最 小 生成 树 所 需 |V| 一 1 条 边 中 的 一 条 。 在 初始 时 ， 当 A= 多时 ，Ga HA |V | ER 
树 ， 每 遍 循环 将 树 的 数量 减少 1 棵 。 当 整个 森林 仅 包含 一 棵 树 时 ， 该 算法 就 终止 。 

23. 2 节 中 的 两 个 算法 将 使 用 定理 23. 1 的 下 列 推论 。 

推论 23.2 设 G=(V， EE) 是 一 个 连通 无 向 图 ， 并 有 定义 在 边 集合 羽 上 的 实数 值 权 重 函 数 包 。 
设 和 集合 A 为 已 的 一 个 子 集 ， 且 该 子 集 包 括 在 G 的 某 棵 最 小 生成 树 里 ， 并 设 C 二 (Vc，Ec) 为 森林 
Ga 二 (V，A) 中 的 一 个 连通 分 量 ( 树 )。 如 果 边 (u，v) 是 连接 C 和 Ga 中 某 个 其 他 连通 分 量 的 一 条 
轻 量 级 边 ， 则 边 (u，vv) 对 于 集合 A 是 安全 的 。 

证 明 ”切割 (Vc,，V 一 Ve) 尊重 集合 A, 边 (x， 了 是 横 跨 该 切割 的 一 条 轻 量 级 边 ， 因 此 ， 边 


(u，v) 对 于 集合 A 是 安全 的 。 a 
练习 
23.1-1 Ku, VEKK G 中 的 一 条 权重 最 小 的 边 ， 证明: Wu, OAK G 的 某 棵 最 小 生成 


23. 


23. 


23. 


23. 


1-2 


- 1-6 


1-7 


.1-8 


.1-9 


树 中 的 一 条 边 。 

Sabatier 教授 猜想 出 了 定理 23. 1 的 一 个 逆 定 理 如 下 : 设 G==(V，E) 是 一 个 连通 无 向 图 ， 
并 有 定义 在 边 集 合 正 上 的 实数 值 权重 函数 ww。 设 集合 A 为 E 的 一 个 子 集 ， 该 子 集 包含 
在 图 G 的 某 个 最 小 生成 树 中 。 又 设 (S，V 一 S) 为 G 中 任意 尊重 集合 A 的 一 个 切割 ， 边 
(u，) 是 一 条 横 跨 切割 (S，V 一 S) 且 对 于 集合 A 安全 的 边 。 那 么 边 (u，wv) 是 该 切割 的 一 
条 轻 量 级 边 。 请 通过 举 出 反例 来 证 明 Sabatier 教授 的 猜想 是 不 正确 的 。 

证 明 : 如 果 图 G 的 一 条 边 (u，wv) 包 含 在 图 G 的 某 棵 最 小 生成 树 中 ， 则 该 条 边 是 横 跨 图 G 
的 某 个 切割 的 一 条 轻 量 级 边 。 

给 出 一 个 连通 图 的 例子 ， 使 得 边 集合 {(x，z) : 存在 一 个 切割 (S,，V 一 S),， 14u, v) 
是 横 跨 该 切割 的 一 条 轻 量 级 边 } 不 形成 一 棵 最 小 生成 树 。 

设 e 为 连通 图 G= 二 (V，E) 的 某 条 环 路 上 权重 最 大 的 边 。 证 明 : AG =(V, E—{e}) PH 
在 一 棵 最 小 生成 树 ， 它 也 同时 是 G 的 最 小 生成 树 。 也 就 是 说 ， 图 G 中 存在 一 棵 不 包含 
We 的 最 小 生成 树 。 

证 明 : 如 果 对 于 图 的 每 个 切割 ， 都 存在 一 条 横 跨 该 切割 的 唯一 的 轻 量 级 边 ， 则 该 图 存在 
一 棵 唯一 的 最 小 生成 树 。 并 通过 举 出 反例 来 证 明 其 逆 论 断 不 成 立 。 

证 明 : 如 果 一 个 图 的 所 有 边 的 权重 都 是 正 值 ， 则 任意 一 个 连接 所 有 结 点 且 总 权重 最 小 的 
一 个 边 集 合 必然 形成 一 棵 树 。 另 外 ， 请 举 出 例子 来 证 明 : 如 果 人 允许 某 些 边 的 权重 为 负 
值 ， 则 该 论断 不 成 立 。 

it THEG 的 一 棵 最 小 生成 树 ， 设 工 AMT 中 一 个 边 权 重 的 有 序列 表 。 证 明 : 对 于 图 
G 的 任何 其 他 最 小 生成 树 T'， 列 表 工 也 是 T' 中 一 个 边 权重 的 有 序列 表 。 

设 T 为 G 二 (V，E) 的 一 棵 最 小 生成 树 , BV A V 的 一 个 子 集 。 设 T' 为 由 V' 所 诱导 的 
工 的 子 图 ， 设 G 为 由 V 诱导 的 G 的 子 图 。 证 明 : MRT REM, WT’ ECHR 
最 小 生成 树 。 


.1-10 给 定 图 G 和 G 的 一 棵 最 小 生成 树 T， 假 设 减 小 了 工 中 一 条 边 的 权重 。 证 明 : 工 仍然 是 G 的 


一 棵 最 小 生成 树 。 更 形式 化 地 ， 设 TAG 的 一 棵 最 小 生成 树 ，G 的 边 权 重 由 权重 函数 也 给 
出 。 选 择 一 条 边 (z，y)E 开 和 一 个 正 数 &， 并 定义 下 述 的 权重 函数 w: 

wu,v) # (u,v) Æ (x,y) 

wlr,y)—k #(u,v) = (x,y) 

证 明 : TREG 的 一 棵 最 小 生成 树 ， 这 里 G KAANE h AA w 给 出 。 


w (u,v) 一 
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x*23. 1-11 给 定 图 G 和 一 棵 最 小 生成 树 工 ， 假 设 减 小 了 位 于 工 之 外 的 某 条 边 的 权重 。 请 给 出 一 个 
在 修改 后 的 图 中 寻找 最 小 生成 树 的 算法 。 


23.2 Kruskal 算法 和 Prim 算法 
本 节 对 最 小 生成 树 问题 的 两 个 经 典 算法 进行 讨论 。 这 两 种 算法 都 是 前 一 节 所 讨论 的 通用 算 
法 的 细 化 ， 每 种 算法 都 使 用 一 条 具体 的 规则 来 确定 GENERIC-MST 算法 第 3 行 所 描述 的 安全 边 。 
在 Kruskal 算法 中 ， 集 合 A 是 一 个 森林 ， 其 结 点 就 是 给 定 图 的 结 点 。 每 次 加 入 到 集合 A 中 的 安 
全 边 永远 是 权重 最 小 的 连接 两 个 不 同 分 量 的 边 。 在 Prim 算法 里 ， 集 合 A 则 是 一 棵 树 。 每 次 加 入 
到 A 中 的 安全 边 永远 是 连接 A 和 A 之 外 某 个 结 点 的 边 中 权重 最 小 的 边 。 
Kruskal 算法 
Kruskal 算法 找到 安全 边 的 办 法 是 ， 在 所 有 连接 森林 中 两 棵 不 同 树 的 边 里 面 ， 找 到 权重 最 小 
KCU, v). HC 和 Cs 为 边 (x，z 所 连接 的 两 棵 树 。 由 于 边 (x，z) 一 定 是 连接 C 和 其 他 某 棵 
树 的 一 条 轻 量 级 边 ， 推 论 23. 2 隐 含 告诉 我 们 ， 边 (u，wv) 是 GC 的 一 条 安全 边 。 很 显然 ，Kruskal 
算法 属于 贪心 算法 ， 因 为 它 每 次 都 选择 一 条 权重 最 小 的 边 加 入 到 森林 。 
Kruskal 算法 的 实现 与 21. 1 节 所 讨论 的 计算 连通 分 量 的 算法 类 似 。 我 们 使 用 一 个 不 相交 集 
合 数据 结构 来 维护 几 个 互 不 相交 的 元 素 集合 。 每 个 集合 代表 当前 森林 中 的 一 棵 树 。 操 作 FIND- 
SET(z) 用 来 返回 包含 元 素 u 的 集合 的 代表 元 素 。 我 们 可 以 通过 测试 FIND-SET(w) 是 否 等 于 
FIND-SET(u) 来 判断 结 点 u 和 结 点 是 否 属于 同一 棵 树 。Kruskal 算法 使 用 UNION 过 程 来 对 两 
棵 树 进 行 合并 。 
MST-KRUSKAL(G,w) 
A=Ø 
for each vertex v€G. V 


MAKE-SET(wv) 
sort the edges of G. E into nondecreasing order by weight w 


if FIND-SET(v) #FIND-SET(v) 
A=AU {(u,v)} 


1 
2 
3 
4 
5 for each edge(u,v) €G. E, taken in nondecreasing order by weight 
6 
7 
8 UNION(u,v) 

9 


return A 


图 23-4 描述 的 是 Kruskal 算法 的 工作 过 程 。 算 法 的 第 1 一 3 行将 集合 A 初始 化 为 一 个 空 集 
合 ， 并 创建 |V| 棵 树 ， 每 棵 树 仅 包含 一 个 结 点 。 算 法 第 5 一 8 行 的 for 循环 按照 权重 从 低 到 高 的 次 
序 对 每 条 边 逐 一 进行 检查 。 对 于 每 条 边 (u，wv) 来 说 ， 该 循环 将 检查 端点 u 和 端点 v 是 否 属于 同一 
棵 树 。 如 果 是 ， 该 条 边 不 能 加 入 到 森林 里 (否则 将 形成 环 路 )。 如 果 不 是 ， 则 两 个 端点 分 别 属于 不 
同 的 树 ， 算 法 第 7 行将 把 这 条 边 加 入 到 集合 A 中 , 第 8 行 则 将 两 棵 树 中 的 结 点 进行 合并 。 

对 于 图 G 二 (V，E)，Kruskal 算法 的 运行 时 间 依 赖 于 不 相交 集合 数据 结构 的 实现 方式 。 假 定 
使 用 21. 3 节 所 讨论 的 不 相交 集合 森林 实现 ， 并 增加 按 秩 合并 和 路 径 压 缩 的 功能 ， 因 为 这 是 目前 
已 知 的 渐 近 时 间 最 快 的 实现 方式 。 在 这 种 实现 模式 下 ， 算 法 第 1 行 对 集合 A 的 初始 化 时 间 为 
O(1)， 第 4 行 对 边 进行 排序 的 时 间 为 O(ElgE)( 稍 后 将 会 讨论 算法 第 2~3 行 for 循环 中 的 |V| 个 
MAKE-SET 操作 的 代价 ) 。 算 法 第 5 一 8 行 的 for 循环 执行 O(E) 个 FIND-SET 和 UNION 操作 。 
与 1V| 个 MAKE-SET 操作 一 起 ， 这 些 操作 的 总 运行 时 间 为 O((V 十 E)a(V))， 这 里 a 是 21.4 节 
所 定义 的 一 个 增长 非常 缓慢 的 函数 。 由 于 假定 图 G 是 连通 的 ， 因 此 有 |E| 宇 |V| 一 1， 所 以 不 相 
交集 合 操作 的 时 间 代 价 为 O(Ea(V))。 而 且 ， 由 于 a(1V|)= 二 O(NgV)= 二 Ol(lgE)，Kruskal 算法 的 
总 运行 时 间 为 O(ElgE)。 如 果 再 注意 到 |E| 二 |V|*:, WA lg|E| = 二 OlgV)， 因 此 ， 我 们 可 以 将 
Kruskal 算法 的 时 间 重 新 表示 为 OCE lgV). 
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图 23-4 在 图 23-1 上 执行 Kruskal 算 法 的 过 程 。 加 了 阴影 的 边 属于 不 断 增 长 的 森林 A。 该 算法 按 
照 边 的 权重 大 小 依次 进行 考虑 。 箭 头 指向 的 边 是 算法 每 一 步 所 考察 的 边 。 如 果 该 条 边 632 
将 两 棵 不 同 的 树 连 接 起 来 ， 它 就 被 加 入 到 森林 里 ， 从 而 完成 对 两 棵 树 的 合并 
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Prim 算法 

与 Kruskal 算法 类 似 ，Prim 算法 也 是 23. 1 节 所 讨论 的 通用 最 小 生成 树 算法 的 一 个 特例 。 
Prim 算法 的 工作 原理 与 Dijkstra 的 最 短路 径 算 法 相似 (该 算法 将 在 24. 3 节 中 讨论 ) Prim 算法 所 
具有 的 一 个 性 质 是 集合 A 中 的 边 总 是 构成 一 棵 树 。 如 图 23-5 所 示 ， 这 棵 树 从 一 个 任意 的 根 结 点 
r 开 始 ， 一直 长 大 到 覆盖 V 中 的 所 有 结 点 时 为 止 。 算 法 每 一 步 在 连接 集合 A 和 A 之 外 的 结 点 的 
所 有 边 中 ， 选 择 一 条 轻 量 级 边 加 入 到 A 中 。 根 据 推论 23.2， 这 条 规则 所 加 入 的 边 都 是 对 A 安全 
的 边 。 因 此 ， 当 算法 终止 时 ，A 中 的 边 形成 一 棵 最 小 生成 树 。 本 策略 也 属于 贪心 策略 ， 因 为 每 一 
步 所 加 入 的 边 都 必须 是 使 树 的 总 权重 增加 量 最 小 的 边 。 








图 23-5 在 图 23-1 上 执行 Prim 算 法 的 过 程 。 初 始 的 根 结 点 为 a。 加 阴影 的 边 和 黑色 的 结 点 都 属于 树 
A。 在 算法 每 一 步 ， 树 中 的 结 点 就 决定 了 图 的 一 个 切割 ， 横 跨 该 切割 的 一 条 轻 量 级 边 被 加 入 
到 树 中 。 例 如 ， 在 图 中 的 第 2 步 ， 该 算法 可 以 选择 将 边 (56，c) 加 入 到 树 中 ， 也 可 以 选择 将 边 
(a，h) 加 入 到 树 中 ， 因 为 这 两 条 边 都 是 横 跨 该 切割 的 轻 量 级 边 
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为 了 有 效 地 实现 Prim 算法 ， 需 要 一 种 快速 的 方法 来 选择 一 条 新 的 边 ， 以 便 加 入 到 由 集合 A 
中 的 边 所 构成 的 树 里 。 在 下 面 的 伪 代 码 中 ， 连 通 图 G 和 最 小 生成 树 的 根 结 点 ~ 将 作为 算法 的 输 
入 。 在 算法 的 执行 过 程 中 ， 所 有 不 在 树 A 中 的 结 点 都 存放 在 一 个 基于 key 属性 的 最 小 优先 队列 Q 
中 。 对 于 每 个 结 点 w， 属 性 v. key 保存 的 是 连接 v 和 树 中 结 点 的 所 有 边 中 最 小 边 的 权重 。 我 们 约 
定 ， 如 果 不 存在 这 样 的 边 ， 则 v. key 二 oo。 属 性 v r 给 出 的 是 结 点 v 在 树 中 的 父 结 点 。Prim 算法 
将 GENERIC-MST 中 的 集合 A 维持 在 A 二 {(v，v. 7): vEV 一 {7} 一 Q} 的 状态 下 。 
当 Prim 算法 终止 时 ， 最 小 优先 队列 Q 将 为 空 ， 而 G 的 最 小 生成 树 A 则 是 : 
A= {(v,v.n):v € V—{r}} 
MST-PRIM(G, w,r) 
1 for each «EG. V 
2 u;key=co 
u:x=NIL 
r:key=0 
Q=G.V 
while Q4 Ø 
u=EXTRACT-MIN(Q) 
for each vEG. Adj[u] 
if vE Q and wlu,v)<v. key 


10 v. n=u 


canna a A WwW 


11 v. key=wu,v) 


图 23-5 描述 的 是 Prim 算法 的 工作 过 程 。 算 法 第 1 一 5 行将 每 个 结 点 的 key 值 设 置 为 cc( 除 根 
结 点 7 以 外 ， 根 结 点 7 的 key 值 设 置 为 0， 以便 使 该 结 点 成 为 第 一 个 被 处 理 的 结 点 ) ， 将 每 个 结 点 
的 父 结 点 设置 为 NIL， 并 对 最 小 优先 队列 Q 进行 初始 化 ， 使 其 包含 图 中 所 有 的 结 点 。 该 算法 维 
持 的 循环 不 变 式 由 3 个 部 分 组 成 ， 具 体 阐述 如 下 。 

在 算法 第 6 一 11 行 的 while 循环 的 每 遍 循 环 之 前 ， 我 们 有 : 

1.A={(v, um): vEV 一 {(r) 一 Q)。 

2. 已 经 加 入 到 最 小 生成 树 的 结 点 为 集合 V 一 Q。 

3. 对 于 所 有 的 结 点 VEQ, WR vec ANIL, W) v. key 二 oo 并 且 v. key 是 连接 结 点 v 和 最 小 生 
成 树 中 某 个 结 点 的 轻 量 级 边 (v，w. MAH. 

算法 第 7 行将 找 出 结 点 w€ Q， 该 结 点 是 某 条 横 跨 切割 (V 一 Q，@Q) 的 轻 量 级 边 的 一 个 端点 
(第 1 次 循环 时 例外 ， 此 时 因为 算法 的 第 4 行 ， 所 以 有 ur). BAA ud AFI Q 中 删除 ， 
并 将 其 加 入 到 集合 V 一 Q 中， 也 就 是 将 边 (u，u. xz) 加 入 到 集合 A 中。 算法 第 8 一 11 行 的 for 循 
环 将 每 个 与 x 邻接 但 却 不 在 树 中 的 结 点 v 的 key 和 zx 属性 进行 更 新 ， 从 而 维持 循环 不 变 式 的 第 3 
部 分 成 立 。 

Prim 算法 的 运行 时 间 取 决 于 最 小 优先 队列 Q 的 实现 方式 。 如 果 将 Q 实 现 为 一 个 二 叉 最 小 优 
先 队列 (请 参阅 第 6 章 的 内 容 )， 我 们 可 以 使 用 BUILD-MIN-HEAP 来 执行 算法 的 第 1 一 5 行 ， 时 
间 成 本 为 O(V) 。while 循环 中 的 语句 一 共 要 执行 |V| 次 ， 由 于 每 个 EXTRACT-MIN 操作 需要 的 
时 间 成 本 为 O(lgV) ，EXTRACT-MIN 操作 的 总 时 间 为 OC(VlgV)。 由 于 所 有 邻接 链表 的 长 度 之 和 
为 21E|, 算法 第 8 一 11 行 的 for 循环 的 总 执行 次 数 为 O(E)。 在 for 循环 里 面 ， 我们 可 以 在 常数 
时 间 内 完成 对 一 个 结 点 是 否 属于 队列 Q 的 判断 ， 方法 就 是 对 每 个 结 点 维护 一 个 标志 位 来 指明 该 
结 点 是 否 属于 Q， 并 在 将 结 点 从 Q 中 删除 的 时 候 对 该 标志 位 进行 更 新 。 算 法 第 11 行 的 赋值 操作 
涉及 一 个 隐 含 的 DECREASE-KEY 操作 ， 该 操作 在 二 叉 最 小 堆 上 执行 的 时 间 成 本 为 O(lgV) 。 因 
此 ，Prim 算法 的 总 时 间 代 价 为 OOVlgV 十 ElgV)=OCElgV)。 从 渐 近 意义 上 来 说 ， 它 与 Kruskal 
算法 的 运行 时 间 相 同 。 
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如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q, Prim 算法 的 渐 近 运行 时 间 可 以 得 到 进一步 改 


善 。 第 


19 章 的 内 容 告诉 我 们 ， 如 果 斐 波 那 契 堆 中 有 |V| 个 元 素 ， 则 EXTRACT-MIN 操作 的 时 间 


摊 还 代价 为 O(lgV) ， 而 DECREASE-KEY 操作 (用 于 实现 算法 第 11 行 的 操作 ) 的 摊 还 时 间 代价 为 


O(G1) 。 因 此 ， 如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q， 则 Prim 算法 的 运行 时 间 将 改进 

BIIOCE+V IgV). 

练习 

23.2-1 对 于 同一 个 输入 图 ，Kruskal 算法 返回 的 最 小 生成 树 可 以 不 同 。 这 种 不 同 来 源 于 对 边 进 
行 排序 时 ， 对 权重 相同 的 边 进行 的 不 同 处 理 。 证 明 : 对 于 图 G 的 每 棵 最 小 生成 树 工 ， 都 
存在 一 种 办 法 来 对 G 的 边 进行 排序 ， 使 得 Kruskal 算法 所 返回 的 最 小 生成 树 就 是 To 

23.2-2 假定 我 们 用 邻接 矩阵 来 表示 图 G=(V, E), WAH Prim 算法 的 一 种 简单 实现 ， 使 其 运 
行 时 间 为 OOV ) 。 

23.2-3 FRA G 一 (V，E) ， 这 里 | 无 | =B(CV) ， 使 用 斐 波 那 契 堆 实 现 的 Prim 算法 是 否 比 使 
用 二 叉 堆 实 现 的 算法 更 快 ? 对 于 稠密 图 又 如 何 呢 ? | E| 和 |VY| 必 须 具 备 何 种 关系 才能 使 
斐 波 那 契 堆 的 实现 在 渐 近 级 别 上 比 二 又 堆 的 实现 更 快 ? 

23.2-4 假定 图 中 的 边 权重 全 部 为 整数 ， 且 在 范围 1 一 |V| 内 。 在 此 种 情况 下 ，Kruskal 算法 最 
快 能 多 快 ? 如 果 边 的 权重 取 值 范围 在 1 到 某 个 常数 W 之 间 呢 ? 

23.2-5 假定 图 中 边 的 权重 取 值 全 部 为 整数 ， 且 在 范围 ~IVA. Prim 算法 最 快 能 多 快 ? 如 果 
边 的 权重 取 值 范围 在 1 到 某 个 常数 W 之 间 呢 ? 

*23.2-6 ”假定 一 个 图 中 所 有 的 边 权 重 均匀 分 布 在 半 开 区 间 [0，1) 内 。Prim 算法 和 Kruskal 算法 哪 
一 个 可 以 运行 得 更 快 ? 

*23.2-7 假定 图 G 的 一 棵 最 小 生成 树 已 经 被 计算 出 来 。 如 果 在 图 中 加 入 一 个 新 结 点 及 其 相关 的 
新 边 ， 我 们 需要 多 少时 间 来 对 最 小 生成 树 进行 更 新 ? 

23.2-8 Borden 教授 提出 了 一 个 新 的 分 治 算法 来 计算 最 小 生成 树 。 该 算法 的 原理 如 下 : 给 定 图 
G=(V，E)， 将 Y 划 分 为 两 个 集合 上 和 V。， 使 得 |V | 和 |V; | 的 差 最 多 为 1。 设 巨 为 
端点 全 部 在 Vi 中 的 边 的 集合 ，E; 为 端点 全 部 在 V 中 的 边 的 集合 。 我 们 递归 地 解决 两 
AFA G=V,, EDA GSV, E) WSyME RO. Ba. TERA 正中 选择 横 
EUN Vi 和 V 的 最 小 权重 的 边 来 将 求 出 的 两 棵 最 小 生成 树 连接 起 来 ， 从 而 形成 一 棵 
最 后 的 最 小 生成 树 。 

请 证 明 该 算法 能 正确 计算 出 一 棵 最 小 生成 树 ， 或 者 举 出 反例 来 明说 该 算法 不 正确 。 

思考 题 
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(次 优 最 小 生成 树 ) ” 设 G==(V,，E) 为 一 连通 无 向 图 ， 其 权重 函数 为 w: ER, 假定 


1E| 宇 |V| 并 且 所 有 的 权重 都 互 不 相同 。 我 们 定义 一 棵 次 优 最 小 生成 树 如 下 : BTH G H 


所 有 生成 树 的 集合 ，T 为 G 的 一 棵 最 小 生成 树 。 那 么 次 优 最 小 生成 树 是 生成 树 T， 其 满 


E w(T) = min {w( TIY 
a. 证 明 : 最 小 生成 树 是 唯一 的 ， 但 次 优 最 小 生成 树 则 不 一 定 是 唯一 的 。 
b. 设 了 为 CG 的 一 棵 最 小 生成 树 。 证 明 : 图 G 包含 边 (wu，v) ET 和 边 (x，y) 儿 FT， 使 得 


T—{Cu, ZU(Cz，y)} 是 G 的 一 棵 次 优 最 小 生成 树 。 


c WT AG 的 一 棵 最 小 生成 树 ， 对 于 任意 两 个 结 点 wx，zvEV， 设 maxLx， 人 表示 树 工 中 


从 结 点 & 到 结 点 wv 的 简单 路 径 上 最 大 权重 的 边 ， 请 给 出 一 个 O(V?) 时 间 复 杂 度 的 算法 来 
计算 maxlu, vl. 


23-2 


第 23 章 最 小 生成 树 - 371 


d. 给 出 一 个 有 效 算法 来 计算 图 G 的 次 优 最 小 生成 树 。 
(PRB AR) AR) 对 于 非常 稀 朴 的 图 G 二 (V，E) 来 说 ,我 们 可 以 对 Prim 算法 进行 
进一步 改善 ， 改 善后 的 时 间 将 优 于 使 用 斐 波 那 契 堆 时 的 O(E 十 VlgV) 的 运行 时 间 。 改 善 所 
用 的 方法 就 是 对 图 G 进行 预 处 理 来 减少 结 点 的 数量 ， 然 后 在 减少 结 点 数量 后 的 图 C 上 运 
行 Prim 算法 。 具 体 来 说 ， 对 于 每 个 结 点 w， 我 们 选择 与 结 点 x 邻接 的 边 中 最 小 权重 的 边 
(u，v)， 将 其 加 入 到 正在 构建 的 最 小 生成 树 里 。 然 后 对 所 有 选择 的 边 进行 收缩 (请 参阅 
B. 4 节 的 内 容 )。 不 过 ， 我 们 不 是 一 条 一 条 地 收缩 每 条 边 ， 而 是 首先 找 出 连接 到 同一 个 新 
结 点 的 结 点 集合 。 然 后 创建 一 个 新 的 图 ， 这 个 新 的 图 就 如 每 次 收缩 这 样 一 条 边 所 得 出 的 一 
样 ， 但 我 们 是 通过 “重新 命名 ?来 实现 。 重 新 命名 是 根据 每 条 边 的 端点 所 在 的 结 点 集合 来 进 
行 。 原 始 图 中 的 多 条 边 可 能 被 重 命名 为 同样 的 名 。 在 这 种 情况 下 ， 重 名 的 边 中 只 有 一 条 边 
留 下 ， 这 条 边 对 应 原始 边 中 最 小 权重 的 边 。 
在 初始 时 ， 我 们 把 将 要 构建 的 最 小 生成 树 丁 设 为 空 ， 对 于 每 条 边 (u，v) EE， 对 其 属 

性 进行 如 下 的 初始 化 操作 : Cu, v).orig=(u, v), (u, v).c=wlu, v), RANMA orig 
属性 来 引用 原始 图 中 与 收缩 后 的 图 的 边 相 关 的 边 。 属 性 c 记录 边 的 权重 ， 随 着 边 的 收缩 ， 
我 们 根据 上 面 选择 边 权 重 的 方法 来 更 新 这 个 属性 。 下 面 的 MST-REDUCE 算法 以 图 G 和 
树 工 作为 输入 ， 返 回 一 个 收缩 后 的 图 G' 和 更 新 后 的 属性 orig’ 与 < 。 该 算法 同时 选 出 图 G 
中 的 边 来 构成 最 小 生成 树 T 

MST-REDUCE(G, T) 

1 for each v EG. V 

2 v. mark = FALSE 

3 MAKE-SET(v) 

4 for eachu E€ G.V 

5 if u. mark==FALSE 

6 choose v €G. Adj{u]such that(u. v). c is minimized 

7 UNION(u, v) 

8 T=TU {(u,v)}. orig} 

9 u. mark=v. mark= TRUE 
10 G'.V=(FIND-SET(v) :vEG. V} 
11 G'.E=Ø 
12 for each(z,y)€ G.E 
13 u=FIND-SET(2) 

14 v=FIND-SET(y) 


15 if(u. v) ¢G'. E 

16 G'. E=G'. EU{(u,v)) 

17 (u,v). orig’ =(z,y). orig 
18 (u,v). c'=(2,y).€ 

19 else if(x, y). c<(u,v). c" 

20 (u,v). orig'=(x,y). orig 


21 (u,v). c'=(x,y).c 
22 construct adjacency lists G': Adj for G' 
23 return G' and T 


a. 设 了 为 算法 MST-REDUCE 所 返回 的 边 的 集合 ， 设 A 为 调用 MST-Prim(G', c', r)i 
生成 的 图 G' 的 最 小 生成 树 ， 这 里 c 是 G'.E 中 边 的 权重 属性 ,r 是 G'.V 中 的 任意 结 点 。 
WH: TU{(z， y). orig’: (z, VEA ER GC 的 一 棵 最 小 生成 树 。 

b. WEH: |G'.VI<|V|/2. 
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c. 请 说 明 要 如 何 实现 算法 MST-REDUCE， 才 能 让 其 运行 时 间 为 OC(E)。( 提 示 : 使 用 简单 
的 数据 结构 .) 

d. 假定 运行 MST-REDUCE 算法 次 , 使 用 前 一 次 输出 的 图 G' 作 为 下 一 次 的 输入 图 G， 
并 在 工 中 将 边 累积 起 来 。 证 明 : 算法 运行 次 的 总 时 间 为 O(kE)。 

e. 假定 在 运行 MST-REDUCE 算法 上 次 后 ， 就 如 在 本 题 的 (d) 部 分 那样 ， 我 们 通过 调用 算 
法 MST-Prim(G'，c',，7) 来 运行 Prim 算法 ， 这 里 图 G 是 最 后 一 个 阶段 所 返回 的 图 ， 其 
权重 属性 为 a ,，r 是 G'.V 中 的 任意 结 点 。 请 说 明 应 当 如 何 选择 &， 才 能 使 得 整体 的 运行 
时 间 为 OCElglgV)。 并 证 明 你 所 选择 的 上 使 得 总 体 的 渐 近 运行 时 间 为 最 短 。 

f. 对 于 |E| 的 何 种 取 值 (以 |V | 为 单位 来 度量 )， 这 种 带 预 处 理 的 Prim 算法 的 时 间 在 渐 近 
意义 上 要 优 于 没有 预 处 理 的 Prim 算法 的 运行 时 间 ? 

(瓶颈 生成 树 ) 无 向 图 G 的 瓶颈 生成 树 工 是 G 的 一 棵 生成 树 ， 其 最 大 边 的 权重 是 G 的 所 

有 生成 树 中 最 小 的 。 我 们 称 瓶 颈 生 成 树 TEET 中 最 大 权重 边 的 权重 。 

a. 证 明 : 最 小 生成 树 是 瓶颈 生成 树 。 

本 题 的 (a) 部 分 显示 ， 找 出 一 棵 瓶颈 生成 树 并 不 比 找 出 一 棵 最 小 生成 树 更 难 。 在 本 题 
余下 的 部 分 ， 我 们 就 来 演示 如 何在 线性 时 间 内 找到 一 棵 瓶颈 生成 树 。 

b. 请 给 出 一 个 线性 时 间 的 算法 ， 在 给 定 图 C 和 整数 4 的 情况 下 ， 能 够 判断 瓶颈 生成 树 的 
值 是 否 最 大 不 超过 bo 

c 使 用 本 题 (b) 部 分 的 算法 ， 设 计 一 个 瓶颈 生成 树 问题 的 线性 时 间 算 法 ， 该 算法 将 以 (b) 
部 分 的 算法 作为 子 程序 。( 提 示 : 考虑 使 用 一 个 子 程序 来 对 边 的 集合 进行 收缩 ， 就 如 思 
考题 23-2 中 所 描述 的 MST-REDUCE 算法 一 样 。) 

(第 三 种 最 小 生成 树 算法 ) 在 本 题 中 ， 我 们 给 出 三 种 不 同 算法 的 伪 代 码 。 每 种 算法 的 输入 

都 是 一 个 连通 图 和 一 个 权重 函数 ， 返 回 值 都 是 一 个 边 的 集合 T。 对 于 每 种 算法 ， 要 么 证 明 

工 是 一 棵 最 小 生成 树 ， 要 么 证 明 工 不 是 一 棵 最 小 生成 树 。 同 时 给 出 每 种 算法 的 最 有 效 的 实 

现 (不 管 该 算法 是 否 能 够 计算 出 最 小 生成 树 )。 

a. MAYBE-MST-A(G,w) 

1 sort the edges into nonincreasing order of edge weights w 
T=E 
for each edge e, taken in nonincreasing order by weight 


T=T— {e} 


2 
3 
4 if T— {e}is a connected graph 
5 
6 return T 


b. MAYBE-MST-B(G, w) 
1 T=% 

2 for each edge e,taken in arbitrary order 
3 if TU {e}has no cycles 

4 T=TU {e} 

5 return T 


c. MAYBE-MST-C(G, w) 
1 T= 

2 for each edge e, taken in arbitrary order 

3 T=TU {e} 

4 if T has a cycle c 

5 let e’ be a maximum-weight edge on c 
6 T=T—{e’} 

7 return T 
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本 章 注 记 

Tarjan[330] 对 最 小 生成 树 问题 进行 了 综述 并 提供 了 非常 好 的 参考 资料 。Graham 和 Hell 
[151] 编 扎 了 最 小 生成 树 问 题 的 历史 。 

Tarjan 将 第 一 个 最 小 生成 树 算法 归功 于 O. Boravka 于 1926 年 所 撰写 的 一 篇 论文 。Boravka 算 
法 由 运行 OUgV) id MST-REDUCE 算法 组 成 (该 算法 在 思考 题 23-2 中 有 详细 描述 ) Kruskal 算 
法 由 Kruskal[222] 在 1956 年 发 表 。 众 所 周知 的 Prim 算法 的 确 由 Prim[285] 所 发 明 ， 但 该 算法 在 
1930 年 就 由 V. Jarnik 发 明 过 。 

在 寻找 最 小 生成 树 时 ， 贪 心算 法 非常 有 效 的 原因 是 图 的 森林 集合 形成 一 个 图 拟 阵 (请 参阅 
16.4 节 )。 

当 | 瓦 | =QCVlgV) 时 ， 以 斐 波 那 契 堆 实现 的 Prim 算法 的 运行 时 间 为 OE). H FAAK 
说 ， 如 果 组 合 使 用 Prim 算法 、Kruskal 算法 和 Borivka 算法 的 思想 ， 加 上 高 级 的 数据 结构 ， 
Fredman 和 Tarjan[114] 描 述 了 一 个 运行 时 间 为 OCE lg “VV) 的 最 小 生成 树 算法 。Gabow、Galil、 
Spencer 和 Tarjan[120] 将 该 算法 进行 了 改进 ， 改 进 后 的 运行 时 间 为 O(Elglg" V)。Chazelle[60] 给 
出 了 一 个 运行 时 间 为 OC(Ea(E，V)) 的 最 小 生成 树 算法 ， 这 里 a(E,，V) 是 Ackermann 函数 的 反 函 
数 。( 关 于 Ackermann 函数 及 其 反 函 数 的 信息 ， 请 参阅 第 21 章 的 注 记 。) 与 以 前 的 最 小 生成 树 算 
法 不 同 的 是 ，Chazelle 算法 并 没有 采用 贪心 策略 。 

一 个 与 最 小 生成 树 相关 的 问题 是 生成 树 的 验证 问题 。 在 该 问题 中 ， 给 定 图 G= 二 (V，E) 和 树 
TCE, Fi BAM 工 是 否 是 G 的 一 棵 最 小 生成 树 。King[203] 给 出 了 一 个 线性 时 间 的 验证 算 
法 来 验证 一 棵 生成 树 ， 该 工作 建立 在 KomlosL215] 和 Dixon, Rauch 和 TarjanL90j] 的 更 早 的 工作 
基础 之 上 。 

上 述 的 所 有 算法 都 是 确定 性 的 ， 都 属于 第 8 章 所 讨论 的 基于 比较 的 模型 。Karger、Klein 和 
Tarjan[195] 给 出 了 一 个 随机 化 的 最 小 生成 树 算法 ， 其 期 望 的 时 间 复 杂 度 为 O(V 十 E)。 该 算法 对 
递归 调用 的 使 用 有 点 类 似 9. 3 节 所 讨论 的 线性 时 间 选 择 算 法 : 首先 对 一 个 辅助 问题 进行 递归 调 
用 ， 以 识别 出 不 可 能 属于 任何 最 小 生成 树 的 边 的 子 集 E. RE EWURA EE 上 进行 另 一 个 
递归 调用 ， 以 找 出 最 小 生成 树 。 该 算法 还 使 用 了 生成 树 验证 的 Boruvka 算法 和 King 算法 中 的 一 
些 思 想 。 

Fredman 和 WillardL116J 描 述 了 一 种 非 比 较 的 确定 性 算法 ， 可 以 在 O(V 十 E) 时 间 内 找到 一 棵 
最 小 生成 树 。 在 他 们 的 算法 中 ， 需 要 假定 所 有 的 数据 都 是 5 位 的 整数 ， 并 且 计 算 机 的 内 存 是 由 可 
寻 址 的 5 位 字 所 组 成 。 
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单 源 最 短路 径 


Patrick 教授 希望 找到 一 条 从 菲尼克斯 (Phoenix) 到 印第安 纳 波 利 斯 (Indianapolis) 的 最 短路 径 。 
给 定 一 幅 美国 的 道路 交通 图 ， 上 面 标 有 所 有 相 邻 城市 之 间 的 距离 ，Patrick 教授 怎样 才能 找 出 这 
样 一 条 最 短 的 路 径 呢 ? 

一 种 可 能 的 办 法 当然 是 ， 先 将 从 菲尼克斯 到 印第安 纳 波 利 斯 的 所 有 路 径 都 找 出 来 ， 将 每 条 路 径 上 
的 距离 累加 起 来 ， 然 后 选择 其 中 最 短 的 路 径 。 但 是 ， 即 使 在 不 允许 环 路 的 情况 下 ， 也 可 以 看 得 出 来 ， 
Patrick 教授 需要 检查 无 数 种 可 能 的 路 径 ， 而 其 中 的 大 多 数 路 径 根 本 不 值得 检查 。 例 如 ， 一 条 从 菲 尼 克 
斯 经 过 西雅图 再 到 印第安 纳 波 利 斯 的 路 径 显 然 不 符合 要 求 ， 因 为 西雅图 已 经 偏离 了 目标 方向 好 几 百 英里 。 

在 本 章 以 及 第 25 章 ， 我 们 将 阐述 如 何 高 效 地 解决 这 个 问题 。 在 最 短路 径 问 题 中 ， 我 们 给 定 
一 个 带 权重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: ER， 该 权重 函数 将 每 条 边 映射 到 实数 值 的 权 
重 上 。 图 中 一 条 路 径 p 二 (wwp，vwi，…，vw) 的 权重 w(p) 是 构成 该 路 径 的 所 有 边 的 权重 之 和 : 


k 
wp) = Sw 9U;) 
i=] 


定义 从 结 点 u 到 结 点 v 的 最 短路 径 权重 6Cu，v) 如 下 : 
ep min{w(p):u~+v} ”如果 存在 一 条 从 结 点 到 结 点 v 的 路 径 
oo 其 他 
从 结 点 到 结 点 v 的 最 短路 径 则 定义 为 任何 一 条 权重 为 w(p) 二 6(u，) 的 从 到 wv WE po 

在 求 取 从 菲尼克斯 到 印第安 纳 波 利 斯 的 最 短路 径 的 例子 中 ， 我 们 可 以 用 一 幅 图 来 表示 道路 
交通 图 : 结 点 代表 城市 ， 边 代表 城市 之 间 的 道路 ， 边 上 的 权重 代表 道路 的 长 度 。 我 们 的 目标 就 是 
找 出 一 条 从 给 定 城 市 菲 尼克 斯 到 给 定 城市 印第安 纳 波 利 斯 的 最 短路 径 。 

当然 ， 边 上 的 权重 也 可 以 代表 非 距离 的 度量 单位 ， 如 时 间 、 成 本 、 罚 款 、 损 失 ， 或 者 任何 其 
他 可 以 随 路 径 长 度 的 增加 而 线性 积累 的 数量 以 及 我 们 想 要 最 小 化 的 数量 。 

22. 2 节 讨 论 的 广度 优先 搜索 算法 就 是 一 个 求 取 最 短路 径 的 算法 ， 但 该 算法 只 能 用 于 无 权重 
的 图 ， 即 每 条 边 的 权重 都 是 单位 权重 的 图 。 由 于 许多 广度 优先 搜索 的 概念 来 源 于 对 带 权重 的 图 
的 最 短路 径 的 研究 ， 读 者 可 能 需要 先 复习 22. 2 节 的 内 容 ， 再 继续 本 章 的 学 习 。 

最 短路 径 的 几 个 变 体 

EAR, 我 们 集中 精力 讨论 单 源 最 短路 径 问题 ， 给 定 一 个 图 G 二 (V，E)， 我 们 希望 找到 从 
给 定 源 结 点 SCV 到 每 个 结 点 vEV 的 最 短路 径 。 单 源 最 短路 径 问 题 可 以 用 来 解决 许多 其 他 问题 ， 
其 中 就 包括 下 面 的 几 个 最 短路 径 的 变 体 问 题 。 

单 目的 地 最 短路 径 问 题 : 找到 从 每 个 结 点 v 到 给 定 目 的 地 结 点 1 的 最 短路 径 。 如 果 将 图 的 每 
条 边 的 方向 翻转 过 来 ， 我 们 就 可 以 将 这 个 问题 转换 为 单 源 最 短路 径 问 题 。 

单 结 点 对 最 短路 径 问 题 : 找到 从 给 定 结 点 u 到 给 定 结 点 v 的 最 短路 径 。 如 果 解 决 了 针对 单个 
结 点 x 的 单 源 最 短路 径 问 题 ， 那 么 也 就 解决 了 这 个 问题 。 而 且 ， 在 该 问题 的 所 有 已 知 算法 中 ， 最 
坏 情况 下 的 渐 近 运行 时 间 都 和 最 好 的 单 源 最 短路 径 算法 的 运行 时 间 一 样 。 

所 有 结 点 对 最 短路 径 问 题 : 对 于 每 对 结 点 wu 和 wv， 找到 从 结 点 u 到 结 点 v 的 最 短路 径 。 虽 然 
可 以 针对 每 个 结 点 运行 一 遍 单 源 最 短路 径 算法 ， 但 通常 可 以 更 快 地 解决 这 个 问题 。 此 外 ， 该 问题 
结构 的 本 身 就 很 有 趣 。 第 25 章 将 详细 讨论 所 有 结 点 对 最 短路 径 问 题 。 

最 短路 径 的 最 优 子 结构 

最 短路 径 算法 通常 依赖 最 短路 径 的 一 个 重要 性 质 : 两 个 结 点 之 间 的 一 条 最 短路 径 包 含 着 其 
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他 的 最 短路 径 。( 第 26 章 讨 论 的 Edmonds-Karp 最 大 流 算法 也 依赖 于 这 个 性 质 。) 回 顾 前 面 介绍 的 
内 容 ， 最 优 子 结构 是 可 以 使 用 动态 规划 (第 15 章 ) 和 贪心 算法 (第 16 章 ) 的 一 个 重要 指标 。 我 们 将 
在 24. 3 节 讨 论 的 Dijkstra 算法 就 是 一 个 贪心 算法 ， 而 Floyd-Warshall 算法 则 是 一 个 动态 规划 算 
法 ， 该 算法 能 够 找 出 所 有 结 点 对 之 间 的 最 短路 径 ( 请 参阅 25.2 节 )。 下 面 的 引 理 精确 地 叙述 了 最 
短路 径 的 最 优 子 结构 性 质 。 

引 理 24. 1( 最 短路 径 的 子路 径 也 是 最 短路 径 ) 给 定 带 权重 的 有 向 图 G 二 (V，E) 和 权重 函数 
w: E>R, i 力 一 (mm， 贡 ，…， 侈 ) 为 从 结 点 区 到 结 点 磷 的 一 条 最 短路 径 ， 并 且 对 于 任意 的 1 和 
Js 0ONIS jk, HK Pig = (Uis Utis os vj) A Ri p 中 从 结 点 到 结 点 Uj 的 子路 径 。 那 么 Pi 是 
从 结 点 vi 到 结 点 v) 的 一 条 最 短路 径 。 


证 明 ”如 果 将 路 径 p 分 解 为 vo Go Oo Go WA w= wpa) +wl pj) Hw py). W 


在 ， 假 设 存在 一 条 从 Bl v; 的 路 径 p;， 且 ww(p) 二 w(py)。 则 w Sv, ov, Sur 是 一 条 从 结 
点 vo 到 结 点 u 的 权重 为 ww(poi) 十 w(ps) 十 w(pis ) 的 路 径 ， 而 该 权重 小 于 w(p)。 这 与 p 是 从 vo 
到 u, 的 一 条 最 短路 径 这 一 假设 相 了 矛盾 。 a 

负 权 重 的 边 

某 些 单 源 最 短路 径 问 题 可 能 包括 权重 为 负 值 的 边 。 但 如 果 图 G 二 (V，E) 不 包含 从 源 结 点 s 可 
以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 的 结 点 vEV， 最 短路 径 权 重 8(s，v) 都 有 精确 定义 ， 即 
使 其 取 值 是 负数 。 如 果 图 G 包含 从 s 可 以 达到 的 权重 为 负 值 的 环 路 ， 则 最 短路 径 权 重 无 定义 。 从 
到 该 环 路 上 的 任意 结 点 的 路 径 都 不 可 能 是 最 短路 径 ， 因 为 我 们 只 要 沿 着 任何 “最 短路 径 再 遍历 
一 次 权重 为 负 值 的 环 路 ， 则 总 是 可 以 找到 一 条 权重 更 小 的 路 径 。 如 果 从 结 点 * 到 结 点 v 的 某 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 我 们 定义 6(s， =o, 

图 24-1 描述 的 是 负 权 重 和 权重 为 负 值 的 环 路 对 最 短路 径 权 重 的 影响 。 因 为 从 结 点 s 到 结 点 a 
只 有 一 条 路 径 ( 路 径 (s，a))， 所 以 有 Os, 2=wls, a)=3, ZW, MG s 到 结 点 5 也 只 有 
一 条 路 径 ， 因 此 6(s，6b)= 二 w(s，a) 十 wla， 6) =3+(—4)=—1, MEEK s 到 结 点 c 则 有 无 数 条 路 
径 : (s, c), (s, cs d, Cc),，〈《s，cC，d，c，d，cC) 等 。 因 为 环 路 (c，d，c) 的 权重 为 6 十 (一 3)= 
3>0, Maik s 到 结 点 < 的 最 短路 径 是 (s，c);， 其 权重 为 6(s，c)= 二 ws，c)= 二 5。 类 似 地 ， 从 结 点 
s 到 结 点 4 的 最 短路 径 为 (5，c，d) ， 其 权重 为 Ms, d)=wls, c)+wle, d)=11, Xiii, MB 
点 :到 结 点 e 也 有 无 数 条 路 径 : (s, e), (s, e, fy e), (s, e, fo e, fr e), SR. WAREK 
(es fr OMMBH 3+(-6)=—3<0, MHA s 到 结 点 e 没有 最 短路 径 。 通 过 遍历 负 权重 环 路 
《e，f，e) 任 意 次 数 ， 可 以 找到 权重 为 任意 负 值 的 从 结 点 * 到 结 点 e 的 路 径 ， 因 此 85(s，e) 一 一 cc。 
类 似 地 ，6(s， 岂 二 一。 因为 结 点 g 可 以 从 结 点 了 到达， 我 们 可 以 找到 一 条 权重 为 任意 负 值 的 
从 结 点 s 到 结 点 g 的 路 径 ， 因 此 8(*，8g) 三 一 cc。 结 点 六 、i 和 j 也 形成 一 个 权重 为 负 值 的 环 路 ， 
但 它们 不 能 从 结 点 s 到 达 ， 因 此 OCs, h)=6(s, D=, j= 二 oo0。 





图 24-1 有 向 图 中 的 负 权 重 边 。 从 源 结 点 s 到 每 个 结 点 之 间 的 最 短路 径 的 权重 标记 在 每 个 结 点 中 。 因 为 结 点 e 
和 结 点 /形成 一 个 权重 为 负 值 且 可 以 从 结 点 ;到达 的 环 路 ,它们 的 最 短路 径 权重 为 一 上 eo。 因为 结 点 
g 可 以 从 一 个 最 短路 径 权 重 为 一 co 的 结 点 到 达 ， 它 的 最 短路 径 权重 也 是 一 oo。 结 点 h、i 和 j 不 能 
从 源 结 点 ;到达 ， 因 此 ， 它 们 的 最 短路 径 权 重 为 oO， 即 使 它们 也 在 一 条 权重 为 负 值 的 环 路 上 
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某 些 最 短路 径 算法 (如 Dijkstra 算法 ) 假 设 输入 图 的 所 有 的 边 权 重 为 非 负 值 。 例 如 ， 道 路 
交通 图 的 例子 中 所 有 权重 都 为 正 值 。 另 外 一 些 算 法 (如 Bellman-Ford 算 法 ) ， 人 允许 输入 图 中 包 
含 负 权 重 的 边 。 但 只 要 没有 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 ， 就 可 以 生成 正确 的 答 
案 。 在 通常 情况 下 ， 如 果 存 在 一 条 权重 为 负 值 的 环 路 ，Bellman-Ford 算法 可 以 侦 测 并 报告 其 
存在 。 

环 路 

一 条 最 短路 径 可 以 包含 环 路 吗 ? 正如 我 们 已 经 看 到 的 ， 最 短路 径 不 能 包含 权重 为 负 值 的 环 
路 。 而 事实 上 ， 最 短路 径 也 不 能 包含 权重 为 正 值 的 环 路 ， 因 为 只 要 将 环 路 从 路 径 上 删除 就 可 以 得 到 
一 条 源 结 点 和 终结 点 与 原来 路 径 相同 的 一 条 权重 更 小 的 路 径 。 也 就 是 说 ， 如 果 P= (as vs os uE 
条 路 径 ，c 二 (vw;，wvit1，…，w;) 是 该 路 径 上 的 一 条 权重 为 正 值 的 环 路 (因此 ,w= 二 wv IFA wlod> 
0), WER p'= lw, Us “hs Us vti， Ujazo ts WOWME w(p')=wlp)—wle)<wlp), A 
此 ，p 不 可 能 是 从 vo Blu 的 一 条 最 短路 径 。 

这 样 就 只 剩 下 权重 为 0 的 环 路 。 我 们 可 以 从 任何 路 径 上 删除 权重 为 0 的 环 路 而 得 到 另 一 条 权 
重 相同 的 路 径 。 因 此 ， 如 果 从 源 结 点 s 到 终结 点 v 存在 一 条 包含 权重 为 0 的 环 路 的 最 短路 径 ， 则 
也 同时 存在 另 一 条 不 包含 该 环 路 的 从 结 点 s 到 结 点 v 的 最 短路 径 。 只 要 一 条 最 短路 径 上 还 有 权重 
为 0 的 环 路 ， 我 们 就 可 以 重复 删除 这 些 环 路 ， 直 到 得 到 一 条 不 包括 环 路 的 最 短路 径 。 因 此 ， 不 失 
一 般 性 ， 我 们 可 以 假定 在 找到 的 最 短路 径 中 没有 环 路 ， 即 它们 都 是 简单 路 径 。 由 于 图 
G 二 (V，E) 中 的 任意 无 环 路 径 最 多 包含 1V | 个 不 同 的 结 点 ， 它 也 最 多 包含 1V| 一 1 条 边 。 因 此 ， 
我 们 可 以 将 注意 力 集中 到 至 多 只 包含 1V| 一 1 条 边 的 最 短路 径 上 。 

最 短路 径 的 表示 

在 通常 情况 下 ， 我 们 不 但 希望 计算 出 最 短路 径 权 重 ， 还 希望 计算 出 最 短路 径 上 的 结 点 。 我 们 
对 最 短路 径 的 表示 与 22. 2 节 中 对 广度 优先 搜索 树 的 表示 类 似 。 给 定 图 G 二 (V，E)， 对 于 每 个 结 
点 v， 我 们 维持 一 个 前 驱 结 点 v. x。 该 前 驱 结 点 可 能 是 另 一 个 结 点 或 者 NIL。 本 章 的 最 短路 径 算 
法 将 对 每 个 结 点 的 x 属性 进行 设置 ， 这样， 将 从 结 点 v 开 始 的 前 驱 结 点 链 反 转 过 来 ， 就 是 从 s 到 
v 的 一 条 最 短路 径 。 因 此 ， 给 定 结 点 v， 且 wv. x 关 NIL，22. 2 节 中 的 程序 PRINT-PATH(G, s, v) 
打印 出 的 就 是 从 结 点 s 到 结 点 v 的 一 条 最 短路 径 。 

但 是 ， 在 运行 最 短路 径 算法 的 过 程 中 ，r 值 并 不 一 定 能 给 出 最 短路 径 。 如 在 广度 优先 搜索 里 
一 样 ， 我 们 感 兴趣 的 是 由 天 值 所 诱导 的 前 驱 子 图 CG.=(V.， 瓦 .) 。 在 这 里 ， 我 们 定义 结 点 集 V, 为 
图 G 中 的 前 驱 结 点 不 为 NIL 的 结 点 的 集合 ， 再 加 上 源 结 点 s， 即 

V, = {v E€ V:v. n Æ NIL} U {s} 
有 向 边 集合 E. 是 由 V. 中 的 结 点 的 x 值 所 诱导 的 边 的 集合 ， 即 
E, = {(v.x,v) E E:v E V, — {s}} 

我 们 将 证 明 本 章 的 算法 所 生成 的 x 值 具有 如 下 性 质 : 在 算法 终止 时 ，G, 是 一 棵 “最 短路 径 
树 ”。 非 形式 化 地 说 ， 最 短路 径 树 是 一 棵 有 根 结 点 的 树 ， 该 树 包 括 了 从 源 结 点 s 到 每 个 可 以 从 s 
到 达 的 结 点 的 一 条 最 短路 径 。 一 棵 最 短路 径 树 有 点 类 似 于 22. 2 节 中 的 广度 优先 树 ， 但 它 所 包括 
的 最 短路 径 是 以 边 的 权重 来 定义 的 ， 而 不 是 边 的 条 数 。 更 精确 地 说 ， 设 G 二 (V，E) 是 一 条 带 权 
重 的 有 向 图 ， 其 权重 函数 为 w: E>R, BE G 不 包含 从 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 因 此 ， 
所 有 的 最 短路 径 都 有 定义 。 一 棵 根 结 点 为 * 的 最 短路 径 树 是 一 个 有 向 子 图 G' =V, E), XE 
V'CV, EGE; WE: 

1. V' 是 图 G PYRE s 可 以 到 达 的 所 有 结 点 的 集合 。 

2. G' 形 成 一 棵 根 结 点 为 的 树 。 
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3. 对 于 所 有 的 结 点 vEV'， 图 G' 中 从 结 点 * 到 结 点 v 的 唯一 简单 路 径 是 图 G 中 从 结 点 s 到 结 
点 v 的 一 条 最 短路 径 。 

需要 指出 的 是 ， 最 短路 径 不 一 定 是 唯一 的 ， 最 短路 径 树 也 不 一 定 是 唯一 的 。 例 如 ， 图 24-2 
描述 的 是 一 个 带 权 重 的 有 向 图 和 两 棵 根 结 点 相同 的 最 短路 径 树 。 





图 24-2 (a) 带 权重 的 有 向 图 ， 具有 从 源 结 点 s 出 发 的 最 短路 径 权重 。(b) 加 了 阴影 的 边 形成 一 棵 根 结 点 
为 ;的 最 短路 径 树 。(c) 根 结 点 相同 的 另 一 棵 最 短路 径 树 


松弛 操作 

本 章 的 算法 需要 使 用 松弛 (relaxation) 技 术 。 对 于 每 个 结 点 v 来 说 ,我们 维持 一 个 属性 v d, 
用 来 记录 从 源 结 点 s 到 结 点 v 的 最 短路 径 权重 的 上 界 。 我 们 称 ud As Bu 的 最 短路 径 估计 。 我 
们 使 用 下 面 运行 时 间 为 @(V) 的 算法 来 对 最 短路 径 估计 和 前 驱 结 点 进行 初始 化 : 

INITIALIZE-SINGLE-SOURCE(G, s) 

1 for each vertex v € G.V 

2 v.d=co 

3 v. r=NIL 

4 s.d=0 


在 初始 化 操作 结束 后 ， 对 于 所 有 的 结 点 EV, RNA wv.x 王 NIL，s.d 二 0， 对 于 所 有 的 结 点 
vEV— {s}, RITA v. d=, 

对 一 条 边 的 (u，) 的 松弛 过 程 为 : 首先 测试 一 下 是 否 可 以 对 从 s 到 wv 的 最 短路 径 进 行 改 善 。 
测试 的 方法 是 ， 将 从 结 点 s 到 结 点 4 之 间 的 最 短路 径 距 离 加 上 结 点 4 与 v 之 间 的 边 权 重 ， 并 与 当 
前 的 s 到 wv 的 最 短路 径 估计 进行 比较 ， 如 果 前 者 更 小 ， 则 对 v d A v. x 进行 更 新 。 松 弛 步骤 可 
能 降低 最 短路 径 的 估计 值 v. d HEW v 的 前 驱 属 性 v.x。 下 面 的 伪 代 码 执行 的 就 是 对 边 (u，w) 在 
O(1) 时 间 内 进行 的 松弛 操作 : 

RELAX(u,v,w) 

1 if v.d>u.d+wu,v) 

2 v. d=u. d+w(u,v) 


3 uv X= 


图 24-3 描述 的 是 对 一 条 边 进行 松弛 的 两 个 例子 。 在 其 中 一 个 例子 中 ， 最 短路 径 估计 因 松 弛 操作 
而 减少 了 ， 在 另 一 个 例子 中 ， 最 短路 径 估计 则 没有 发 生变 化 。 


O 也 许 读者 觉得 使 用 “松弛 ?这 个 词 来 描述 一 种 对 距离 上 界 进行 收 紧 的 操作 有 点 不 可 思议 。 这 个 词 的 使 用 是 有 历史 
渊源 的 。 一 个 松弛 操作 的 结果 可 以 看 做 是 对 限制 条 件 w d 和 wd 十 z(Cx，z) 的 放松 。 根 据 三 角 不 等 式 ( 引 理 
24. 10)， 该 不 等 式 在 u. d==6(s，t) 和 wv. d= 二 6(s，w) 时 必须 成 立 。 也 就 是 说 ， 如 果 v.d<u.dt+w(u, v), HARE 
在 任何 “压力 ”来 满足 该 限制 条 件 ， 因 此 ， 该 限制 条 件 是 “松弛 ”的 。 
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图 24-3 ”对 权重 wlu，v) = 二 2 的 边 (u，wv) 进 行 的 松弛 操作 。 对 每 个 结 点 的 最 短路 径 估计 写 在 结 点 里 
面 。(a) 因 为 在 松弛 操作 前 有 v.d>u.dt+w(u, v), AT v.d 的 值 减 小 。(b) 在 对 边 进行 松 
弛 操作 前 有 v. du. d 十 wu，v)， 因 此 ， 松 弛 步骤 维持 v. d 的 取 值 不 变 


本 章 的 每 个 算法 都 将 调用 算法 INITIALIZE-SINGLE-SOURCE， 然 后 重复 对 边 进行 松弛 。 而 
且 ， 松 弛 是 唯一 导 臻 最短 路径 估 计 和 前 驱 结 点 发 生变 化 的 操作 。 本 章 所 讨论 的 所 有 算法 之 间 的 
不 同 之 处 是 对 每 条 边 进行 松弛 的 次 数 和 松弛 边 的 次 序 有 所 不 同 。Dijkstra 算法 和 用 于 有 向 无 环 图 
的 最 短路 径 算法 对 每 条 边 仅 松弛 一 次 。Bellman-Ford 算法 则 对 每 条 边 松 弛 |V| 一 1 次 。 

最 短路 径 和 松弛 操作 的 性 质 

为 了 证 明 本 章 所 讨论 算法 的 正确 性 ， 我 们 需要 使 用 最 短路 径 和 松弛 操作 的 一 些 性 质 。 我 们 
下 面 先 陈述 这 些 性 质 ，24. 5 节 再 来 正式 证 明 这 些 性 质 。 为 方便 读者 查阅 ， 这 里 陈述 的 每 条 性 质 
都 给 出 了 24.5 节 中 对 应 的 引 理 和 推论 。 这 些 性 质 的 后 面 5 条 都 涉及 最 短路 径 估计 或 前 驱 子 图 ， 
它们 成 立 的 前 提 是 必须 调用 INITIALIZE-SINGLE-SOURCE(G，s) 来 对 图 进行 初始 化 ， 并 且 所 有 
对 最 短路 径 估计 和 前 驱 子 图 所 进行 的 改变 都 是 通过 一 系列 的 松弛 步骤 来 实现 的 。 

三 角 不 等 式 性 质 ( 引 理 24.10 SEEM, DEE, RTA Xs, Vs, uw +ulu, v). 

上 界 性 质 ( 引 理 24. 11) ”对 于 所 有 的 结 点 vEV， 我 们 总 是 有 v d 宇 6(s，v) 。 一 旦 v. d 的 取 值 
达到 6(s，v)， 其 值 将 不 再 发 生变 化 。 

非 路 径 性 质 ( 推 论 24. 12) 如 果 从 结 点 s 到 结 点 v 之 间 不 存在 路 径 ， 则 总 是 有 wd 二 6(s, =o, 

收敛 性 质 ( 引 理 24. 14) ”对 于 某 些 结 点 uw，vEV， 如 果 suse BAG PHAR, I+ 
且 在 对 边 (u， 必 进行 松弛 前 的 任意 时 间 有 ud 二 6(s，w) ， 则 在 之 后 的 所 有 时 间 有 v. d==6(s，)。 

路 径 松 弛 性 质 ( 引 理 24. 15) WR p=, wy ，…，w) 是 从 源 结 点 ;二 w 到 结 点 u 的 一 条 最 
短路 径 ， 并 且 我 们 对 p 中 的 边 所 进行 松弛 的 次 序 为 (ww, 如 )，(w w), e, Cas w), W 
w. d 二 6(s，w)。 该 性 质 的 成 立 与 任何 其 他 的 松弛 操作 无 关 ， 即 使 这 些 松 弛 操作 是 与 对 p 上 的 边 
所 进行 的 松弛 操作 穿插 进行 的 。 

前 驱 子 图 性 质 ( 引 理 24. 17) ”对 于 所 有 的 结 点 vEV， 一 旦 vw d= 二 6(s，v)， 则 前 驱 子 图 是 一 
棵 根 结 点 为 ; 的 最 短路 径 树 。 

本 章 概 要 

24. 1 节 对 Bellman-Ford 算法 进行 讨论 。 该 算法 解决 的 是 一 般 情 况 下 的 单 源 最 短路 径 问 题 。 
在 一 般 情 况 下 ， 边 的 权重 可 以 为 负 值 。Bellman-Ford 算法 非常 的 简单 ， 并 且 还 能 够 侦 测 是 否 存在 
从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。24. 2 节 将 给 出 在 有 向 无 环 图 中 计算 单 源 最 短路 径 的 线 
性 时 间 的 算法 。24. 3 节 讨 论 Dijkstra 算法 。 该 算法 的 时 间 复 杂 度 低 于 Bellman-Ford 算法 ， 但 却 
要 求 边 的 权重 为 非 负 值 。24. 4 节 描 述 如 何 使 用 Bellman-Ford 算法 来 解决 线性 规划 中 的 一 种 特殊 
情况 。 最 后 ，24. 5 节 将 对 上 面 陈述 的 最 短路 径 和 松弛 操作 的 性 质 予 以 证 明 。 

在 对 无 穷 量 进行 算术 运算 时 ， 我 们 需要 使 用 一 些 约定 。 假 定 对 于 任意 实数 a 关 一 eo， 有 a 十 
co 三 oo 十 a 二 oo。 同 时 ， 为 了 使 我 们 的 证 明 在 有 权重 为 负 值 的 环 路 时 也 成 立 ， 还 假定 对 于 任意 实 
X azo, A at(—co)=(—co)ta=—0, 

本 章 所 讨论 的 所 有 算法 都 假定 有 向 图 G 以 邻接 链表 的 方式 予以 存放 。 此 外 ， 边 的 权重 与 边 
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本 身 存 放 在 一 起 ， 这 样 在 遍历 每 条 邻接 链表 时 ， 我 们 可 以 在 O(1) 时 间 内 获得 边 的 权重 。 


24. 1 Bellman-Ford 算法 


Bellman-Ford 算法 解决 的 是 一 般 情况 下 的 单 源 最 短路 径 问 题 ， 在 这 里 ， 边 的 权重 可 以 为 负 
值 。 给 定 带 权重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: E>R，Bellman-Ford 算 法 返回 一 个 布尔 值 ， 
以 表明 是 否 存在 一 个 从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。 如 果 存 在 这 样 一 个 环 路 ， 算 法 将 
告诉 我 们 不 存在 解决 方案 。 如 果 没 有 这 种 环 路 存在 ,算法 将 给 出 最 短路 径 和 它们 的 权重 。 
Bellman-Ford 算法 通过 对 边 进行 松弛 操作 来 渐 近 地 降低 从 源 结 点 s 到 每 个 结 点 v 的 最 短路 径 
的 估计 值 v. 4， 直 到 该 估计 值 与 实际 的 最 短路 径 权重 8(s，v) 相 同时 为 止 。 该 算法 返回 TRUE 值 
当 且 仅 当 输入 图 不 包含 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 。 
BELLMAN-FORI(G,w,s) 
1 INITIALIZE-SINGLE-SOURCE(G, s) 
2 for i=lto|G.V|—1 
3 for each edge(u,v) EG. E 
4 RELAX(u,v,w) 
5 for each edge(u,v) EG. E 
6 if v. d>u. d+wu. v) 
7 return FALSE 
8 return TRUE 


图 24-4 描述 的 是 在 有 5 个 结 点 的 图 上 运行 Bellman-Ford 算法 的 过 程 。 在 算法 第 1 行 对 所 有 
结 点 的 d 值 和 x 值 进 行 初始 化 后 ， 算 法 对 图 的 每 条 边 进行 |V| 一 1 次 处 理 。 每 一 次 处 理 对 应 的 是 
算法 第 2 一 4 行 for 循环 的 一 次 循环 ， 该 循环 对 图 的 每 条 边 进行 一 次 松弛 操作 。 图 24-4(b) ~(e) HH 
述 的 是 对 边 进行 4 次 松弛 操作 时 ， 每 一 次 松弛 后 的 算法 状态 。 在 进行 了 |V| 一 1 次 松弛 操作 后 ， 
算法 第 5 一 8 行 负责 检查 图 中 是 否 存在 权重 为 负 值 的 环 路 并 返回 与 之 相 适 应 的 布尔 值 。( 我 们 将 在 
稍 后 的 篇 幅 里 看 到 该 检查 为 什么 是 正确 的 。) 


t 5 x 





图 24-4 Bellman-Ford 算法 的 执行 过 程 。 源 结 点 为 s， 结 点 中 的 数值 为 该 结 点 的 d 值 ， 加 了 阴影 的 边 表 示 
前 驱 值 ， 如 果 边 (x，vw) 加 了 阴影 ， 则 wv. x 二 uw。 在 本 图 的 例子 中 ,每 一 次 的 松弛 操作 对 边 的 处 理 
次 序 都 是 ; (ts zy (ty ys (ts zo Cys x5 Cys zs (zs £), Cz, s), Cs, £), (ss y)。 
(a) FERS 1 次 松弛 操作 前 的 场景 。(b) ~~(e) 在 对 边 进 行 每 次 松弛 操作 后 的 场景 。 图 (e) 中 的 4d 值 
Al x 值 为 最 终 取 值 。 在 本 例 中 ，Bellman-Ford 算法 返回 的 值 为 TRUE 
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由 于 算法 第 1 行 的 初始 化 操作 所 需 时 间 为 B(V) ， 第 2 一 4 行 循环 的 运行 时 间 为 OE), H— 
共 要 进行 |V| 一 1 次 循环 ， 第 5 一 7 行 的 for 循环 所 需 时 间 为 OE), Bellman-Ford 算法 的 总 运行 
时 间 为 OVE). 

要 证 明 Bellman-Ford 算法 的 正确 性 ， 首 先 证 明 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 该 算法 
正确 计算 出 从 源 结 点 可 以 到 达 的 所 有 结 点 之 间 的 最 短路 径 权重 。 

引 理 24.2 设 G=(V，E) 为 一 个 带 权重 的 源 结 点 为 s 的 有 向 图 ， AREALA w: ER. 
假定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 那 么 在 算法 BELLMAN-FORD 的 第 
2 一 4 行 的 for 循环 执行 了 |V| 一 1 次 之 后 ， 对 于 所 有 从 源 结 点 s 可 以 到 达 的 结 点 w， 我 们 有 
v.d=6(s,v)。 

证 明 ”我 们 通过 使 用 路 径 松弛 性 质 来 证 明 本 引 理 。 考 虑 任意 从 源 结 点 s 可 以 到 达 的 结 点 v， 
i p=(w, Ae Thy v) AUS A s 到 结 点 vw 之 间 的 任意 一 条 最 短路 径 ， 这 里 W Ss UV. Al 
为 最 短路 径 都 是 简单 路 径 ，p 最 多 包含 1V| 一 1 条 边 ， 因 此 二 IV| 一 1。 AER 2 一 4 行 的 for 循 
环 每 次 松弛 所 有 的 |E| 条 边 。 在 第 i 次 松弛 操作 时 ， 这 里 i 二 1，2，…, k， 被 松弛 的 边 中 包含 边 

651| (Cuis v). WERKE, v. d= 二 vw. d=, y)=d(s, v). a 

se 推论 24.3 设 G=(V，EE) 是 一 带 权 重 的 源 结 点 为 s 的 有 向 图 ， 其 权重 函数 为 w E>R, R 
定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 结 点 vEV， 存 在 一 条 从 源 
结 点 s 到 结 点 v 的 路 径 当 且 仅 当 BELLMAN-FORD 算法 终止 时 有 mw d<oo, 

证 明 该 证 明 留 给 读者 作为 练习 (请 参阅 练习 24. 1-2) 。 a 

定理 24. 4(Bellman-Ford 算法 的 正确 性 ) 设 BELLMAN-FORD 算法 运行 在 一 带 权重 的 源 结 
点 为 5 的 有 向 图 G 二 (V，E) 上 ， 该 图 的 权重 函数 为 w: E>R。 如 果 图 G 不 包含 从 源 结 点 s 可 以 
到 达 的 权重 为 负 值 的 环 路 ， 则 算法 将 返回 TRUE 值 ， 且 对 于 所 有 结 点 vEV， 前 驱 子 图 G, 是 一 
PAR RA s 的 最 短路 径 树 。 如 果 图 G 包含 一 条 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 算 
法 将 返回 FALSE 值 。 

证 明 ”假定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 我 们 首先 证 明 ， 对 于 所 有 
结 点 vEV， 在 算法 BELLMAN-FORD 终 止 时 , RIJA v. d= 二 6(s，v)。 如 果 结 点 v 是 从 可 以 到 
达 的 ， 则 引 理 24. 2 证 明了 本 论断 。 如 果 结 点 v 不 能 从 s 到 达 ， 则 该 论断 可 以 从 非 路 径 性 质 获 得 。 
因此 ， 该 论断 得 到 证 明 。 综 合 前 驱 子 图 性 质 和 本 论断 可 以 推导 出 G, 是 一 棵 最 短路 径 树 。 现 在 ， 
我 们 使 用 这 个 论断 来 证 明 BELLMAN-FORD 算法 返回 的 是 TRUE 值 。 在 算法 BELLMAN-FORD 
终止 时 ， 对 于 所 有 的 边 (u，v) EE， RNA 

v. d= 6(s,v) 
过 6(s,w) 十 Ww(usv) (根据 三 角 不 等 式 ) 
=ud+wlu,v) 
因此 ， 算 法 第 6 行 中 没有 任何 测试 可 以 让 BELLMAN-FORD 算法 返回 FALSE 值 。 因 此 ， 它 一 定 
返回 的 是 TRUE 值 。 

现在 ， 假 定 图 G 包含 一 个 权重 为 负 值 的 环 路 ， 并 且 该 环 路 可 以 从 源 结 点 到达; 设 该 环 路 为 

C= (Ws Us > Urs 这 里 w=, 则 有 


Dwi) <0 (24. 1) 


a i 假设 Bellman-Ford 算法 返回 的 是 TRUE fA, W vw. d 志 vw;_1.4d 十 w(v;_!，v)， 
XE i=l, 2, =, ke KIEK c 上 的 所 有 这 种 不 等 式 加 起 来 ， 我 们 有 


Sa. d< Sen. d+wlv,,,y;)) = Mun. d+ Swi) 
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由 于 由 = 一双 ， 环 路 < 上 面 的 每 个 结 点 在 上 述 求 和 表达 式 之 vi d 和 之 v. d 中 刚好 各 出 现 一 
次 ， 因 此 有 


Xv. d = Sod 
而 且 ， 根 据 推论 24.3, v.d HF iSl, 2, 0, 来 说 取 的 都 是 有 限 值 ， 因此 有 
o< Zwou) 


.而 这 与 不 等 式 (24. 1) 矛 盾 。 因 此 ， 我 们 得 出 结论 ， 如 果 图 G 不 包含 从 源 结 点 * 可 以 到 达 的 权重 为 
负 值 的 环 路 ， 则 Bellman-Ford 算法 返回 TRUE 值 ， 否 则 返回 FALSE fÉ. a 


练习 

24.1-1 在 图 24-4 上 运行 Bellman-Ford 算法 ， 使 用 结 点 = 作为 源 结 点 。 在 每 一 遍 松弛 过 程 中 ， 
以 图 中 相同 的 次 序 对 每 条 边 进行 松弛 ， 给 出 每 遍 松 弛 操作 后 的 d 值 和 x 值 。 然 后 ， 把 边 
(z，ZX) 的 权重 改 为 4， 再 次 运行 该 算法 ， 这 次 使 用 ;作为 源 结 点 。 

24.1-2 证 明 推论 24. 3。 

24.1-3 ”给 定 G= 二 (V，E) 是 一 带 权重 且 没 有 权重 为 负 值 的 环 路 的 有 向 图 ， 对 于 所 有 结 点 vEV， 
从 源 结 点 s 到 结 点 v 之 间 的 最 短路 径 中 ， 包 含 边 的 条 数 的 最 大 值 为 mwx。( 这 里 ， 判 断 最 
短路 径 的 根据 是 权重 ， 不 是 边 的 条 数 。) 请 对 算法 BELLMAN-FORD 进行 简单 修改 ， 可 
以 让 其 在 m 十 1 遍 松 弛 操作 之 后 终止 ， 即 使 mx 不 是 事先 知道 的 一 个 数值 。 

24.1-4 修改 Bellman-Ford 算 法 ,使 其 对 于 所 有 结 点 v 来 说 ， 如 果 从 源 结 点 s 到 结 点 wv 的 一 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 则 将 v. a 的 值 设置 为 一 co 

*24.1-5 设 G==(V,， EE) 为 一 带 权 重 的 有 向 图 ， 其 权重 函数 为 w: E 一 R。 请 给 出 一 个 时 间 复 杂 度 
为 O(VE) 的 算法 ， 对 于 每 个 结 点 vEV， 计 算出 数值 5* (vy) =min{d(u, v)}. 

*24.1-6 ”假定 G==(V，E) 为 一 带 权 重 的 有 向 图 ， 并 且 图 中 存在 一 个 权重 为 负 值 的 环 路 。 给 出 一 
个 有 效 的 算法 来 列 出 所 有 属于 该 环 路 上 的 结 点 。 请 证 明 算法 的 正确 性 。 


24.2 有 向 无 环 图 中 的 单 源 最 短路 径 问题 


根据 结 点 的 拓扑 排序 次 序 来 对 带 权 重 的 有 向 无 环 图 G 二 (V，E) 进 行 边 的 松弛 操作 ， 我 们 便 
可 以 在 @(V 十 E) 时 间 内 计算 出 从 单个 源 结 点 到 所 有 结 点 之 间 的 最 短路 径 。 在 有 向 无 环 图 中 ， 即 
使 存在 权重 为 负 值 的 边 ， 但 因为 没有 权重 为 负 值 的 环 路 ， 最 短路 径 都 是 存在 的 。 

我 们 的 算法 先 对 有 向 无 环 图 进行 拓扑 排序 (请 参阅 22. 4 节 )， 以 便 确 定 结 点 之 间 的 一 个 线性 
次 序 。 如 果 有 向 无 环 图 包含 从 结 点 u 到 结 点 v 的 一 条 路 径 ， 则 u 在 拓扑 排序 的 次 序 中 位 于 结 点 v 
的 前 面 。 我 们 只 需要 按照 拓扑 排序 的 次 序 对 结 点 进行 一 遍 处 理 即 可 。 每 次 对 一 个 结 点 进行 处 理 
时 ， 我 们 对 从 该 结 点 发 出 的 所 有 的 边 进行 松弛 操作 。 


DAG-SHORTEST-PATHS(G, w,s) 

1 topologically sort the vertices of G 

2 INITIALIZE-SINGLE-SOURCE(G, s) 

3 for each vertex u, taken in topologically sorted order 
4 for each vertex vEG. Adj[u] 

5 RELAX(u,v,w) 


图 24-5 描述 的 是 算法 DAG-SHORTEST-PATHS 的 执行 过 程 。 
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图 24-5 在 有 向 无 环 图 上 执行 最 短路 径 算 法 DAG-SHORTEST-PATHS 的 过 程 。 图 中 的 结 点 从 左 至 右 以 
拓扑 排序 的 次 序 排列 。 源 结 点 为 ;s， 每 个 结 点 中 的 数值 为 4 值 ， 加 了 阴影 的 边 表 示 x fA. (ad te 
算法 第 3 一 5 ÍF for 循环 开始 前 的 场景 。(b) 一 (g) 第 3 一 5 行 for 循环 在 每 次 执行 后 的 场景 。 每 次 
循环 时 新 变 为 黑色 的 结 点 作为 该 次 循环 里 的 x 结 点 。 图 (g) 中 所 显示 的 各 种 值 都 是 最 后 的 取 值 


该 算法 的 运行 时 间 非 常 容 易 分 析 。 如 22.4 节 所 描述 的 ， 算 法 第 1 行 的 拓扑 排序 时 间 为 
@(V+E). 4% 2 Xt INITIALIZE-SINGLE-SOURCE 的 调用 所 需 时 间 为 B(V)。 第 3 一 5 行 的 for 
循环 (外 循环 ) 对 于 每 个 结 点 执行 一 遍 ， 因 此 ， 第 4 一 5 行 的 for 循环 (内 循环 ) 对 每 条 边 刚 好 松弛 
一 次 。( 注 意 ， 我 们 这 里 使 用 了 聚合 分 析 。) 因 为 内 循环 每 次 的 运行 时 间 为 8(1), 算法 的 总 运行 时 
间 为 @(V 十 E)。 对 于 以 邻接 链表 法 表示 的 图 来 说 ， 这 个 时 间 为 线性 级 。 

下 面 的 定理 将 证 明 DAG-SHORTEST-PATHS 过 程 正确 计算 出 所 有 的 最 短路 径 。 

定理 24.5 如果 带 权重 无 环 路 的 有 向 图 G 二 (V，EF) 有 一 个 源 结 点 s， 则 在 算法 DAG 
SHORTEST-PATHS 终止 时 ， 对 于 所 有 的 结 点 vUEV， 我们 有 vd 二 6(s，v)， 且 前 驱 子 图 G, 是 
一 棵 最 短路 径 树 。 

证 明 首先 证 明 对 于 所 有 的 结 点 vEV， 在 算法 DAG-SHORTEST-PATHS 终止 时 都 有 
v. d 二 6(s，v)。 如 果 结 点 v 不 能 从 源 结 点 s 到达， 则 根据 非 路 径 性 质 有 v. d= 二 6(s，wv) 二 oo0。 现 在 
假定 结 点 v 可 以 从 结 点 s 到 达 ， 因 此 ， 图 中 存在 一 条 最 短路 径 p 二 (ww，wW，…，w)， 这 里 久 二 5， 
vi 二 v。 因 为 算法 是 按照 拓扑 排序 的 次 序 来 对 结 点 进行 处 理 ， 所 以 对 路 径 p 上 的 边 的 放松 次 序 为 
Cw, W), Crs w), ts Uis Ww)o WERRIBEE, XF i=0, 1, =, k, EAER ILM 
A u. d 二 6(s，v;)。 最 后 ， 根 据 前 驱 子 图 性 质 ，G, 是 一 棵 最 短路 径 树 。 a 
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算法 DAG-SHORTEST-PATHS 的 一 个 有 趣 的 应 用 是 在 PERT 图 的 分 析 中 进行 关键 路 径 的 
判断 。PERT 图 是 一 个 有 向 无 环 图 ， 在 这 种 图 中 ， 每 条 边 代表 需要 进行 的 工作 ， 边 上 的 权重 代表 
执行 该 工作 所 需要 的 时 间 。 如 果 边 (u， 功 进入 结 点 w， 边 (o，z) 离 开 结 点 v( 从 结 点 v 发 出 )， 则 
工作 (u， 才 必须 在 工作 (v，zx) 前 完成 。PERT 图 中 的 一 条 路 径 代表 的 是 一 个 工作 执行 序列 。 关 键 
路 径 则 是 该 有 向 无 环 图 中 一 条 最 长 的 路 径 ， 该 条 路 径 代 表 执 行 任何 工作 序列 所 需要 的 最 长 时 间 。 
因此 ， 关 键 路 径 上 的 权重 提供 的 是 执行 所 有 工作 所 需 时 间 的 下 界 。 我 们 可 以 使 用 下 面 两 种 办 法 
中 的 任意 一 种 来 找到 PERT 图 中 的 关键 路 径 : 

。 将 所 有 权重 变 为 负数 ， 然 后 运行 DAG-SHORTEST-PATHS。 
。 运行 DAG-SHORTEST-PATHS， 但 进行 如 下 修改 : 在 INITIALIZE-SINGLE-SOURCE 
的 第 2 行将 oo 替换 为 一 eo， 在 RELAX 过 程 中 将 “二 ”替换 为 二”。 


练习 

24.2-1 请 在 图 24-5 上 运行 DAG-SHORTEST-PATHS, 使 用 结 点 7 作为 源 结 点 。 

24.2-2 假定 将 DAG-SHORTEST-PATHS 的 第 3 行 改 为 : 
3 for the first |V|—1 vertices, taken in topologically sorted order 
证 明 : 该 算法 的 正确 性 保持 不 变 。 

24.2-3 上 面 描述 的 PERT 图 的 公式 有 一 点 不 太 自 然 。 在 一 个 更 自然 的 结构 下 ， 图 中 的 结 点 
代表 要 执行 的 工作 ， 边 代表 工作 之 间 的 次 序 限 制 ， 即 边 (x， 了 表示 工作 u 必须 在 工 
作 v 之 前 执行 。 在 这 种 结构 的 图 中 ， 我 们 将 权重 赋 给 结 点 ， 而 不 是 边 。 请 修改 
DAG-SHORTEST-PATHS 过 程 ， 使 得 其 可 以 在 线性 时 间 内 找 出 这 种 有 向 无 环 图 中 
一 条 最 长 的 路 径 。 

24.2-4 给 出 一 个 有 效 的 算法 来 计算 一 个 有 向 无 环 图 中 的 路 径 总 数 。 分 析 你 自己 的 算法 。 


24.3 Dijkstra 算法 


Dijkstra 算法 解决 的 是 带 权重 的 有 向 图 上 单 源 最 短路 径 问 题 ， 该 算法 要 求 所 有 边 的 权重 都 为 
非 负 值 。 因 此 ， 在 本 节 的 讨论 中 ,我们 假定 对 于 所 有 的 边 (u，v) EE， 都 有 w(u，v) 宇 0。 我 们 
稍 后 将 看 到 ， 如 果 所 采用 的 实现 方式 合适 ，Dijkstra 算法 的 运行 时 间 要 低 于 Bellman-Ford 算法 的 
运行 时 间 。 

Dijkstra 算法 在 运行 过 程 中 维持 的 关键 信息 是 一 组 结 点 集合 S。 从 源 结 点 s 到 该 集合 中 每 个 
结 点 之 间 的 最 短路 径 已 经 被 找到 。 算 法 重复 从 结 点 集 V 一 S 中 选择 最 短路 径 估计 最 小 的 结 点 w， 
将 zx 加 入 到 集合 S， 然 后 对 所 有 从 u 发 出 的 边 进行 松弛 。 在 下 面 给 出 的 实现 方式 中 ， 我 们 使 用 一 
个 最 小 优先 队列 Q 来 保存 结 点 集合 ， 每 个 结 点 的 关键 值 为 其 d 值 。 

DIJKSTRA. (G,w,s) 

1 INITIALIZE-SINGLE-SOURCE(G,s) 

2 S=øØ 

3 Q=G.V 

4 while QAGZ 

5 u=EXTRACT-MIN(Q) 

6 S=SU {u} 

7 for each vertex vE G. Adj[u] 

8 RELAX(u,v,w) 
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Dijkstra 算法 对 边 的 松弛 操作 如 图 24-6 所 示 。 算 法 第 1 行 执 行 的 是 例 行 的 d 值 和 x 值 的 初始 
化 ， 第 2 行将 集合 S 初 始 化 为 一 个 空 集 。 算 法 所 维持 的 不 变 式 为 Q 二 V 一 S， 该 不 变 式 在 算法 第 
4 一 8 行 的 while 循环 过 程 中 保持 不 变 。 算 法 第 3 行 对 最 小 优先 队列 Q 进行 初始 化 ， 将 所 有 的 结 点 
V 都 放 在 该 队列 里 。 由 于 此 时 的 S= 世 ,不 变 式 在 第 3 行 执行 完毕 后 成 立 。 算 法 在 每 次 执行 第 
4 一 8 行 的 while 循环 时 ， 第 5 行 从 Q=V 一 S 集合 中 抽取 结 点 x， 第 6 行将 该 结 点 加 入 到 集合 S E, 
从 而 继续 保持 不 变 式 成 立 。( 注 意 ， 在 第 一 次 执行 该 循环 时 ，u 二 5。) 结 点 u 是 集合 V 一 S 中 所 有 
结 点 的 最 小 最 短路 径 估 计 。 然 后 ， 在 算法 的 第 7 一 8 行 ， 我 们 对 所 有 从 结 点 u RWW (a, vit 
行 松弛 操作 。 如 果 一 条 经 过 结 点 x 的 路 径 能 够 使 得 从 源 结 点 s 到 结 点 v 的 最 短路 径 权重 比 当 前 的 
估计 值 更 小 ， 则 我 们 对 v d 的 值 和 前 驱 v. x 的 值 进行 更 新 。 注 意 ， 在 算法 的 第 3 行 之 后 ， 我 们 再 
不 会 在 队列 Q 中 插入 任何 结 点 ， 而 每 个 结 点 从 Q 中 被 抽取 的 次 数 和 加 入 集合 S 的 次 数 均 为 一 次 ， 
因此 ， 算 法 第 4 一 8 行 的 while 循环 的 执行 次 数 刚 好 为 |V| 次 。 





(d) Ce) Cf) 


图 24-6 Dijkstra 算法 的 执行 过 程 。 源 结 点 * 为 最 左边 的 结 点 。 每 个 结 点 中 的 数值 为 该 结 点 的 最 短路 径 的 
估计 值 ， 加 了 阴影 的 边 表 明 前 驱 值 。 黑 色 的 结 点 属于 集合 S， 白 色 的 结 点 属于 最 小 优先 队列 Q= 
V 一 S。(a) 算 法 第 4 一 8 行 的 while 循环 首次 执行 前 的 场景 。 加 了 阴影 的 结 点 为 4 值 最 小 的 结 点 ， 
该 结 点 在 算法 的 第 5 行 被 选择 为 结 点 Kx。(b) 一 (每 次 成 功 执行 while 循环 后 的 场景 。 每 幅 图 里 加 
了 阴影 的 结 点 是 被 算法 第 5 行 所 选择 出 的 下 一 次 循环 所 用 的 结 点 uo ECO PRY d 值 和 前 驱 值 都 是 
最 终 值 


ALA Dijkstra 算法 总 是 选择 集合 V 一 S 中 “最 轻 ” 或 最近” 的 结 点 来 加 入 到 集合 S 中 ， 该 算法 
使 用 的 是 贪心 策略 。 第 16 章 详细 讨论 了 贪心 策略 ， 但 读者 并 不 需要 读 过 第 16 章 的 内 容 才 能 理解 
Dijkstra 算法 。 虽 然 贪心 策略 并 不 总 是 能 获得 最 优 的 结果 ,但 正如 下 面 的 定理 和 推论 所 指出 的 ， 
使 用 贪心 策略 的 Dijkstra 算法 确实 能 够 计算 出 最 短路 径 。 这 里 的 关键 是 证 明 这 样 一 个 事实 : 该 算 
法 在 每 次 选择 结 点 uw 来 加 入 到 集合 S 时 ， 有 .d=6(s， u). 

定理 24. 6(Dijkstra 算法 的 正确 性 ) Dijkstra 算法 运行 在 带 权重 的 有 向 图 G 二 (V， EH, 4 
果 所 有 权重 为 非 负 值 ， 则 在 算法 终止 时 ， 对 于 所 有 结 点 KEV， 我 们 有 xz d= 二 6(s，)。 

证 明 ”我们 使 用 下 面 的 循环 不 变 式 : 

在 算法 第 4~8 行 的 while 语句 的 每 次 循环 开始 前 ， 对 于 每 个 结 点 ES, A v d=, v). 
我 们 只 需要 证 明 对 于 每 个 结 点 vxEV， 当 结 点 zx 被 加 入 到 集合 S 时 ， 有 zw d= 二 6(s，wu)。 一 旦 证 明 
了 wu.d 二 6(s，wu)， 就 可 以 使 用 上 界 性 质 来 证 明 该 等 式 在 后 续 的 所 有 时 间 内 保持 成 立 。 
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初始 化 : 初始 时 ，S 二 多， 因此 ， 循 环 不 变 式 直接 成 立 。 

保持 : 我 们 希望 证 明 在 每 次 循环 中 ， 对 于 加 入 到 集合 S 的 结 点 zx 来 说 ，u. d=, u), RN 
使 用 反 证 法 来 证 明 此 论断 。 设 结 点 是 第 一 个 在 加 入 到 集合 S 时 使 得 该 方程 式 不 成 立 的 结 点 ， 即 
u. d 关 6(s，u)。 我 们 下 面 将 注意 力 集中 到 把 结 点 u 加 入 到 集合 S 的 这 所 循环 的 开始 ， 并 通过 对 从 
结 点 s 到 结 点 的 最 短路 径 进 行 检查 来 导出 结论 u. d= 二 6(s，wu) 。 由 于 结 点 s 是 第 一 个 加 入 到 集合 
S 中 的 结 点 ， 并 且 s. d= 二 6(s，s) 二 0， 结 点 4 必定 与 结 点 s Ale, Mutés. AAurs, FERRE 
点 加 入 到 集合 S 时 ,我 们 有 SAS. weit, 一定 存在 某 条 从 结 点 s 到 结 点 zx 的 路 径 ， 否 则 ， 根 
据 非 路 径 性 质 将 有 u. d= 二 6(s，w) 二 coO， 而 这 将 违反 我 们 的 假设 u. 4d 隆 6(s，u) 。 因 为 至 少 存在 一 
条 从 到 zx 的 路 径 ， 所 以 也 存在 一 条 从 s 到 w 的 最 短路 径 p。 在 将 结 点 u 加 入 到 集合 S 之 前 ， 路 
径 p 连接 的 是 集合 S 中 的 一 个 结 点 ( 即 ;)D 和 V 一 S 中 的 一 个 结 点 ( 即 xz) 。 让 我 们 考虑 路 径 p 上 第 
一 个 满足 yEV 一 S 的 结 点 y， 设 XE S 为 结 点 y ER p 上 的 前 驱 ， 则 如 图 24-7 所 示 ， 我 们 可 以 
将 路 径 分 解 为 ;<x>y~u。( 路 径 pi MH ps 可 能 不 包含 任何 边 。) 





图 24-7 定理 24.6 的 证 明 。 集 合 S 在 将 结 点 zx 加 入 之 前 为 非 空 。 我 们 将 从 源 结 点 * 到 结 点 4 
的 路 径 分 解 为 ;~ ayu, IEAA y ERB p 上 第 一 个 不 属于 集合 S 的 结 
点 ， 结 点 z(zE 5S) 为 路 径 p 上 结 点 y 的 直接 前 驱 结 点 。 结 点 zx 和 y 是 不 同 的 结 点 ， 
但 可 能 有 s= MH y=u. BE p 既 可 能 重新 进入 集合 S， 也 可 能 不 重新 进入 集合 S 
我 们 断言 : 在 将 结 点 u 加 入 到 集合 S 时 ，y. d= 二 6(s，y)。 为 了 证 明 这 一 点 ， 只 要 观察 到 rE 
S。 然 后 ， 因 为 选择 的 结 点 是 第 一 个 在 加 入 到 集合 S 时 不 满足 条 件 x. dAl, WK, EH 
结 点 工 加 入 到 集合 S 时， 有 xz. d= 二 6(s，x)。 此 时 ， 边 (x，y) 将 被 松弛 ， 根 据 收 全 性质 可 以 得 出 
我 们 的 断言 。 
现在 可 以 通过 反 证 来 证 明 u. d 二 6(s，w) 。 因 为 结 点 y 是 从 结 点 s 到 结 点 的 一 条 最 短路 径 上 
位 于 前 面 的 一 个 结 点 ， 并 且 所 有 的 边 权 重 均 为 非 负 值 ， 所 以 有 eG, Ys, uw, AE, 
y. d= &s,y) 
< ls u) 
<u d REEF EH) (24. 2) 
但 是 ， 因 为 在 算法 第 547TA A uit, SEA u Aly 都 在 集合 V 一 SS 里， 所 以 有 zw d 委 yx d。 因 
此 ， 式 (24. 2) 中 的 两 个 不 等 式 事实 上 都 是 等 式 ， 即 
y. d = ls, y) = 6(s,u) = u.d 
EE u. d= 二 6(s，w) ， 而 这 与 我 们 所 选择 的 结 点 x 了 矛盾 。 因 此 ， 我 们 推断 ， 在 结 点 x 被 加 入 到 集合 
S 时 有 wu.d 二 6(s，u)， 并 且 该 等 式 在 随后 的 所 有 时 间 内 都 保持 成 立 。 
终止 : 在 算法 终止 时 ，Q= 乌 。 该 事实 与 之 前 的 不 变 式 Q=V—S 一 起 说 明了 S=V. Ak, 
对 于 所 有 的 结 点 wEV， 有 u.d=8ls, u). a 
推论 24.7 ”如 果 在 带 权重 的 有 向 图 G 二 (V，E) 上 运行 Dijkstra Lk, RP MRE EAA 
值 ， 源 结 点 为 s， 则 在 算法 终止 时 ， 前 驱 子 图 G, 是 一 棵 根 结 点 为 的 最 短路 径 树 。 
证 明 从 定理 24. 6 和 前 驱 子 图 性 质 可 立即 得 知 该 推论 。 E 
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分 析 

Dijkstra 算法 的 运行 速度 有 多 快 呢 ? 该 算法 执行 三 种 优先 队列 操作 来 维持 最 小 优先 队列 : 
INSERT( 算 法 第 3 行 所 隐 含 的 操作 ) 、EXTRACT-MIN( 算 法 第 5 行 ) 和 DECREASE-KEY( 隐 含 在 
算法 第 8 行 所 调用 的 RELAX 操作 中 )。 该 算法 对 每 个 结 点 调用 一 次 INSERT 和 EXTRACT-MIN 
操作 。 因 为 每 个 结 点 仅 被 加 入 到 集合 S 一次， 邻接 链表 Adj[uj] 中 的 每 条 边 在 整个 算法 运行 期 间 
也 只 被 检查 一 次 (算法 第 7 一 8 行 的 for 循环 里 )。 由 于 所 有 邻接 链表 中 的 边 的 总 数 为 | 下 | ， 该 for 
循环 的 执行 次 数 一 共 为 |E| 次 ， 因 此， 该 算法 调用 DECREASE-KEY 最 多 |E| 次 。( 注 意 ， 我们 
这 里 还 是 使 用 的 聚合 分 析 。) 

Dijkstra 算法 的 总 运行 时 间 依赖 于 最 小 优先 队列 的 实现 。 我 们 首先 考虑 第 一 种 情况 : 通过 利 
用 结 点 的 编号 为 1 一 |V| 来 维持 最 小 优先 队列 。 在 这 种 情况 下 ， 我 们 将 v a 的 值 存放 在 数组 的 第 


v 个 记录 里 。 每 次 INSERT 和 DECREASE-KEY 操作 的 执行 时 间 为 0(1)， 每 次 EXTRACT-MIN 


的 操作 时 间 为 OV (因为 需要 搜索 整个 数组 )， 算 法 的 总 运行 时 间 为 OCV? + E) =OCV"), 

如 果 我 们 讨论 的 是 稀疏 图 ， 特 别 地 ， 如 果 下 =o(Vz/lgV) ， 则 可 以 使 用 二 又 堆 来 实现 最 小 优 
先 队 列 ， 从 而 改善 算法 的 运行 时 间 。( 如 6. 5 节 所 讨论 的 ， 该 实现 应 该 在 结 点 及 其 对 应 的 堆 元 素 
里 相互 保存 指向 对 方 的 句柄 ,) 在 这 种 模式 下 ， 每 次 EXTRACT-MIN 操作 的 执行 时 间 为 O(lgV)。 
和 前 面 一 样 ， 一 共有 |V| 次 这 样 的 操作 。 构 建 最 小 二 叉 堆 的 成 本 为 O(V)。 每 次 DECREASE- 
KEY 操作 的 执行 时 间 为 OUgV), 而 最 多 有 1E| 次 这 样 的 操作 。 因 此 ， 算 法 的 总 运行 时 间 为 
OL((V 十 E) lgV)。 若 所 有 结 点 都 可 以 从 源 结 点 到 达 ， 则 该 时 间 为 OCE lgV)。 若 E=o(V?/lgV)， 
则 该 时 间 成 本 相对 于 直接 实现 的 O(V?) 成 本 有 所 改善 。 

事实 上 ， 我 们 可 以 将 Dijkstra 算法 的 运行 时 间 改 善 到 OCV lgV 十 E), 方法 是 使 用 辈 波 那 契 堆 
来 实现 最 小 优先 队列 (请 参阅 第 19 章 )。 在 这 种 实现 下 ， 每 次 EXTRACT-MIN 操作 的 挫 还 代价 为 
Ol(gV)， 每 次 DECREASE-KEY 操作 的 摊 还 代价 为 O(1) 。 从 历史 的 角度 上 看 ， 斐 波 那 契 堆 提出 
的 动机 就 是 因为 人 们 观察 到 Dijkstra 算法 调用 的 DECREASE-KEY 操作 通常 比 EXTRACT-MIN 
操作 更 多 ， 因 此 ， 任 何 能 够 将 DECREASE-KEY 操作 的 摊 还 代价 降低 到 o Cg V) mi LR h 
EXTRACT-MIN 操作 的 摊 还 代价 的 方法 都 将 产生 比 二 又 堆 的 渐 近 性 能 更 优 的 实现 。 

Dijkstra 算法 既 类 似 于 广度 优先 搜索 (请 参阅 22. 2 节 )， 也 有 点 类 似 于 计算 最 小 生成 树 的 
Prim 算法 (请 参阅 23. 2 节 ) 。 它 与 广度 优先 搜索 的 类 似 点 在 于 集合 S 对 应 的 是 广度 优先 搜索 中 的 
黑色 结 点 集合 : 正如 集合 S 中 的 结 点 的 最 短路 径 权 重 已 经 计算 出 来 一 样 ， 在 广度 优先 搜索 中 ， 
黑色 结 点 的 正确 的 广度 优先 距离 也 已 经 计算 出 来 。Dijkstra 算法 像 Prim 算法 的 地 方 是 ， 两 个 算 
法 都 使 用 最 小 优先 队列 来 寻找 给 定 集合 (Dijkstra 算法 中 的 S 集 合 与 Prim 算法 中 逐步 增长 的 树 ) 
之 外 的 “最 轻 ? 结 点 ， 将 该 结 点 加 入 到 集合 里 ， 并 对 位 于 集合 外 面 的 结 点 的 权重 进行 相应 调整 。 


练习 

24.3-1 在 图 24-2 上 运行 Dijkstra 算法 ， 第 一 次 使 用 结 点 s 作为 源 结 点 ， 第 二 次 使 用 结 点 = 作为 
源 结 点 。 以 类 似 于 图 24-6 的 风格 ， 给 出 每 次 while 循 环 后 的 ad 值 和 x 值 ， 以 及 集合 S 中 
的 所 有 结 点 。 

24.3-2 请 举 出 一 个 包含 负 权 重 的 有 向 图 ， 使 得 Dijkstra 算法 在 其 上 运行 时 将 产生 不 正确 的 结 
果 。 为 什么 在 有 负 权 重 的 情况 下 ， 定 理 24. 6 的 证 明 不 能 成 立 呢 ? 

24.3-3 假定 将 Dijkstra 算法 的 第 4 行 改 为 : 


4 while| Q| 二 1 


这 种 改变 将 让 while 循环 的 执行 次 数 从 | V| 次 降低 到 | V| 一 1 次 。 这 样 修改 后 的 算法 正确 吗 ? 
24.3-4 Gaedel 教授 写 了 一 个 程序 ， 他 声称 该 程序 实现 了 Dijkstra 算法 。 对 于 每 个 结 点 vE V， 
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该 程序 生成 值 vd 和 wv. x。 请 给 出 一 个 时 间 复 杂 度 为 O(V 十 E) 的 算法 来 检查 教授 所 编写 
程序 的 输出 。 该 算法 应 该 判断 每 个 结 点 的 d 和 x 属性 是 否 与 某 棵 最 短路 径 树 中 的 信息 匹 
配 。 这 里 可 以 假设 所 有 的 边 权重 皆 为 非 负 值 。 

24.3-5 Newman 教授 觉得 自己 发 现 了 Dijkstra 算法 的 一 个 更 简单 的 证 明 。 他 声称 Dijkstra 算法 
对 最 短路 径 上 面 的 每 条 边 的 松弛 次 序 与 该 条 边 在 该 条 最 短路 径 中 的 次 序 相 同 ， 因 此 ， 路 
径 松弛 性 质 适 用 于 从 源 结 点 可 以 到 达 的 所 有 结 点 。 请 构造 一 个 有 向 图 来 说 明 Dijkstra 算 
法 并 不 一 定 按照 最 短路 径 中 边 的 出 现 次 序 来 对 边 进行 松弛 ， 从 而 证 明教 授 是 错 的 。 

24.3-6 ”给 定 有 向 图 G=(V，E)， 每 条 边 (u，v) EE 有 一 个 关联 值 r-(u，v)， 该 关联 值 是 一 个 实 
数 ， 其 范围 为 0 二 r(u，) 三 1， 其 代表 的 意思 是 从 结 点 u 到 结 点 v 之 间 的 通信 和 链 路 的 可 靠 
性 。 可 以 认为 ，rlu， 马 代表 的 是 从 结 点 wu 到 结 点 v 的 通信 和 链 路 不 失效 的 概率 ， 并 且 假 设 这 
些 概 率 之 间 相 互 独立 。 请 给 出 一 个 有 效 的 算法 来 找到 任意 两 个 结 点 之 间 最 可 靠 的 通信 链 路 。 

24.3-7 给 定 带 权重 的 有 向 图 G=(V, E), HRB RBH w: E>(1, 2, +, W), KRW AK 
个 正 整 数 ， 我 们 还 假设 图 中 从 源 结 点 s 到 任意 两 个 结 点 之 间 的 最 短路 径 的 权重 都 不 相同 。 
现在 ， 假 设 定义 一 个 没有 权重 的 有 向 图 G'=(VUV', ED. KABKRAU CU. DEE 
以 替换 ， 替 换 所 用 的 是 rw(x， 人 条 具有 单位 权重 的 边 。 请 问 图 C 一 共有 多 少 个 结 点 ? BL 
在 假设 在 G 上 运行 广度 优先 搜索 算法 ， 证明 : G 的 广度 优先 搜索 将 V 中 结 点 涂 上 黑色 的 
次 序 与 Dijkstra 算 法 运行 在 图 G 上 时 从 优先 队列 中 抽取 结 点 的 次 序 相同 。 

24.3-8 ”给 定 带 权重 的 有 向 图 G 二 (V，E)， 其 权重 函数 为 w: E>{0, 1, 2, =, W}, REW 
为 某 个 非 负 整数 。 请 修改 Dijkstra 算法 来 计算 从 给 定 源 结 点 s 到 所 有 结 点 之 间 的 最 短路 
径 。 该 算法 时 间 应 为 O(WV 十 E)。 

24.3-9 修改 练习 24. 3-8 中 的 算法 ， 使 其 运行 时 间 为 OCLCV 十 E)lgW)。( 提 示 : 在 任意 时 刻 ， 集 
合 V 一 S 里 有 多 少 个 不 同 的 最 短路 径 估计 ?) 

24.3-10 假设 给 定 带 权重 的 有 向 图 G= 二 (V，E)， 从 源 结 点 s 发 出 的 边 的 权重 可 以 为 负 值 ， 而 其 
他 所 有 边 的 权重 全 部 是 非 负 值 ， 同 时 ， 图 中 不 包含 权重 为 负 值 的 环 路 。 证 明 : Dijkstra 
算法 可 以 正确 计算 出 从 源 结 点 s 到 所 有 其 他 结 点 之 间 的 最 短路 径 。 


24.4 ”差分 约束 和 最 短路 径 


第 29 章 研究 的 是 通用 的 线性 规划 问题 ， 在 其 讨论 中 ， 我 们 希望 在 满足 一 组 线性 不 等 式 的 条 
件 下 优化 一 个 线性 函数 。 本 节 将 讨论 线性 规划 中 的 一 个 特例 ， 该 特例 可 以 被 归 约 到 单 源 最 短路 
径 问题 。 这 样 ， 我 们 可 以 通过 运行 Bellman-Ford 算法 来 解决 单 源 最 短路 径 问 题 ， 从 而 解决 这 种 
特殊 的 线性 规划 问题 。 

线性 规划 

在 通用 的 线性 规划 问题 中 ， 我们 通常 给 定 一 个 mXn 的 矩阵 A、 一 个 m 维 的 向 量 b 和 一 个 
维 向 量 c。 我 们 希望 找到 一 个 n 维 向 量 +， 使 得 在 由 Azx<6 给 定 的 m 个 约束 条 件 下 优化 目标 函数 


> czi， 这 里 的 优化 指 的 是 使 目标 函数 的 取 值 最 大 。 


虽然 第 29 章 描述 的 单纯 形 算法 并 不 总 是 能 够 在 多 项 式 时 间 内 完成 ， 但 却 存 在 其 他 的 运行 时 
间 为 多 项 式 时 间 的 线性 规划 算法 。 线 性 规划 问题 的 设置 具有 许多 实际 价值 ， 我 们 这 里 仅 给 出 两 
个 理由 来 帮助 读者 理解 。 首 先 ， 如 果 我 们 知道 可 以 将 某 个 给 定 问题 看 做 一 个 多 项 式 规模 的 线性 
规划 问题 ， 则 可 以 立即 获得 一 个 多 项 式 时 间 的 算法 解 。 其 次 ， 对 于 线性 规划 的 许多 特殊 情况 ， 存 
在 着 更 快 的 算法 。 例 如 ， 单 源 单 目的 地 最 短路 径 问 题 (练习 24. 4-4) 和 最 大 流 问题 (练习 26. 1-5) 都 
是 线性 规划 问题 的 特例 。 

有 时 候 ， 我 们 并 不 关注 目标 函数 ， 而 仅仅 是 希望 找到 一 个 可 行 解 ， 即 找到 任何 满足 Az<2 
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的 向 量 x， 或 者 判断 不 存在 可 行 解 。 我 们 下 面 来 关注 这 样 的 一 个 可 行 性 问题 。 

差分 约束 系统 

在 一 个 差分 约束 系统 中 ， 线 性 规划 矩阵 A 的 每 一 行 包括 一 个 1 和 一 个 一 1， 其 他 所 有 项 皆 为 
0。 因 此 ， 由 Ax<b 所 给 出 的 约束 条 件 变 为 m 个 涉及 nn 个 变量 的 差额 限制 条 件 ， 其 中 的 每 个 约束 
条 件 是 如 下 所 示 的 简单 线性 不 等 式 : 

4-2 h 

这 里 1&i, j<n, iŻj, 并 且 1<k<m. 

例如 ， 我 们 考虑 寻找 一 个 满足 下 列 条 件 的 5 维 向 量 x= (zx;) 的 问题 : 


Lait 0 0 0 0 
1 0 0 0 =] a l 
Tı 
0 1 0 o | 1 
=F 6. ot wS 5 
=the. a By a 
Coe 1 i oHa = 
0 mi 0 ap —3 
0 0 0. =] 1 —3 
这 个 问题 与 寻找 满足 下 列 的 8 个 差分 约束 条 件 的 变量 ts 22, t, ts 2s 的 取 值 的 问题 等 价 : 

XZ} — 220 (24. 3) 

n~g 1l (24. 4) 

而 一 区 过 1 (24.5) 

Xy— MSH (24. 6) 

M—mM=4 (24. 7) 

yaya) (24. 8) 

Zs — Z3Q— 3 (24. 9) 

e e — 2a 3 (24. 10) 


这 个 问题 的 一 个 可 能 答案 是 zx 一 (一 5， 一 3，0， 一 1， 一 4)， 读 者 可 以 对 每 个 不 等 式 进行 验证 来 
证 明 该 向 量 确实 是 一 个 正确 答案 。 事 实 上 ， 这 个 问题 的 答案 有 多 个 。 另 一 个 答案 是 一 (0，2， 
5，4，1)。 这 两 个 答案 之 间 存 在 着 关联 关系 : 向 量 z 中 每 个 元 素 比 向 量 x 中 的 对 应 元 素 的 取 值 
大 5。 我 们 在 后 面 将 看 到 ， 这 种 关系 并 不 是 巧合 。 

引 理 24.8 设 向 量 z 王 (zi，z，…，zn) 为 差分 约束 系统 AKI 的 一 个 解 ， 设 d 为 任意 常 
数 ， 则 z 十 Cd 一 (zi 十 d，z 十 gd，…， 刀 十 d) 也 是 该 差分 约束 系统 的 一 个 解 。 

WERA 对 于 每 个 z; Marj, 我 们 有 (zj 十 4d) 一 (zi 十 d)= 二 zj 一 zi;。 因此 ， 若 向 量 x WE Az <b, 
则 向 量 z 十 4 也 满足 该 条 件 。 a 

差分 约束 系统 在 许多 不 同 的 应 用 里 都 会 出 现 。 例 如 ， 未 知 变量 x, 可 能 代表 的 是 事件 发 生 的 
时 间 。 每 个 约束 条 件 给 出 的 是 在 两 个 事件 之 间 必 须 间 隔 的 最 短 时 间或 最 长 时 间 。 也 许 ， 这 些 事件 
代表 的 是 产品 装配 过 程 中 所 必须 执行 的 任务 。 如 果 在 时 刻 zi 使 用 一 种 需要 2 个 小 时 才能 风干 的 
粘贴 剂 材 料 ， 则 我 们 需要 等 到 该 粘贴 剂 干 了 之 后 才能 在 时 刻 zz 安装 部 件 ， 这 样 ， 我 们 就 有 约束 
RAF x; 宇 zi 十 2， 或 者 等 价 地 ，zi 一 xz; 夺 一 2。 也 许 ， 我 们 可 能 要 求 部 件 必须 在 粘贴 剂 涂 上 后 但 
在 粘贴 剂 半 干 之 前 的 时 间 段 里 安装 上 。 在 这 种 情况 下 ， 我 们 得 到 一 对 约束 条 件 : mm 和 zx; 三 
atl 而 这 与 差分 约束 系统 Tı — t K0 Al x, —- 2, <1 等 价 。 

约束 图 

我 们 可 以 从 图 论 的 观点 来 理解 差分 约束 系统 。 在 一 个 Arb 的 差分 约束 系统 中 ， 我们 将 
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mXn 的 线性 规划 矩阵 A 看 做 是 一 张 由 n TE Alm 条 边 构 成 的 图 的 邻接 矩阵 的 转 置 。( 请 参阅 练 
习 22.1-7)。 对 于 i 二 1，2,…，n， 图 中 的 每 个 结 点 vw 对 应 n 个 未 知 变量 xz; 中 的 一 个 。 图 中 的 
每 条 有 向 边 则 对 应 m 个 不 等 式 中 的 一 个 。 

正 形式 化 地 说 ， 给 定 差分 约束 系统 Ar<b， 其 对 应 的 约束 图 是 一 个 带 权 重 的 有 向 图 G=(V, E), 
这 里 : 

V= {ws Uy} 

E= {(visyv):Zzj — 2; Shy 是 一 个 约 东 条 件 } U (Cv oy) Cry 9) 5 (Wp 9 Us) 920 (vo 9 ty) } 
约束 图 包含 一 个 额外 的 结 点 mw， 用 来 保证 图 中 至 少 存在 一 个 结 点 ， 从 其 出 发 可 以 到 达 所 有 其 他 
的 结 点 。 因 此 ， 结 点 集合 V 由 代表 每 个 变量 z; 的 结 点 w 和 额外 的 结 点 w。 TAM. WURA EAE 
的 是 代表 每 个 差分 约束 的 边 ， 再 加 上 边 (w，vw;)，i 二 1，2，…，n。 如 果 grb 是 一 个 差分 
约束 条 件 ， 则 边 (v;:，w) 的 权重 为 wlv;，wv) 二 Bb.。 所 有 从 结 点 w 发 出 的 边 的 权重 为 0。 图 24-84 
述 的 是 差分 约束 系统 (24. 3) 一 (24. 10) 的 约束 图 。 





图 24-8 差分 约束 系统 (24. 3) 一 (24. 10) 所 对 应 的 约束 图 。 每 个 结 点 vw 中 的 数值 是 56 
(w，w) 的 值 。 该 系统 的 一 个 可 行 解 是 z=( 一 5， 一 3,， 0, 一 1, 一 4) 


下 面 的 定理 将 证 明 可 以 通过 在 对 应 的 约束 图 中 寻找 最 短路 径 权 重 来 找到 一 个 差分 约束 系统 
的 解 。 

定理 24.9 给 定 差分 约束 系统 Arb, H G 一 (V， 巨 ) 是 该 差分 约束 系统 所 对 应 的 约束 图 。 
如 果 图 C 不 包含 权重 为 负 值 的 环 路 ， 则 

x = (OCW sV) ÒC sv) OCU 9 V3) ,Ov ,Uv,)) (24. 11) 
是 该 系统 的 一 个 可 行 解 。 如 果 图 G 包含 权重 为 负 值 的 环 路 ， 则 该 系统 没有 可 行 解 。 

证 明 首先 证 明 如 果 约 束 图 不 包含 权重 为 负 值 的 环 路 ， 则 式 (24. 11) 给 出 一 个 可 行 解 。 考 虑 
任意 一 条 边 (v;，wvj)EE， 根据 三 角 不 等 式 ,，6(w， y)<d(y, v)+wly,, wy), Boa, y)— 
wm, yISwly,, vy). Ask, MRR z=, yA r=, wy), Wa, Az, 满足 对 应 边 
(v;:，v) 的 差分 约束 条 件 jrw, v). 

现在 我 们 来 证 明 如 果 约 束 图 包含 权重 为 负 值 的 环 路 ， 则 差分 约束 系统 没有 可 行 解 。 不 失 一 
般 性 ， 设 权重 为 负 值 的 环 路 为 C= (Us Ws s Us XE u= w. (GA w 不 可 能 包含 在 环 路 c 
上 ， 因 为 它 没有 进入 的 边 。) 环 路 c 对 应 下 面 的 差分 约束 条 件 组 : 

Zz — BQ wu su) 


3) tS wv, sv) 


Lra — Tea WVz sUr) 


Le — Lra S WU st) 
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我 们 使 用 反 证 法 来 进行 证 明 。 假 设 向 量 x 有 一 个 满足 上 述 & 个 不 等 式 的 解 ， 则 这 个 解 必须 同时 满 

足 将 & 个 不 等 式 加 起 来 之 后 形成 的 新 的 不 等 式 。 如 果 将 不 等 式 的 左边 进行 求 和 ， 每 个 未 知 变量 xz; 

被 加 进来 一 次 ， 被 减 去 一 次 ( 记 住 ，w 三 也 WRA r 二 x)， 使 得 左边 的 和 为 0。 不等式 右面 的 和 

为 w(c) ， 因 此 有 Swe), BE c 是 一 个 权重 为 负 值 的 环 路 ， 因 此 wlo)<0, RNG 

JB: 0<wlc)<0, m 
求解 差分 约束 系统 

定理 24. 9 告诉 我 们 ， 可 以 使 用 Bellman-Ford 算法 来 求解 差分 约束 系统 。 因 为 约束 图 包含 从 
源 结 点 w 到 所 有 其 他 结 点 的 边 ， 任 何 权 重 为 负 值 的 环 路 都 可 以 从 结 点 w 到达。 如 果 Bellman- 
Ford 算法 返回 TRUE 值 ， 则 最 短路 径 权 重 给 出 的 是 该 系统 的 一 个 可 行 解 。 例 如 ， 在 图 24-8 中 ， 
最 短路 径 权 重 提供 的 可 行 解 是 zx= (一 5， 一 3，0， 一 1， 一 4) ， 根 据 引 理 24.8， 对 于 任意 常数 d, 
z=(d 一 5,d 一 3，d，d 一 1，d 一 4) 也 是 一 个 可 行 解 。 如 果 Bellman-Ford 算法 返回 FALSE 值 ， 
则 差分 约束 系统 没有 可 行 解 。 

一 个 有 个 未 知 变量 和 xm 个 约束 条 件 的 差分 约束 系统 所 生成 的 约束 图 有 nn 十 1 个 结 点 和 ?十 7 
条 边 。 因 此 ， 使 用 Bellman-Ford 算法 ， 我 们 可 以 在 OCCn 十 DD)(n 十 mw)) 二 OGY 十 nm) 时 间 内 求解 该 
系统 。 练 习 24. 4-5 将 要 求 读者 来 修改 算法 ， 以 使 其 能 够 在 O(nm) 时 间 内 完成 运算 ， 即 使 m 远 远 
小 于 nn。 


练习 
24.4-1 请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 


mS 1 
X— m= 4 
Xa — 1352 
2 — 1X57 
toe 5 
X3 — 2510 
4 — 22 2 
% = aA=— 1 
Xs = 143 
n Ae 8 
24.4-2 请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 
ZI 一 Ze 入 4 
ts Rl 
0 
wl 
my — 243 
Lays 5. 
X_4— X= 10 
tH a4 
Xs — e 


24. 4-3 约束 图 中 从 新 结 点 w 到 其 他 结 点 之 间 的 最 短路 径 权 重 能 够 为 正 值 吗 ? 请 解释 。 
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24. 4-4 请 将 单 源 单 目的 地 最 短路 径 问 题 表 示 为 一 个 线性 规划 问题 。 
24.4-5 请 稍微 修改 Bellman-Ford 算法 ， 使 其 能 够 在 O(nm) 时 间 内 解决 由 个 未 知 变量 和 个 
约束 条 件 所 构成 的 差分 约束 系统 问题 。 
24.4-6 假定 在 除 差 分 约束 系统 外 ， 我 们 希望 处 理 形式 为 x; 二 xz; 十 b 的 相等 约束 。 请 说 明 如 何 修 
改 Bellman-Ford 算法 来 解决 这 种 约束 系统 。 
24.4-7 说 明 如 何在 一 个 没有 额外 结 点 w 的 约束 图 上 运行 类 似 Bellman-Ford 的 算法 来 求解 差分 
*24.4-8 ” 设 Az<<b 为 一 个 有 nn 个 变量 和 xm 个 约束 条 件 的 差分 约束 系统 。 证 明 : 在 对 应 的 约束 图 


上 运行 Bellman-Ford 算 法 将 获得 》 x, 的 最 大 值 ， 这 里 Azx<b 并 且 x,<0。 


*24.4-9 ” 设 Azx<<b 为 一 个 有 nn 个 变量 和 m 个 约束 条 件 的 差分 约束 系统 。 证 明 : 在 对 应 的 约束 图 
上 运行 Bellman-Ford $3445 3049 (max{z;}—min{z,} ) 的 最 小 值 ， 这 里 Arb. WERZA 
法 被 用 于 安排 建设 工程 的 进度 ， 请 说 明 如 何 应 用 上 述 事实 。 
24.4-10 ”假定 线性 规划 问题 Arb 的 矩阵 A 中 每 一 行 对 应 一 个 约束 条 件 ， 具 体 来 说 ， 对 应 的 是 
一 个 形式 为 <b 的 单个 变量 的 约束 条 件 ， 或 一 个 形式 为 一 zx; 三 b 的 单 变 量 约束 条 件 。 
请 说 明 如 何 修 改 Bellman-Ford 算法 来 解决 这 变 差 分 约束 系统 问题 。 
24.4-11 给 出 一 个 有 效 算法 来 解决 Arb 的 差分 约束 系统 问题 ， 这 里 5 的 所 有 元 素 为 实数 ， 所 
有 的 变量 xz; 都 是 整数 。 
*24.4-12 给 出 一 个 有 效 算法 来 解决 Arb 的 差分 约束 系统 ， 这 里 5 的 所 有 元 素 为 实数 ， 而 变量 
x, 中 某 个 给 定 的 子 集 是 整数 。 


24.5 最短 路径 性 质 的 证 明 


在 贯穿 本 章 的 讨论 中 ， 我 们 的 各 种 正确 性 证 明 都 依赖 于 三 角 不 等 式 、 上 界 性 质 、 非 路 径 性 
质 、 收 敛 性 质 、 路 径 松 弛 性 质 和 前 驱 子 图 性 质 。 在 本 章 一 开始 ， 我 们 就 给 出 了 这 些 性 质 ， 但 却 没 
有 给 出 证 明 。 本 节 就 来 证 明 这 些 性 质 。 

三 角 不 等 式 性 质 

在 研究 广度 优先 搜索 (22. 2 节 ) 算 法 时 ， 我 们 在 引 理 22. 1 中 证 明了 无 权重 图 里 面 最 短路 径 的 
一 个 简单 性 质 。 三 角 不 等 式 只 不 过 是 将 该 简单 性 质 推广 到 带 权重 的 图 中 。 

引 理 24. 10( 三 角 不 等 式 ) 设 G 一 (V， 巨 ) 为 一 个 带 权 重 的 有 向 图 ， 其 权重 函数 由 记 : 下 -> 有 R 给 
出 ， 其 源 结 点 为 s。 那 么 对 于 所 有 的 边 (u，v) EE， 我 们 有 

06(s,v) < &(s,u) + wlu,v) 

证 明 假定 pp 是 从 源 结 点 s 到 结 点 wv 的 一 条 最 短路 径 ， 则 p 的 权重 不 会 比 任 何 从 s Bo 的 其 
他 路 径 的 权重 大 。 具 体 来 说 ， 路 径 p 的 权重 不 会 比 这 样 一 条 特定 的 路 径 的 权重 大 : 从 源 结 点 * 到 
结 点 zx 的 一 条 最 短路 径 ， 再 加 上 边 (u， 必 而 到 达 结 点 v 的 这 条 路 径 。 

练习 24. 5-3 将 要 求 读者 处 理 从 源 结 点 s 到 结 点 v 没有 最 短路 径 的 情况 。 

最 短路 径 估计 值 的 松弛 效果 

下 一 组 引 理 描述 的 是 ， 在 对 一 个 带 权 重 的 有 向 图 的 边 执行 一 系列 松弛 步骤 时 ， 最 短路 径 估 
计 值 将 会 发 生 怎样 的 变化 。 这 里 假定 图 由 算法 INITIALIZE-SINGLE-SOURCE 进行 了 初始 化 。 

引 理 24. 11( 上 界 性 质 ) 设 G 王 (V， 巨 ) 为 一 个 带 权 重 的 有 向 图 ， 其 权重 函数 由 w: E>R 给 
出 ， 其 源 结 点 为 s， 该 图 由 算法 INITIALIZE-SINGLE-SOURCE(G，s) 执 行 初始 化 。 那 么 对 于 所 
有 的 结 点 UEV，v. d 宇 6(s，v)， 并 且 该 不 变 式 在 对 图 G 的 边 进行 任何 次 序 的 松弛 过 程 中 保持 成 
立 。 NEL, 一旦 v.d 取得 其 下 界 6(s，v) 后 ， 将 不 再 发 生变 化 。 

证 明 我 们 使 用 归纳 法 来 证 明 不 变 式 ( 对 于 所 有 的 结 点 vEV，vw d 宇 6(s，v))， 归 纳 的 主体 
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是 松弛 步骤 的 数量 。 

基础 步 : 在 初始 化 之 后 ， 对 于 所 有 的 结 点 EV, v. d>, VERRALL. AW v. d= 二 oo 就 意 
味 着 对 于 所 有 的 结 点 vEV— (s), v dls, v), HF s. d= 二 0 宇 6(s，s) (注意 ， 如 果 源 结 点 * 处 
于 一 个 权重 为 负 值 的 环 路 上 ， 则 8(*，s) 王 一 co; AM, ds, s)=0). 

归纳 步 : 考虑 对 边 (x， 了 的 松弛 操作 。 根 据 归纳 假设 ， 在 松弛 之 前 ， 对 于 所 有 的 结 点 zxEV， 
z. d>òls, x) 。 而 在 对 边 (x， 妇 进行 松弛 的 过 程 中 ， 唯 一 可 能 发 生 改 变 的 4 值 只 有 vd, WRZ 
值 发 生变 化 ， 则 有 

vd =u.d+wlu,v) 
> Xs,u)+wlu,v) (根据 归纳 假设 ) 
> d(s,v) (根据 三 角 不 等 式 ) 
因此 ， 循 环 不 变 式 得 到 维持 。 

要 证 明 w d 的 取 值 在 达到 w. d 王 8(s，z) 之 后 就 不 再 变化 ， 只 要 注意 到 在 达到 其 取 值 的 下 界 
ja, vd 无 法 再 减 小 ， 因 为 我 们 刚刚 证 明了 v. 4d 宇 6(s，v)， 而 该 值 也 不 可 能 增加 ， 因 为 松弛 操作 
从 来 不 增加 a 的 取 值 。 加 

推论 24. 12( 非 路 径 性 质 ) ”给 定 一 个 带 权重 的 有 向 图 G=(V, E), KELKA w: E>R, 
假定 从 源 结 点 SEV 到 给 定 结 点 vEV 之 间 不 存在 路 径 ， 则 在 该 图 由 INITIALIZE-SINGLE- 
SOURCE(G，s) 算 法 进行 初始 化 后 ， 我 们 有 v.d 二 6(s，v) 二 co， 并 且 该 等 式 作 为 不 变 式 一 直 维 
持 到 图 G 的 所 有 松弛 操作 结束 。 

证 明 根据 上 界 性 质 ， 我 们 总 是 有 oo 二 6(s，v) 志 vw. d， 因 此，vw d= 二 oo0=6(s, v). a 

引 理 24.13 RG=(V, DA-+*+FREH RHA, 权重 函数 为 w: ER, HHL 
(u, VEE, MARA (Cu, ittre RELAX(u, v, w), A v.d<u.d+wlu, v), 

UER ”如 果 在 对 边 (u，wv) 进 行 松弛 操作 前 ， 有 v. 4d 之 u.d 十 wlu，v)， 则 在 松弛 操作 后 ， 有 
vd 二 u. d 十 wl(u，v)。 如 果 在 松弛 操作 前 有 vw d 志 wu. d 十 wu，v)， 则 松弛 操作 不 会 改变 wu.a 或 
v. d 的 取 值 ， 因 此 在 松弛 操作 后 仍然 有 v.d<u.dt+w(u, v). a 

引 理 24. 14( 收 敛 性 质 ) 设 C 一 (VW， 五 ) 为 一 个 带 权重 的 有 向 图 ， 权 重 函 数 为 w: 下 ->R。 设 
5EV 为 某 个 源 结 点 ，s 人 2 一 收 为 图 G 中 的 一 条 最 短路 径 ， 这 里 kx，vmEV。 假 定 图 G 由 
INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 边 的 松弛 操 
作 ， 其 中 包括 对 边 (u，v) 的 松弛 操作 RELAX, v, w). PRERA, tiraez i 
的 任意 时 刻 有 u. d 二 6(s，u)， 则 在 该 松弛 操作 之 后 的 所 有 时 刻 有 v. d= 二 6(s，v)。 

证 明 根据 上 界 性 质 ， 如 果 在 对 边 (u，v) 进 行 松弛 前 的 某 个 时 刻 有 u. d= 二 6(s，u)， 则 该 等 
式 在 松弛 操作 后 仍然 成 立 。 特 别 地 ， 在 对 边 (u，wv) 进 行 松 弛 后 ， 我 们 有 

vd <ud+wlu,v) (根据 引 理 24. 13) 
= O(s,u) + wlu,v) 
= (s,v) (根据 引 理 24. 1) 
根据 上 界 性 质 ， 我 们 有 v. d 宇 6(s，v) 。 从 该 不 等 式 可 以 得 出 结论 v. d= 二 6(s，v)， 并 且 该 等 式 在 此 
之 后 一 直 保 持 成 立 。 n 

引 理 24. 15( 路 径 松弛 性 质 ) ” 设 G 一 (VW， 巨 ) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: E>R. 
设 sSEV 为 某 个 源 结 点 ， 考 虑 从 源 结 点 s 到 结 点 vi 的 任意 一 条 最 短路 径 力 一 (加 ， 盆 ，…， 人 也 ) 。 如 
果 图 G 由 INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 的 边 
松弛 操作 ， 其 中 包括 对 边 (W， 贡 )，(I， 芒 )，…，(V1，) 按 照 所 列 次 序 而 进行 的 松弛 操作 ， 
则 在 所 有 这 些 松 弛 操作 之 后 ， 我 们 及 . d= 二 6(s，W)， 并 且 在 此 之 后 该 等 式 一 直 保 持 成 立 。 该 性 
质 的 成 立 与 其 他 边 的 松弛 操作 及 次 序 无 关 。 
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证 明 ”我 们 使 用 归纳 法 来 证 明 该 引 理 。 我 们 的 归纳 假设 是 在 最 短路 径 p 的 第 i 条 边 被 松弛 
后 ， 有 vw.d=6(s，v;)。 对 于 基础 步 ;一 0 的 情况 ， 即 在 对 路 径 p 的 任何 一 saloon 
前 ， FRM A EAE WS w.d=s.d=0=8s, s) MPLAYER, s.d 的 取 值 在 此 初始 化 
之 后 将 不 再 发 生变 化 。 
对 于 归纳 步 ， 假 定 v- d= 二 6(s，v-1)。 我 们 来 考虑 在 对 边 (v-，，wv;) 进 行 松弛 操作 时 将 发 生 
的 事情 。 根 据 收敛 性 质 ， 在 对 该 条 边 进行 松弛 之 后 ， 我 们 有 wv. d 二 6(s，v;)， 并 且 该 等 式 在 此 之 
后 一 直 保 持 成 立 。 a 
松弛 操作 与 最 短路 径 树 
我 们 现在 来 证 明 ， 一 旦 一 个 松弛 操作 序列 导 臻 最短 路径 估 计 值 收敛 到 最 短路 径 权 重 上 ， 则 
由 结果 r 值 所 诱导 的 前 驱 子 图 C. 是 图 G 的 一 棵 最 短路 径 树 。 我 们 的 证 明 将 从 下 面 的 引 理 开始 ， 
该 引 理 将 证 明 前 驱 子 图 总 是 形成 一 棵 根 结 点 为 源 结 点 的 有 根 树 。 
引 理 24.16 设 G=(V，EE) 为 一 个 带 权重 的 有 向 图 ， 权 重 函 数 为 w: 下 ->~R。 设 sSEV 为 某 个 
源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 在 图 G 由 INITIALIZE- 
SINGLE-SOURCE(G，s) 算 法 进行 初始 化 之 后 ， 前 驱 子 图 G, 形成 根 结 点 为 源 结 点 s 的 有 根 树 ， 
并 且 任 何 对 图 G 的 边 进行 的 任意 松弛 操作 都 将 维持 该 性 质 不 变 。 
证 明 在 初始 时 ，G 中 的 唯一 结 点 是 源 结 点 ss， 引 理 显然 成 立 。 考 虑 在 一 系列 松弛 操作 后 的 
前 驱 子 图 G.。 首 先 证 明 G 是 无 环 路 的 。 假 定 在 松弛 序列 的 某 个 步骤 上 在 图 G 中 创立 了 一 个 环 
路 。 设 该 环 路 为 =w, us > w), KH =u. PA v.c=v-1, i 二 1，2,，…, ky IFA, 
不 失 一 般 性 ， 假 定 在 对 边 (w-! ， 了 ?进行 松弛 操作 时 创建 了 G. 中 的 该 条 环 路 。 
我 们 断言 : 所 有 环 路 c 上 的 结 点 都 可 以 从 源 结 点 s 到 达 。 为 什么 呢 ? 环 路 c 中 的 每 个 结 点 都 
有 一 个 非 空前 驱 结 点 ， 环 路 c 上 面 的 每 个 结 点 都 在 其 取得 一 个 非 空 值 时 取得 一 个 有 限 的 最 短路 
径 估计 值 。 根 据 上 界 性 质 ， 环 路 c 上 的 每 个 结 点 有 一 个 有 限 的 最 短路 径 权 重 ， 这 就 意味 着 该 结 点 
可 以 从 源 结 点 s 到 达 。 
我 们 下 面 来 检查 一 下 在 调用 RELAX v1 ，vw%，w) 操 作 之 前 c 上 面 的 最 短路 径 估计 值 ， 并 证 
H c 是 一 个 权重 为 负 值 的 环 路 ， 从 而 导出 与 我 们 的 假设 (G 不 包含 从 源 结 点 可 以 到 达 的 权重 为 负 
值 的 环 路 ) 之 间 的 矛盾 。 在 该 调用 发 生前 ， 有 vi. x 二 v1，i 二 1，2，…，k 一 1。 因 此 ， 对 于 i=1, 
2, °°, 上 一]， 对 v. d 的 最 后 一 次 更 新 必定 是 vi;. d= 二 vi_i. 4d 十 w(v;_ 1! ，v;)。 如 果 va.d 在 此 之 后 
发 生变 化 ， 则 一 定 是 减少 了 。 因 此 ， 在 调用 RELAX(vw! ，v，w) 操 作 之 前 ,我们 有 
vi d È vm. dT wy; st) i = 1,2,.…,k—1 (24. 12) 
因为 w. x 在 该 调用 中 发 生 改变 ， 所 以 在 此 之 前 有 
w. d > wa. d+ wv sy) 
将 该 不 等 式 与 不 等 式 (24. 12) 中 的 一 1 个 不 等 式 进 行 求 和 和， 获得 环 路 c 上 的 最 短路 径 估 计 的 和 值 如 下 : 


Yo. d> Son. d+w(v-.,v,)) = Yan. d+ Swe iy 
但 由 于 环 路 。 上 的 每 个 结 点 在 每 个 求 和 中 仅 出 现 一 次 ， 因此 有 
Sd= Mead 
该 等 式 意味 着 me ü 
0> yee sui) 
因此 ， 环 路 < 上 的 权重 之 和 为 负 值 ， 这 与 我 们 的 假设 矛盾 。 
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现在 已 经 证 明 G, 是 一 个 有 向 无 环 图 。 为 了 证 明 其 形成 一 棵 根 结 点 为 s 的 有 根 树 ， 只 要 证 明 对 
于 每 个 结 点 vEV.， 在 图 G, 中 存在 一 条 从 源 结 点 * 到 结 点 v 的 唯一 简单 路 径 即 可 (练习 B. 5-2). 

首先 证 明 对 于 结 点 vEV.， 在 图 G, 中 存在 一 条 从 源 结 点 s 到 结 点 的 路 径 。V. 中 包含 的 是 
那些 具有 非 空 x 值 的 结 点 ， 再 加 上 结 点 s。 这 里 可 以 用 归纳 法 证 明 从 源 结 点 s 到 每 个 结 点 vE V。 
之 间 都 存在 一 条 路 径 。 该 证 明 的 细节 留 给 读者 作为 练习 (练习 24. 5-6). 

为 了 完成 对 引 理 24. 16 的 证 明 ， 我 们 还 必须 证 明 对 于 每 个 结 点 vEV,, AG, 至 多 包含 一 条 
Ms Bu 的 简单 路 径 。 我 们 采用 反 证 法 。 假 定 情况 不 是 这 样 ， 即 假定 C. 中 包含 两 条 从 源 结 点 到 
结 点 的 简单 路 径 ， 设 其 分 别 为 户 : su wrz Hp: s~u~2 yz~9v， 这 里 ZX 关 y( 不 
过 ， 结 点 x 可 以 是 y， 结 点 xz 可 以 是 w) ， 如 图 24-9 所 示 。 但 是 ，z. x 一 工 并 且 zx. x 王 >y， 这 将 得 出 
矛盾 的 结论 zx 一 >y。 因 此 ， 我 们 推断 图 G 包含 唯一 一 条 从 源 结 点 s 到 结 点 wv 的 简单 路 径 ， 所 以 G, 
形成 一 棵 根 结 点 为 源 结 点 s 的 有 根 树 。 目 





图 24-9 证 明 图 Ge 中 从 源 结 点 s 到 结 点 v 之 间 只 存在 唯一 一 条 简单 路 径 。 如 果 存 在 两 条 路 径 pi: su 
r> Svu Ñ pr: su~ yoru, KB ry, W z. r 一 z 并 且 z.r 一 >， 这 将 得 出 矛盾 


我 们 现在 可 以 证 明 ， 如 果 在 执行 一 系列 的 松弛 操作 之 后 ， 所 有 结 点 都 取得 了 其 最 后 的 最 短 
675) ”路 径 权重 ， 则 前 驱 子 图 GC, 为 一 棵 最 短路 径 树 。 

引 理 24. 17( 前 驱 子 图 性 质 ) 设 G==(V，EE) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: E>R, 
设 5EV 为 源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 5 可 以 到 达 的 权重 为 负 值 的 环 路 。 假 设 调用 
INITIALIZE-SINGLE-SOURCE(G，s) 算 法 对 图 G 进行 初始 化 ， 然 后 对 图 G 的 边 进 行 任意 次 序 的 
松弛 操作 。 该 松弛 操作 序列 将 针对 所 有 的 结 点 VEV 生成 v.d 二 6(s，v)， 则 前 驱 子 图 G, 形成 一 
棵 根 结 点 为 的 最 短路 径 树 。 

证 明 要 证 明 G, 形成 一 棵 根 结 点 为 的 最 短路 径 树 ， 必 须 证 明 最 短路 径 树 的 三 条 性 质 对 于 
G, 都 成 立 。 要 证 明 第 一 条 性 质 ， 必 须 证 明 V, 是 从 源 结 点 s 可 以 到 达 的 结 点 的 集合 。 根 据 定 义 ， 
最 短路 径 权 重 6(s，wv) 是 有 限 值 当 且 仅 当 结 点 wv 是 从 源 结 点 s 可 以 到 达 的 ， 因 此 ， 从 源 结 点 s 可 以 
到 达 的 结 点 就 是 那些 有 着 有 限 d 值 的 结 点 。 但 对 于 结 点 vEV 一 {s)， 其 被 赋予 有 限 4 值 当 且 仅 当 
v. x 关 NIL。 因 此 ，V 中 的 结 点 就 是 那些 可 以 从 源 结 点 s 到 达 的 结 点 。 

第 二 条 性 质 可 以 从 引 理 24. 16 直接 推导 出 来 。 

剩 下 的 就 是 证 明 最 短路 径 树 的 第 三 条 性 质 : 对 于 每 个 结 点 v€EV.，G. 中 的 唯一 简单 路 径 
s ~ 心 v 也 是 图 G PMs 到 vw 的 一 条 最 短路 径 。 设 G. PAE ARE p=, us > w), XE 
W=ss Y=v. XF i=l, 2, =, ky RNA v;.d=A(s, vM v,.dSv,-,.d+wly-1, vi). MX 
里 我 们 可 以 得 出 结论 w(v1，vw) 三 6(s，wv) 一 6(s，wv;-1)。 将 路 径 p 上 的 所 有 权重 进行 求 和 ， 有 


wlp)= Si sv) < 53 (6(s,v;) —6(s,v1)) 
= Cs v) — Css w) (因为 裂 项 相 消 和 ) 
= els v) (因为 6(s,w) = 6(s,s) = 0) 
KHE, wp<is, w). HFC, v EMAA s 到 结 点 vi 的 任意 一 条 路 径 权 重 的 下 界 ， 我 们 
推断 wS, u), Ak, p 确实 是 图 G 中 从 源 结 点 s 到 结 点 vou 的 一 条 最 短路 径 。 a 
练习 
24.5-1 给 出 图 24-2 的 与 图 中 两 棵 最 短路 径 树 不 同 的 另外 两 棵 最 短路 径 树 。 
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24.5-2 G 二 (V，E) 为 一 个 带 权重 的 有 向 图 ， 权 重 函数 为 w: E>R., H ;EV 为 某 个 源 结 点 。 请 
举 出 一 个 例子 ， 使 得 图 G 满足 下列 条 件 : 对 于 每 条 边 (u，v) EE， 存 在 一 棵 根 结 点 为 s 
的 包含 边 (x，z) 的 最 短路 径 树 ， 也 包含 一 棵 根 结 点 为 * 的 不 包含 边 (x，z) 的 最 短 
路 径 树 。 

24.5-3 ”对 引 理 24. 10 的 证 明 进 行 改善 ， 使 其 可 以 处 理 最 短路 径 权重 为 cc 和 一 < 的 情况 。 

24.5-4 设 G=(V，E) 为 一 个 带 权 重 的 有 向 图 ， 权重 函 数 为 w: 下 -~R。 假 设 调用 INITIALIZE- 
SINGLE-SOURCE(G，s) 算 法 对 图 G 进行 初始 化 。 证 明 : 如 果 一 系列 松弛 操作 将 s-r 的 
值 设置 为 一 个 非 空 值 ， 则 图 G 包 含 一 个 权重 为 负 值 的 环 路 。 

24.5-5 设 G==(V，E) 为 一 个 带 权 重 的 、 无 负 值 环 路 的 有 向 图 。 设 ;EV 为 源 结 点 ， 对 于 结 点 
vE€EV 一 {s)， 如 果 结 点 v 可 以 从 源 结 点 到 达 ， 我 们 允许 v x 是 结 点 v 在 任意 一 条 最 短 
路 径 上 的 前 驱 ; 如 果 结 点 v 不 可 以 从 源 结 点 s 到 达 ， 则 wv. x 为 NIL。 请 举 出 一 个 图 例 和 
一 种 x 的 赋值 ， 使 得 G, 中 形成 一 条 环 路 。( 根 据 引 理 24. 16， 这 样 的 一 种 赋值 不 可 能 由 
一 系列 松弛 操作 生成 。) 

24.5-6 设 G=(V，E) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: E->R， 且 不 包含 权重 为 负 值 的 
环 路 。 设 ;EV 为 源 结 点 ,假定 图 G 由 INITIALIZE-SINGLE-SOURCE(G，;s) 算 法 进行 
初始 化 。 证 明 : 对 于 每 个 结 点 v€EV.，G. 中 存在 一 条 从 源 结 点 s 到 结 点 wv 的 路 径 ， 并且 
该 性 质 在 任何 松弛 操作 序列 中 维持 为 不 变 式 。 

24.5-7 设 G==(V，E) 为 一 个 带 权 重 的 有 向 图 ， 且 不 包含 权重 为 负 值 的 环 路 。 设 ;EV 为 源 结 
点 ,假定 图 G 由 INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 。 证 明 : 对 于 所 
有 结 点 vEV， 存 在 一 个 由 |V| 一 1 个 松弛 步骤 所 组 成 的 松弛 序列 来 生成 v. d= 二 6(s，w)。 

24.5-8 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 且 包含 一 个 可 以 从 源 结 点 s 到 达 的 权重 为 负 值 的 
环 路 。 请 说 明 如 何 构造 一 个 G 的 边 的 松弛 操作 的 无 限 序 列 ， 使 得 每 一 步 松弛 操作 都 能 
对 某 一 个 最 短路 径 估计 值 进行 更 新 。 


思考 题 
24-1 (Yen 对 Bellman-Ford 算法 的 改进 ) 假定 对 Bellman-Ford 算法 中 对 边 的 每 一 遍 松弛 操作 
的 次 序 做 出 如 下 规定 : 在 第 一 遍 松 弛 前 ， 我 们 给 输入 图 G 二 (V，E) 的 所 有 结 点 赋予 一 个 
随机 的 线性 次 序 wv， Us °**s Vivi o 然后 ， HURE ERMA E, UE, 这 里 E,={(u5 
yw EE: i<j}, E={(, wEE: >j}. BER G 不 包含 自 循环 ， 因 此 一 条 边 要 么 属 
TE,, 要么 属于 Es。) 定 义 G/==(V, EDMG,=(V, E). 
a. 证 明 : Gj 是 无 环 的 ， 且 其 拓扑 排序 为 (vw,，vw。，…，vivl ); G 是 无 环 的 ， 且 其 拓扑 排 
序 为 (ulvl ，VivI-1，…， 人 功 )。 
假定 我 们 以 下 面 的 方式 来 实现 Bellman-Ford 算法 的 每 一 遍 松弛 操作 : Wh, uy oes 
vivi 的 次 序 访问 每 个 结 点 ， 并 对 从 每 个 结 点 发 出 的 Ey 边 进行 松弛 。 然 后 ， 再 以 次 序 
Vivis Viva te 来 访问 每 个 结 点 ， 并 对 从 每 个 结 点 发 出 的 Es 边 进行 松弛 。 
b. 证 明 : 在 上 述 操作 方式 下 ， 如 果 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 
则 在 [|V| /2 这 松弛 操作 后 ， 对 于 所 有 的 结 点 vEV， 有 v. d=8s, v). 
c 上 述 算法 是 否 改善 了 Bellman-Ford 算法 的 渐 近 运行 时 间 ? 
24-2 (KEE) ”假定 有 很 多 维度 为 4 HAT, IFAT =t, t, …， eM y=, 
Jeo T y) 的 两 个 盒子 来 说 ， 如 果 集 合 {1， 2，…， d} 存 在 一 个 排列 Ts 使 得 ZrD< yi， 
Ta)< 29 TAD ya, 则 称 盒子 z REET y 里 面 。 
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24-3 


六 部 分 图 算 法 


a. 证 明 : 艇 套 关系 是 传递 的 。 

b 给 出 一 个 有 效 算 法 来 判断 一 个 维度 为 d 的 盒子 是 否 嵌 套 在 另 一 个 同样 维度 的 盒子 里 。 

c. 假定 有 一 组 个 4 维 的 盒子 {(B, Ba ，…，B,)。 请 给 出 一 个 有 效 算法 来 找 出 最 长 序列 
(Bi, » B; ， Sey B;, ， 使 得 盒子 B, KEERT Bp 里 ， 这 里 7 一 1，2，…， k—-1, 请 
以 d 和 nn 来 表述 算法 的 运行 时 间 。 

(套利 交易 ) 套利 交易 指 的 是 使 用 货币 汇率 之 间 的 差异 来 将 一 个 单位 的 货币 转换 为 多 于 

一 个 单位 的 同 种 货币 的 行为 。 例 如 ， 假 定 1 美元 可 以 购买 49 印度 卢比 ，1 印度 卢比 可 以 

购买 2 日 元 ,1 日 元 可 以 购买 0. 0107 美元 。 那 么 通过 在 货币 之 间 进 行 转换 ， 一 个 交易 商 

可 以 从 1 美元 开始 ， 购 买 49X2X0. 0107=1. 0486 美元 ， 从 而 获得 4. 86%% 的 利润 。 

假设 给 定 半 种 货币 cl cos tts Ce 和 一 个 nXn 的 汇率 表 R， 一 个 单位 的 c 货币 可 以 
购买 RLi，jj] 单 位 的 cj 货币 。 


a 给 出 一 个 有 效 的 算法 来 判断 是 否 存 在 一 个 货币 序列 (ci; Cig ttt Ci WEI 
有 [Li , i ] e R[i, , i; | be Rii 9 i, | © Rii, i]>1 
请 分 析 算 法 的 运行 时 间 。 


b. 给 出 一 个 有 效 算法 来 打印 出 这 样 的 一 个 序列 (如 果 存 在 这 样 一 种 序列 ) 。 分 析 算 法 的 运 
行 时 间 。 

(Gabow 的 单 源 最 短路 径 伸缩 算法 ) 伸缩 算法 解决 问题 的 方式 如 下 : 首先 考虑 相关 输入 

值 ( 如 边 的 权重 ) 的 最 高 有 效 位 ， 然 后 通过 检查 最 高 两 个 有 效 位 来 对 初始 解 进行 微调 。 这 种 

算法 渐次 检查 更 多 的 最 高 有 效 位 ， 每 次 对 解 进行 微调 ， 直 到 对 所 有 输入 位 进行 检查 并 计算 

出 正确 解 为 止 。 

在 本 题 中 ， 我 们 通过 对 边 的 权重 进行 伸缩 来 计算 单 源 最 短路 径 。 给 定 有 向 图 G 王 (V， 媚 ， 
图 的 所 有 边 的 权重 皆 为 非 负 整 数 w。 设 Wmax {wku， 马 }。 我 们 的 目标 是 设计 一 个 运行 时 间 
为 CElgW) 的 算法 来 计算 最 短路 径 。 假 设 所 有 结 点 都 可 以 从 源 结 点 到 达 。 

该 算法 对 边 权 重 的 二 进 制 表示 进行 逐 位 检查 ， 从 最 高 有 效 位 到 最 低 有 效 位 。 具 体 来 
说 , 设 k=[ le WADIA W 的 二 进 制 表示 所 需要 的 位 数 ， 并 且 对 于 i=l, 2, =, k, 8 
w; Cu, v)=lwlu, v)/2* "|, EREK, wu, DEH w(x，z) 的 第 ;个 最 高 有 效 位 给 出 
的 “收缩 ?的 wu, VE., CA, MFA, DEE, Aw, lu, v)=wlu, v). Bi 
in, MRR=5, HHC, v)=25, HOP HM RARA11001), W w,(u, v=<(110)=6, X 
例如 ， 如 果 wlu, v)=(00100)=4, W) w: Cu, v)=(001l)=1, Æ &lu, v) AAMT A 
Rw 的 情况 下 从 结 点 到 结 点 v 的 最 短路 径 权 重 ， 则 对 于 所 有 的 结 点 x，zEV， 有 
6:(u，v) 二 6(u，v)。 对 于 给 定 源 结 点 *， 该 伸缩 算法 首先 计算 出 对 于 所 有 结 点 zEYV 的 所 有 
最 短路 径 权重 61,(s，v)， 然 后 再 计算 出 6.(s，v)， 这 样 一 直下 去 ， 直 到 计算 出 6.(s, ve 
假定 1|E| 宇 IV| 一 1, 我 们 将 看 到 从 9- 计算 出 8 所 需要 的 时 间 为 O(E), 因 此， 整个 算法 
的 运行 时 间 为 OCRE) =OCE lgW). 

a BEN THAW EV, As, YSE]. 证明: 可 以 在 OLE) 的 时 间 内 计算 出 所 
有 的 SCs, v). 

b. 证 明 : 可 以 在 OC(E) 时 间 内 计算 出 所 有 的 6.(s， v). 
下 面 我 们 来 专注 于 如 何 从 6;_1 计 算出 6;。 

c 证 明 : 对 于 i 二 2，3，…,， k, BAZAR wi(u，v) 二 2w, lu, v), WAR w(u, v) = 
2w;-1(u，v) 十 1。 然 后 再 证 明 ; 对 于 所 有 的 结 点 vEV, 

26 (su <6;(s,0) < 26-4 (ssu) + |V| —1 
d. 对 于 所 有 的 (uw，v) CE Mi=2, 3, =, k, EM 
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w; (u,v) = w; (u,v) + 26-4 (ssu) — 26-4 (sv) 
证 明 : MEMRAM, EE 和 i 二 2，3，…，k， 重 新 计算 过 的 边 (u，wv) 的 权重 值 
w; lu, VEM EMER. 

e 在 本 小 题 中 ， 我 们 定义 8(s*，m) 为 使 用 权重 函数 也 时 从 源 结 点 s 到 结 点 wv 的 最 短路 径 权 
重 。 证 明 : 对 于 所 有 的 边 vEV Mi=2, 3, =, k, H&G, W=S(s, VH Cs v), 
FHS, VE. 

f. 说 明 如 何在 O(E) 时 间 内 从 d (Cs，z) 计 算出 CG, v), 并 且 得 出 结论 : 可 以 在 
OC(ElgW) 时 间 内 计算 出 所 有 结 点 v 的 6(s，v)。 

(Karp 的 最 小 平均 权重 环 路 算法 ) ” 设 G=(V，E) 为 一 个 带 权 重 的 有 向 图 ， 权重 函数 为 

w: E>R, 设 n 二 1V|。 定 义 玉 中 边 的 环 路 c= 二 (el ，e;，…，ei) 的 平均 权重 为 

KO = t Uwe) 
By" =ming(c), 这 里 < 为 图 G 中 所 有 的 有 向 环 路 。 我 们 称 环 路 权重 pc) 三 /的 环 路 c 为 
最 小 平均 权重 环 路 。 本 题 要 研究 的 是 如 何 高 效 地 计算 出 六 。 
假定 在 不 失 一 般 性 的 情况 下 ， 每 个 结 点 vEY 都 可 以 从 源 结 点 s BUA. BLOGS, WAM 

RAK s 到 结 点 v 的 最 短路 径 权 重 ， 设 &(s*，z) 为 从 源 结 点 s 到 结 点 wv 的 恰好 包含 & 条 边 

的 最 短路 径 权重 。 如 果 不 存 在 恰好 上 条 边 的 从 s 到 ww 的 路 径 ， 则 dCs, =o, 

a. 证 明 : WR =, WE G 包 含 非 负 权 重 的 环 路 ， 并 且 对 于 所 有 的 结 点 vEV， 

OCs, v= min à Cs» v) 

b. 证 明 : 如 果 jy" 二 0， 则 对 于 所 有 的 结 点 vEV， 


max 6, (sv) — & (s,v) > 0 
Oo<k< 一 ! n—k 


(提示 : 使 用 (a) 部 分 的 两 个 属性 。) 

c 设 c 为 一 个 权重 为 0 的 环 路 ， 并 设 和 w 为 c 上 的 任意 两 个 结 点 。 假 定 扩 =0 并 且 环 路 
上 从 结 点 x 到 结 点 wv 的 简单 路 径 的 权重 为 x。 证 明 : OCs, =e, utr GER: HK 
路 上 从 结 点 v 到 结 点 的 简单 路 径 的 权重 为 一 x。) 

d. 证 明 : WR jp" 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 vu， 满足 


On(s3v) — (ssu) _ 
max = = 0 
(uy a a | n—k 


(提示 : 说 明 如 何 将 一 条 最 短路 径 扩展 到 最 小 平均 权重 环 路 上 的 任意 结 点 ， 以 找 出 到 环 
路 上 下 一 个 结 点 的 最 短路 径 。) 
e 证明: WR jy* 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 vw， 满足 


; Ôn Csu) — & (s,v) 
min max 一 一 一 一 
vEV 0O<k<m-] n—k 


f. 证 明 : 如 果 给 图 G 的 每 条 边 的 权重 加 一 个 常数 :， 则 六 也 增加 :。 使 用 该 事实 来 证 明 : 
Ôn (ssu) — Ò (ssu) 

n—k 
g 给 出 一 个 时 间 复 杂 度 为 OC(VE) 的 算法 来 计算 yp". 
( 双 调 最 短路 径 ) 对 于 一 个 序列 来 说 ， 如 果 该 序列 先是 单调 增长 ， 然 后 再 单调 递减 ， 或 者 
在 进行 循环 移 位 后 ， 该 序列 成 为 先 单调 增长 然后 单调 递减 的 序列 ， 则 该 序列 称 为 双 调 序 
列 。 例 如 ， 序 列 (1，4，6，8，3， 一 2》、(9，2， 一 4， 一 10， 一 5 和 《1，2，3，4) 都 是 双 
调 序列 , 但 (1，3，12，4，2，10) 则 不 是 双 调 序列 。( 请 参阅 思考 题 15-3 中 的 双 调 欧 几 里 
得 旅行 商 问题 .) 


一 0 


g’ = min max 
vEV Oster] 
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BREA AG=(V, E), RRMA w: E 一 R， 并 且 所 有 的 权重 值 都 唯一 ， 我 们 希 
望 找到 从 源 结 点 * 出 发 的 单 源 最 短路 径 。 不 过 ， 我 们 还 有 一 条 额外 的 信息 : 对 于 每 个 结 点 
vEV， 从 源 结 点 s 到 结 点 v 的 任意 最 短路 径 上 的 边 的 权重 形成 一 个 双 调 序列 。 

请 给 出 最 有 效 的 算法 来 解决 这 个 问题 ， 并 分 析 其 运行 时 间 。 


本 章 注 记 

Dijkstra 算法 [88] 首 次 发 表 在 1959 年 ， 但 该 次 发 表 的 论文 里 却 没有 提 及 优先 队列 。Bellmar- 
Ford 算法 是 基于 Bellman[38] 和 Ford[109] 所 独立 提出 来 的 算法 。Bellman 还 描述 了 最 短路 径 和 差 
分 约束 之 间 的 关系 。Lawler[L224] 考 虑 了 民间 流行 的 部 分 ， 描 述 了 在 有 向 无 环 图 中 解决 最 短路 径 
的 线性 时 间 算 法 。 

当 边 的 权重 为 相对 较 小 的 非 负 整数 时 ， 我 们 可 以 有 更 有 效 的 算法 来 解决 单 源 最 短路 径 问 题 。 
在 Dijkstra 算法 中 ，EXTRACT-MIN 调用 所 返回 的 值 随 着 时 间 单 调 递 增 。 如 第 6 章 的 注 记 所 讨 
论 的 ， 在 这 种 情况 下 ， 比 起 二 叉 堆 和 斐 波 那 契 堆 来 ， 我 们 可 以 使 用 多 种 数据 结构 来 实现 不 同 的 、 
更 加 高 效 的 优先 队列 操作 。Ahuja、Mehlhorn、Orlin 和 Tarjan[8] 给 出 了 一 个 运行 时 间 为 
OE+V VlgW) 的 算法 ， 该 算法 适用 于 非 负 值 的 边 权 重 ， 这 里 W 是 图 中 所 有 边 权重 中 的 最 大 值 。 最 
优 的 时 间 复 杂 度 上 界 为 ThorupL337] 给 出 的 OLElglgV) 和 Raman[291] 给 出 的 O(E 十 Vmin{ gV)", 
(gW)"…)})。 这 两 种 算法 所 使 用 的 空间 量 依赖 于 下 层 的 机 器 字 的 尺寸 。 虽 然 以 输入 的 规模 来 看 ， 
其 使 用 的 空间 是 没有 上 界 的 ， 使 用 随机 散 列 可 以 将 该 空间 减少 到 与 输入 规模 呈 线 性 关系 的 程度 。 

对 于 权重 为 整数 的 无 向 图 来 说 ，Thorup[336] 给 出 了 一 个 运行 时 间 为 O(V 十 E) 的 算法 来 解决 
单 源 最 短路 径 问 题 。 与 前 面 段落 中 提 到 的 各 种 算法 相 比 ， 该 算法 并 不 是 Dijkstra 算法 的 一 种 实 
现 ， 因 为 由 EXTRACT-MIN 调用 所 返回 的 值 并 不 随 着 时 间 单 调 递增 。 

对 于 权重 可 以 为 负 值 的 图 来 说 ，Gabow 和 Tarjan[122] 给 出 了 一 个 运行 时 间 为 OVE lg(VW)) 
的 算法 ， 而 GoldbergL137] 给 出 了 一 个 运行 时 间 为 OVVE lgW) 的 算法 ， 这 里 W= max{ | wu, v)|}. 

Cherkassky、Goldberg 和 Radzik[64] 对 各 种 最 短路 径 算法 进行 了 细致 的 实验 1 比较 。 
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所 有 结 点 对 的 最 短路 径 问 题 


在 本 章 ， 我 们 考虑 的 问题 是 如 何 找到 一 个 图 中 所 有 结 点 之 间 的 最 短路 径 。 该 问题 在 计算 所 
有 城市 之 间 的 交通 道路 距离 时 将 出 现 。 如 第 24 章 所 述 ， 我 们 给 定 的 是 一 个 带 权 重 的 有 向 图 G= 
(V，E)， 其 权重 函数 为 w: E 一 R， 该 函数 将 边 映射 到 实数 值 的 权重 上 。 我 们 希望 找到 ， 对 于 所 
有 的 结 点 对 x，zEV， 一 条 从 结 点 x 到 结 点 v 的 最 短路 径 ， 其 中 一 条 路 径 的 权重 为 组 成 该 路 径 的 
所 有 边 的 权重 之 和 。 我 们 通常 希望 以 表格 的 形式 来 表示 输出 : P uT o 列 给 出 的 是 结 点 4 到 结 
点 v 的 最 短路 径 权重 。 

我 们 可 以 通过 运行 1V | 次 单 源 最 短路 径 算法 来 解决 所 有 结 点 对 之 间 的 最 短路 径 问 题 ， 每 一 次 
使 用 一 个 不 同 的 结 点 作为 源 结 点 。 如 果 所 有 的 边 的 权重 为 非 负 值 ， 那 么 可 以 使 用 Dijkstra 算法 。 
如 果 使 用 线性 数组 来 实现 最 小 优先 队列 ， 那 么 该 算法 的 运行 时 间 将 是 OV + VE) = OV"), 使 
用 二 叉 堆 实现 的 最 小 优先 队列 将 使 算法 的 运行 时 间 降 低 到 OCVE lgV) ， 这 个 时 间 在 稀 朴 图 的 情况 
下 是 一 个 较 大 改进 。 此 外 ， 也 可 以 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 ， 这 种 情况 下 算法 的 运行 
时 间 为 OCV? lgV 十 VE)。 

如 果 图 中 有 权重 为 负 值 的 边 ， 那 么 将 不 能 使 用 Dijkstra 算法 。 此 时 ， 我 们 必须 运行 效率 更 低 
的 Bellman-Ford 算法 ， 每 次 使 用 一 个 不 同 的 结 点 作为 源 结 点 。 该 算法 的 运行 时 间 将 是 OCV E), 
在 稠密 图 的 情况 下 ， 该 运行 时 间 为 OC(V*)。 在 本 章 ， 我们 将 看 到 如 何 能 做 得 更 好 。 此 外 ， 本 章 还 
讨论 所 有 结 点 对 最 短路 径 问题 与 矩阵 乘法 之 间 的 关系 并 对 其 代数 结构 进行 一 些 研究 。 

与 单 源 最 短路 径 算 法 中 使 用 邻接 链表 来 表示 图 不 同 ， 本 章 的 多 数 算 法 使 用 邻接 矩阵 来 表示 
图 。( 不 过 ，25. 3 节 讨 论 的 用 于 稀 朴 图 的 Johnson 算法 使 用 的 是 邻接 链表 。) 为 了 方便 起 见 ， 假 定 
结 点 的 编号 为 1，2，…，|V| ， 因 此 ， 算 法 的 输入 将 是 一 个 zXz 的 矩阵 妈 ， 该 矩阵 代表 的 是 一 
A n MERWAMAIG=(V, DMM. hee, W=(w,), Hp 





0 i=j 

Wij {Amap 的 权重 #i#jEG j) EE (25. 1) 
co HiAjSHG)EE 

我 们 允许 存在 负 权 重 的 边 ， 但 目前 仍然 先 假定 图 中 不 包括 权重 为 负 值 的 环 路 。 

本 章 讨论 的 所 有 结 点 对 最 短路 径 算法 的 表格 输出 也 是 一 个 nXn 的 矩阵 DD 二 (qd; )， 其 中 dyt 
表 的 是 从 结 点 i 到 结 点 7 的 一 条 最 短路 径 的 权重 。 也 就 是 说 ， 如 果 用 OG, 四 来 表示 从 结 点 i 到 结 
点 7 之 间 的 最 短路 径 权 重 ( 如 第 24 章 所 示 )， 则 在 算法 终结 时 有 必 = 二 6(i, 7). 

为 了 解决 所 有 结 点 对 最 短路 径 问 题 ， 我 们 不 仅 需 要 计算 出 最 短路 径 权重 ， 还 需要 计算 出 前 
驱 结 点 矩阵 I 一 (ro )， 其 中 mo 在 ;一 7 或 从 i 到 j 不 存在 路 径 时 为 NIL， 在 其 他 情况 下 给 出 的 是 从 
结 点 i 到 结 点 7 的 某 条 最 短路 径 上 结 点 7 的 前 驱 结 点 。 就 如 第 24 章 的 前 驱 子 图 G, 为 给 定 源 结 点 
的 一 棵 最 短路 径 树 一 样 ， 由 矩阵 荆 的 第 i 行 所 诱导 的 子 图 应 当 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 
对 于 每 个 结 点 iEV， 定 义 图 G 对 于 结 点 i WIE FEAA Gri = Vni Eni), HP 

Vwi = {j E€ Virj 天 NIL} U {i} Ei = {ns 7) :7 E€ Vai Ti {i}} 
如 果 G; 是 一 棵 最 短路 径 树 ， 则 下 面 的 过 程 将 打印 出 从 结 点 i 到 结 点 7 的 一 条 最 短路 径 。 该 算法 
是 第 22 章 的 PRINT-PATH 过 程 的 一 种 修改 版 本 。 

PRINT-ALL-PAIRS-SHORTEST-PATH(I,i,7) 

1 ifi==j 

2 print i 
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3 elseif xy ==NIL 

4 print“no path from”i“to”j“exists” 

5 else PRINT-ALL-PAIRS-SHORTEST-PATH (1,2, xs) 

6 print j 

为 了 彰显 本 章 将 要 讨论 的 所 有 结 点 对 最 短路 径 算法 的 本 质 特征 ， 我 们 不 可 能 像 第 24 章 曾 述 
前 驱 子 图 那样 花 大 篇 幅 去 讨论 前 驱 矩 阵 的 建立 及 其 性 质 。 基 本 性 质 将 在 某 些 练习 中 讨论 。 

本 章 概述 

25. 1 节 讨 论 如 何 用 基于 矩阵 乘法 的 动态 规划 算法 来 解决 所 有 结 点 对 最 短路 径 问 题 。 如 果 使 
用 “重复 平方 ”技术 ,算法 的 运行 时 间 为 8(V? IgV). 25.2 节 给 出 另 一 种 动态 规划 算法 ， 即 Floyd- 
Warshall 算法 。 该 算法 的 运行 时 间 为 OCV*). 25. 2 节 同 时 还 讨论 如 何在 有 向 图 中 找 出 传递 闭 包 
的 问题 ， 该 问题 与 所 有 结 点 对 最 短路 径 问题 相关 。 最 后 ，25. 3 节 讨论 Johnson 算法 ， 该 算法 能 够 
E OV? lgV 十 VE) 的 时 间 内 解决 所 有 结 点 对 最 短路 径 问题 ， 对 大 型 稀疏 图 来 说 这 是 一 个 很 好 的 
算法 。 

在 开始 前 ,我们 需要 给 出 邻接 矩阵 表示 的 一 些 约定 。 首 先 ， 假定 输入 图 G 二 (V,，E) 有 nn 个 
结 点 ， 因 此 ，n 二 1V|。 其 次 ,使 用 大 写字 母 来 表示 和 矩阵， 如 W、 工 或 D， 而 用 带 下 标的 小 写字 
母 来 表示 矩阵 中 的 个 体 元 素 ， 如 zw、 性 或 ai。 一 些 矩 阵 将 有 带 括号 的 上 标 ， 如 工 = UPR 
De (dg )， 用 来 表示 和 迭代。 最 后 ， 对 于 一 个 给 定 的 nn EREA, BERERE RHEE n 存储 在 属 
PEA. rows 中 。 


25.1 最 短路 径 和 和 矩阵 乘法 


本 节 讨论 有 向 图 G=(V，E) 上 所 有 结 点 对 最 短路 径 问 题 的 一 种 动态 规划 算法 。 在 动态 规划 
的 每 个 大 循环 里 ， 我 们 将 调用 一 个 与 矩阵 乘法 非常 相似 的 操作 ， 因 此 ， 该 算法 看 上 去 就 像 是 重复 
的 矩阵 乘法 。 我 们 将 首先 给 出 一 个 BCV4) 的 算法 ， 然 后 再 将 该 算法 改进 到 OCV IgV). 

在 开始 前 ， 让 我 们 简略 地 回顾 第 15 章 描述 过 的 设计 动态 规划 算法 的 步骤 ; 

1. 分 析 最 优 解 的 结构 。 

2. 递归 定义 最 优 解 的 值 。 

3. 自 底 向 上 计算 最 优 解 的 值 。 
我 们 将 设计 动态 规划 算法 的 第 4 步 ( 即 从 计算 出 的 最 优 解 的 值 上 构建 最 优 解 ) 留 给 读者 作为 练习 。 

最 短路 径 的 结构 

我 们 从 对 最 优 解 的 结构 开始 进行 分 析 。 对 于 图 G 二 (V，E) 的 所 有 结 点 对 最 短路 径 问 题 ， 我 
们 证 明了 ( 引 理 24. 1) 一 条 最 短路 径 的 所 有 子路 径 都 是 最 短路 径 。 假 定 用 邻接 矩阵 来 表示 输入 图 ， 
即 W= (wj)。 考 虑 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 p， 假 定 p 至 多 包含 m 条 边 ， 还 假定 没有 权 
BARA, Hm 为 有 限 值 。 如 果 i=j， 则 p 的 权重 为 0 且 不 包含 任何 边 。 如 果 结 点 i 和 结 
点 7 不 同 ， 则 将 路 径 p 分 解 为 i kj， 其 中 路 径 p' 至 多 包含 m—1 条 边 。 根 据 引 理 24. 1，z' 是 
从 结 点 i 到 结 点 的 一 条 最 短路 径 ， 因 此 ，6(i, D=, k) Hwy. 

所 有 结 点 对 最 短路 径 问 题 的 递归 解 

现在 设 /名 为 从 结 点 i 到 结 点 j 的 至 多 包含 m 条 边 的 任意 路 径 中 的 最 小 权重 。 当 m= 二 0 时 ， 
从 结 点 i 到 结 点 j 之 间 存 在 一 条 没有 边 的 最 短路 径 当 且 仅 当 i=j。 因 此 ， 
0 wRi=j 
co 如 果 i 关 j 
对 于 m 宇 1， 我 们 需要 计算 的 /名 是 9 了?( 从 i 到 j 最 多 由 m 一 1 条 边 组 成 的 最 短路 径 的 权重 ) 的 最 
小 值 和 从 i 到 j 最 多 由 m 条 边 组 成 的 任意 路 径 的 最 小 权重 ,我 们 通过 对 j 的 所 有 可 能 前 驱 k 进行 


gp = 
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检查 来 获得 该 值 。 因 此 递归 定义 
UP = min , min (E + wy D = min (O + wy} (25. 2) 
因为 对 于 所 有 的 了 有 wj 一 0， 所 以 上 述 式 子 中 后 面 的 等 式 成 立 。 

但 真正 的 最 短路 径 权 重 8(i， 力 到 底 是 多 少 呢 ? 如 果 图 G 不 包含 权重 为 负 值 的 环 路 ， 则 对 于 
BMA AG, WRG, <o, Miaj 之 间 存 在 一 条 最 短路 径 。 由 于 该 路 径 是 简单 路 径 ， 
其 包含 的 边 最 多 为 n 一 1 条 。 从 结 点 i 到 结 点 j 的 由 多 于 n 一 1 条 边 构 成 的 路 径 不 可 能 有 比 从 i 到 j 
的 最 短路 径 权 重 更 小 的 权重 。 因 此 ， 真 正 的 最 短路 径 权重 可 以 由 下 面 的 公式 给 出 : 

6p = P = HTP = (25. 3) 

自 底 向 上 计算 最 短路 径 权 重 

根据 输入 矩阵 三 =(xw )， 现 在 可 以 计算 出 矩阵 序列 LO, LO, or, LOP, JEP REF m= 
1, 2, +, n=l, AL =U). BEL ”包含 的 是 最 短路 径 的 实际 权重 。 注 意 ， 对 于 
PAWS TAZ, L? =w), Ak, L” =W, 

BRE Bob on F E REF tas. ATS RY AT A EE WAL? TE TF 
计算 出 L”。 也 就 是 说 ， 该 伪 代 码 将 最 近 计 算出 的 最 短路 径 扩展 了 一 条 边 。 


EXTEND-SHORTEST-PATHS(L,W) 
1 n=L.rows 

2 letL'=(1;)bea newnXnmatrix 
3 for i=1 ton 

4 for j=1 ton 

5 1 一 co 

6 for k=1 ton 

7 1, =min(Lj, sla Hwy) 

8 return L’ 


PYLE PETE IK SAR AG KERE L = (15), TAKE RE FAS i AG 来 计 
算 等 式 (25. 2)， 使 用 工作 为 工 ” ” ， 志 作为 工 ”。( 在 写法 上 没有 注 明 上 标的 目的 是 让 输入 和 输 
出 矩阵 独立 于 变量 m。) 由 于 有 3 BRER for 循环 ， 该 算法 的 运行 时 间 为 Or’). 

现在 ， 我 们 可 以 看 到 该 算法 与 矩阵 乘法 的 关系 了 。 假 定 我 们 希望 计算 矩阵 乘积 C 一 AX 了 B， 
其 中 A 和 B 均 为 nXn WR. BAM Fi, j=l, 2, 0, n, HH 


Cj = > s bij (25. 4) 
注意 ， 如 果 在 式 (25. 2) 中 进行 如 下 替换 ; 


1D >a 
wb 
[M—>¢ 

min>+ 

fae 
则 将 获得 式 (25.4)。 因 此 ， 如 果 对 算法 EXTEND-SHORTEST-PATHS 进行 上 述 替换 ， 并 用 0 
(加 法 操作 十 的 不 变量 ) 来 蔡 换 =e( 求 最 小 值 操作 min 的 不 变量 )， 则 获得 的 就 是 与 4. 2 节 所 描述 的 


平方 矩阵 乘法 同 为 时 间 B(x ) 的 矩阵 乘法 。 
SQUARE-MATRIX-MULTIPLY(A, B) 


1 n=A. rows 
2 let C be a new nXn matrix 
3 fori=] ton 


402 


第 六 部 分 图 算 法 


4 for j=l ton 

5 cr 一 0 

6 for k=1 ton 

7 cg = cg taa * by 
8 return C 


回 到 所 有 结 点 对 最 短路 径 问 题 ， 我 们 通过 对 最 短路 径 一 条 边 一 条 边 地 扩展 来 计算 最 短路 径 
HE., HA. B 表示 由 算法 EXTEND-SHORTEST-PATHS(A，B) 所 返回 的 矩阵 “乘积 ”， 我 们 可 
以 计算 出 下 面 由 nl 个 矩阵 所 构成 的 矩阵 序列 : 

L°=L® -W=W 

L? =L” . W=W’ 

L®=L® . W=W° 


LV =L"? .w=wr 


WEHE, EREL” =W AA HEREA. FERETE OC) YT] A 
计算 出 该 矩阵 序列 ， 


SLOW-ALL-PAIRS-SHORTEST-PATHS(W) 
n=W. rows 
L‘ D= wW 
for m=2 ton—1 


L™ =EXTEND-SHORTEST-PATHS(L™” ,W) 


1 
2 
3 
4 let L™ be a new nXn matrix 
5 
6 return L" D 


图 25-1 所 示 为 一 个 图 和 在 图 上 运行 SLOW-ALL-PAIRS-SHORTEST-PATHS f H 4h 9 5 


co 
1 
co 
0 
6 

2 

1 
5 
0 
6 





25-1 一 个 有 向 图 和 由 SLOW-ALL-PAIRS-SHORTEST-PATHS 所 计算 出 的 矩阵 序列 LO, EAT 
以 自行 验证 LS 王 L9 ， 因 此 ， 对 于 所 有 的 m4, FL? 一 世人 
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改进 算法 的 运行 时 间 

我 们 的 目标 并 不 是 要 计算 所 有 的 L" 和 矩阵 ， 我 们 感 兴趣 的 仅仅 是 矩阵 L””。 回 忆 本 书 前 面 
的 内 容 可 知 ， 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 式 (25. 3) 意 味 着 对 于 所 有 的 mnl, RTA 
L™=L° 。 正 如 传统 的 矩阵 乘法 是 相关 的 ， 由 EXTEND-SHORTEST-PATHS 过 程 所 定义 的 
和 矩阵 乘法 也 是 相关 的 (请 参阅 练习 25. 1-4)。 因 此 ， 可 以 仅 用 [ lg(n 一 1)1 个 矩阵 乘积 来 计算 矩阵 
Lo" 。 计 算 的 方法 如 下 

L® =W 

L°=W=W-W 

L® =W' =W? - W? 

L® =W? =W" ». W‘ 


L¢ af aD) pet eon) =W! oD] 。 wl eot 


Fe Sn—1, BURLEY 等 于 Le 。 
下 面 的 过 程 使 用 重复 平方 技术 来 计算 上 述 矩 阵 序列 。 
FASTER-ALL-PAIRS-SHORTEST-PATHS(W) 


n=W. rows 
L°=W 
m=] 
while m <n— 1 
let L®™ be a new nXn matrix 
L®™ =EXTEND-SHORTEST-PATHS(L™ ,L™ ) 


m=2m 


ono WF WH 王 


return L'™ 


在 算法 第 4 一 7 行 的 while 循 环 的 每 一 次 迭代 ， 计 算 L”” =L), BANTAM m=1 开始 。 在 每 
次 迭代 的 末尾 ， 对 m 的 取 值 进行 加 倍 。 最 后 的 迭代 通过 实际 计算 LO PRT AE LO, 其 
中 ，n 一 1<2m<2n 一 2。 根 据 式 (25. 3), LOP=L” 。 下 一 次 在 执行 算法 第 4 行 的 测试 时 ，m 已 
经 加 倍 ， 因 此 现在 z>” 一 1， 该 测试 将 不 通过 ， 整 个 算法 返回 的 是 其 最 后 所 计算 的 矩阵 。 

因为 [ lg (2 一 1)1 个 矩阵 中 的 每 个 矩阵 的 计算 时 间 为 @ Cn’), FASTER-ALL-PAIRS- 
SHORTEST-PATHS 的 运行 时 间 为 OG? lgz) 。 由 于 该 代码 非常 紧凑 ， 没 有 包含 任何 精巧 的 数据 
结构 ， 隐 藏 在 8 记号 中 的 常数 应 该 较 小 。 


练习 

25.1-1 在 图 25-2 所 示 的 带 权重 的 有 向 图 上 运行 算法 SLOW-ALL-PAIRS-SHORTEST-PATHS, 
给 出 循环 的 每 次 迭代 所 计算 出 的 矩阵 。 然 后 用 算法 FASTER-ALL-PAIRS-SHORTEST- 
PATHS 重新 做 一 遍 。 





图 25-2 用 于 练习 25. 1-1、25. 2-1 和 25. 3-1 的 带 权重 的 有 向 图 
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25.1-2 为 什么 要 求 对 于 所 有 的 lin, Aw, =0? 
25.1-3 在 最 短路 径 算法 中 使 用 的 矩阵 L” 对 应 传统 矩阵 乘法 里 的 什么 ? 


co co co 
co 0 co co 
L® =|co co 0 co 
: 
pe" CO CO ev QO 


25.1-4 证 明 : 由 EXTEND-SHORTEST-PATHS 所 定义 的 矩阵 乘法 是 相关 的 。 

25.1-5 ”说明 如 何 将 单 源 最 短路 径 问题 表示 为 矩阵 和 向 量 的 乘积 ， 并 解释 该 乘积 的 计算 过 程 如 何 
对 应 Bellman-Ford 算法 ? 〈 请 参阅 24. 1 节 。) 

25.1-6 假定 我 们 还 希望 在 本 节 所 讨论 的 算法 里 计算 出 最 短路 径 上 的 结 点 。 说 明 如 何在 O ) Bt 
间 内 从 已 经 计算 出 的 最 短路 径 权 重 矩 阵 工 计算 出 前 驱 矩 阵 I 

25.1-7 ”我们 可 以 用 计算 最 短路 径 权 重 的 办 法 来 计算 最 短路 径 上 的 结 点 。 定 义 ny? AMG 到 j 的 
至 多 包含 m 条 边 的 任意 最 小 权重 路 径 上 结 点 7 的 前 驱 。 请 修改 EXTEND-SHORTEST- 
PATHS 和 SLOW-ALL-PAIRS-SHORTEST-PATHS, 使 其 在 计算 出 和 矩阵 L”, 
L®, =e, LEP WRR, RER, P, e I"?。 

25.1-8 本 节 所 讨论 的 FASTER-ALL-PAIRS-SHORTEST-PATHS 过 程 要 求 我 们 保存 [ lg(n—1)] 
个 矩阵 ， 由 于 每 个 矩阵 有 n 个 元 素 ， 总 存储 空间 需求 为 OG? lgn)。 请 修改 该 算法 ， 使 
其 仅仅 使 用 两 个 nXn 的 矩阵， 从 而 将 存储 空间 降 至 O). 

25.1-9 修改 FASTER-ALL-PAIRS-SHORTEST-PATHS, 使 其 可 以 判断 一 个 图 是 否 包 含 一 个 
权重 为 负 值 的 环 路 。 

25.1-10 给 出 一 个 有 效 算法 来 在 图 中 找到 最 短 长 度 的 权重 为 负 值 的 环 路 的 长 度 ( 边 的 条 数 ) 。 


25.2 Floyd-Warshall 算法 


在 本 节 的 讨论 中 ， 我 们 使 用 一 种 不 同 的 动态 规划 公式 来 解决 所 有 结 点 对 最 短路 径 问 题 。 所 
产生 的 算法 称 为 Floyd-Warshall 算法 ， 其 运行 时 间 为 8B(V ) 。 与 前 面 的 假设 一 样 ， 负 权重 的 边 可 
以 存在 ， 但 不 能 存在 权重 为 负 值 的 环 路 。 如 25. 1 节 所 述 ， 我 们 仍然 按照 动态 规划 过 程 的 通常 步 
又 来 阐述 我 们 的 算法 。 在 对 算法 进行 研究 后 ， 我 们 将 提供 一 种 类 似 的 方法 来 找 出 有 向 图 的 传递 
闭 包 。 

最 短路 径 的 结构 

在 Floyd-Warshall 算法 中 ， 我 们 对 一 条 最 短路 径 的 结构 特征 做 出 的 描述 与 25. 1 节 中 的 有 所 
不 同 。Floyd- Warshall 算法 考虑 的 是 一 条 最 短路 径 上 的 中 间 结 点 ， 这 里 ， 简 单 路 径 p= lo, 
ww，*…,V) 上 的 中 间 结 点 指 的 是 路 径 p 上 除 v 和 wv 之 外 的 任意 结 点 ， 也 就 是 处 于 集合 {ww， 
U3 s sva PAZ 

Floyd-Warshall 算法 依赖 于 下 面 的 观察 。 假 定 图 G 的 所 有 结 点 为 V 二 {1，2，…，n}， 考 虑 
其 中 的 一 个 子 集 {1，2，…，&}， 这 里 是 某 个 小 于 nn 的 整数 。 对 于 任意 结 点 对 i,jEV， 考 虑 从 
结 点 i 到 结 点 7 的 所 有 中 间 结 点 均 取 自 集合 {1，2，…，A&)} 的 路 径 ， 并 且 设 pp 为 其 中 权重 最 小 的 
路 径 ( 路 径 p 是 简单 路 径 )。Floyd-Warshall 算 法 利用 了 路 径 p 和 从 i 到 7 之 间 中 间 结 点 均 取 自 集 
合 {1，2，…，A& 一 1} 的 最 短路 径 之 间 的 关系 。 该 关系 依赖 于 结 点 k 是否 是 路 径 p 上 的 一 个 中 间 
结 点 。 
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。 如 果 结 点 不 是 路 径 p 上 的 中 间 结 点 ， 则 路 径 p 上 的 所 有 中 间 结 点 都 属于 集合 {1， 
2, =, 一 1}) 。 因 此 ， 从 结 点 i 到 结 点 j 的 中 间 结 点 取 自 集合 {1，2，…，& 一 1} 的 一 条 最 
短路 径 也 是 从 结 点 i 到 结 点 j 的 中 间 结 点 取 自 集合 {1，2，…， 驴 的 一 条 最 短路 径 。 

。 如 果 结 点 是 路 径 p 上 的 中 间 结 点 ， 则 将 路 径 p 分 解 为 i OkO j, WE 25-3 所 示 。 根 
据 引 理 24.1，pi 是 从 结 点 i 到 结 点 & 的 中 间 结 点 全 部 取 自 集合 {1，2，…，k} 的 一 条 最 短 
路 径 。 事 实 上 ， 我 们 可 以 得 出 更 强 的 结论 。 因 为 结 点 不 是 路 径 p， 上 的 中 间 结 点 ， 路 径 
b 上 的 所 有 中 间 结 点 都 属于 集合 {1，2，…，k 一 1}。 因 此 ，p, 是 从 结 点 i 到 结 点 & 的 中 
间 结 点 全 部 取 自 集合 {1，2，…, 一 1} 的 一 条 最 短路 径 。 类 似 地 ，p, 是 从 结 点 & 到 结 点 
i 的 中 间 结 点 全 部 取 自 集合 {1，2，…，k 一 1} 的 一 条 最 短路 径 。 


11，2,，…,，k-11 中 的 所 有 中 间 结 点 11, 2, =, kel | 中 的 所 有 中 间 结 点 
A 
Pı Q Pr D 
© 


11, 2, ++, ki 中 的 所 有 中 间 结 点 


图 25-3 路 径 p 是 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 ， 结 点 是 路 径 p 上 编号 最 大 
的 中 间 结 点 。 路 径 志 是 路 径 p 上 从 结 点 i 到 结 点 上 之 间 的 一 段 ， 其 所 有 
中 间 结 点 取 自 集合 (1，2，…，A 一 1}。 从 结 点 & 到 结 点 了 的 路 径 po 也 遵 
守 同 样 的 规则 


所 有 结 点 对 最 短路 径 问题 的 一 个 递归 解 
基于 上 面 的 观察 ， 我 们 可 以 定义 一 个 不 同 于 25. 1 节 所 描述 的 最 短路 径 估计 的 递归 公式 。 设 
dP AWA i 到 结 点 7 的 所 有 中 间 结 点 全 部 取 自 集合 {1，2，…， 上} 的 一 条 最 短路 径 的 权重 。 当 
k=0 时 ， 从 结 点 i 到 结 点 j 的 一 条 不 包括 编号 大 于 0 的 中 间 结 点 的 路 径 将 没有 任何 中 间 结 点 。 这 
样 的 路 径 最 多 只 有 一 条 边 ， 因 此 ，d8 =rw 。 根 据 上 面 的 讨论 ， 递 归 定义 dP 如 下 : 
i #k=0 
jig min(d¥” ,dk +di”) #k>1 Sao 
因为 对 于 任何 路 径 来 说 ， 所 有 的 中 间 结 点 都 属于 集合 {1，2，…，n}， 和 矩阵 D” = (di ) 给 出 的 就 
是 我 们 的 最 后 答案 : 对 于 所 有 的 i, jEV, dP =8G, j). 
自 底 向 上 计算 最 短路 径 权 重 
根据 递归 公式 (25.5)， 我 们 可 以 使 用 下 面 的 自 底 向 上 的 算法 以 递增 次 序 来 计算 a 的 值 。 该 
算法 的 输入 为 一 个 nXn 的 矩阵 W， ZW 由 式 (25. 1) 所 定义 。 下 面 的 算法 返回 的 是 最 短路 径 权重 
和 矩阵 D”, 


FLOYD-WARSHALL(W) 
1 n=W. rows 

2 D®=Ww 

3 for k=1 ton 


4 letD® = (di? )be a new nXn matrix 
5 for i=1 ton 

6 for ;=1 ton 

7 dP =min(d#? ,du 十 d 人 5) 
8 return D™ 


图 25-4 描述 的 是 在 图 25-1 上 运行 Floyd-Warshall 算法 所 计算 出 的 矩阵 D” 。 
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图 25-4 在 图 25-1 上 运行 Floyd-Warshall 算法 所 计算 出 的 矩阵 序列 D® 和 IT 


Floyd-Warshall 算法 的 运行 时 间 由 算法 第 3 一 7 行 的 3 BRER for 循环 所 决定 。 因 为 算法 第 
7 行 的 每 次 执行 时 间 为 O(1)， 因 此 该 算法 的 运行 时 间 为 O). An 25. 1 节 中 所 描述 的 最 终 算法 
一 样 ， 该 代码 也 非常 紧凑 ， 没 有 使 用 精巧 的 数据 结构 ， 隐 藏 在 © 表述 后 面 的 常数 比较 小 。 因 此 ， 
即使 对 于 输入 规模 为 中 等 的 图 ，Floyd-Warshall 算法 的 效率 也 相当 好 。 

构建 一 条 最 短路 径 

在 Floyd-Warshall 算法 中 ， 可 以 有 多 种 不 同 的 方法 来 构建 最 短路 径 。 一 种 办 法 是 先 计 算 最 短 
路 径 权 重 矩 阵 D， 然 后 从 DD 矩阵 来 构造 前 驱 矩 阵 [I。 练 习 25. 1-6 将 要 求 读者 来 实现 该 方法 ， 并 
将 算法 的 运行 时 间 限 制 在 O(z) 内 。 一 旦 给 定 了 前 驱 矩 阵 I, PRINT-ALL-PAIRS-SHORTEST- 
PATH 过 程 将 打印 出 给 定 最 短路 径 上 的 所 有 结 点 。 

另外 ， 我 们 可 以 在 计算 矩阵 DO 的 同时 计算 前 驱 矩 阵 [I。 具 体 来 说 ,我 们 将 计算 一 个 矩阵 序 
AD, DP, 1, IP, XE ISIO 并且 定义 rP HAAR i 到 结 点 j 的 一 条 所 有 中 间 结 点 都 取 
自 集合 {1，2，…,k} 的 最 短路 径 上 j 的 前 驱 结 点 。 

我 们 可 以 给 出 区 的 一 个 递归 公式 。 当 ==0 时 ， 从 i 到 j 的 一 条 最 短路 径 没 有 中 间 结 点 ， 因 此 ， 
NIL #i=j Rw, = oo 
i #HiF~j bw;<o 
对 于 AS1, MRE BRB ikoj, 这 里 隆 j， 则 所 选择 的 结 点 j 的 前 驱 与 我 们 选择 的 从 结 点 
k 到 结 点 7 的 一 条 中 间 结 点 全 部 取 自 集合 (1，2，…，A& 一 1} 的 最 短路 径 上 的 前 驱 是 一 样 的 。 否 


o> _ 
 —, 


(25. 6) 
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则 ， 所 选择 的 结 点 j 的 前 驱 与 选择 的 从 结 点 i 到 结 点 j 的 一 条 中 间 结 点 全 部 取 自 集合 {1]，2，…， 
& 一 1} 的 最 短路 径 上 的 前 驱 是 一 样 的 。 也 就 是 说 ， 对 于 二 1， 
a? Es xP Hay < ay? +d (25. 7) 
J ny? # az? > ag? +d” 

我 们 把 He 矩阵 的 计算 纳入 到 Floyd-Warshall 过 程 里 的 工作 留 作 练习 (练习 25. 2-3), R 25-4 描述 
的 是 进行 此 种 合并 后 的 算法 在 图 25-1 上 运行 时 所 生成 的 I2 和 矩阵 序列 。 该 练习 题 同 时 还 要 求 读 
者 证 明 前 驱 子 图 G,,; 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 练 习 25. 2-7 则 要 求 读 者 设计 一 种 不 同 的 算 
法 来 构建 最 短路 径 。 

有 向 图 的 传递 闭 包 

给 定 有 向 图 G 王 (V， 刀 ， 结 点 集合 为 V 王 {1，2，…，?) ， 我 们 希望 判断 对 于 所 有 的 结 点 对 宗 和 
J， 图 G 是 否 包含 一 条 从 结 点 i 到 结 点 7 的 路 径 。 我 们 定义 图 G 的 传递 闭 包 为 图 C" 二 (V，E* )， 其 中 
E*={G, j): 如 果 图 G 中 包含 一 条 从 结 点 i 到 结 点 7 的 路 径 }。 

一 种 时 间 复 杂 度 为 OGY ) 的 计算 图 G 的 传递 闭 包 的 办 法 是 给 EE 中 的 每 条 边 赋 予 权重 1， 然 后 
运行 Floyd-Warshall 算法 。 如 果 存 在 一 条 从 结 点 i 到 结 点 j 的 路 径 ， 则 有 di;; 二 n; AM, dj=oo. 

还 有 男 一 种 类 似 的 办 法 ， 其 时 间 复 杂 度 也 是 8(n’)， 但 在 实际 场景 中 能 够 节省 时 间 和 空间 。 
该 办 法 以 逻辑 或 操作 (V ) 和 逻辑 与 操作 (人 A) 来 替换 Floyd-Warshall 算法 中 的 算术 操作 min 和 十 。 
Mi, j, k 二 1，2,，…，n， 我 们 定义 : 如 果 图 C 中 存在 一 条 从 结 点 i 到 结 点 ; 的 所 有 中 间 结 点 都 
取 自 集合 {1，2，…，} 的 路 径 ， 则 地 为 1; BM, SP AO. RMA AG 二 (V，E" ) 的 方 
法 为 : 将 边 (i, DEFRA E 当 且 仅 当 好 为 1。 一 种 与 公式 (25. 5) 相 似 的 砂 递 归 定 义 如 下 : 

is i HiFAj HG) EE 

i 1 #i=jRGjJ)EE 


对 于 k21, 
P= AY via”? Aw”) (25. 8) 

如 Floyd-Warshall 算法 一 样 ， 我 们 以 & PESACH T? =). 697 

TRANSITIVE-CLOSURE(G) 

1 n=|GV| 

2 letT® =(P )be a new nXn matrix 

3 for i=1 ton 

4 for j=1 ton 

5 if i== jorG.jEG.E 

6 =1 

7 else z =0 

8 for k=1 ton 

9 letT = (t? )be a new nXn matrix 

10 for i=1 ton 

11 for 7 一 1 ton 

12 i =r% » V 人 D Ate?) 


13 return T” 


图 25-5 描述 的 是 在 一 个 样本 图 上 运行 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 序 
列 T® 。 如 Floyd-Warshall 算法 一 样 ，TRANSITIVE-CLOSURE(G) 过 程 的 运行 时 间 也 是 8(0z ) 。 
在 某 些 计算 机 上 ， 对 单个 位 值 进行 的 逻辑 操作 比 对 数据 整数 字 的 算术 操作 要 快 。 而 且 ， 因 为 直接 
的 传递 闭 包 算 法 仅 使 用 布尔 值 ， 而 不 是 整数 值 ， 其 空间 需求 比 Floyd-Warshall 算法 的 空间 需求 要 
小 一 个 数量 级 ， 这 个 数量 级 就 是 计算 机 存储 里 的 一 个 字 的 规模 。 
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图 25-5 一 个 有 向 图 和 由 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 T 


在 图 25-2 所 示 的 带 权 重 的 有 向 图 上 运行 Floyd-Warshall 算法 ， 给 出 外 层 循环 的 每 一 次 
和 迭代 所 生成 的 矩阵 D”, 

说 明 如 何 使 用 25. 1 节 的 技术 来 计算 传递 闭 包 。 

请 修改 Floyd-Warshall 算法 ， 以 便 根据 式 (25.6) 和 (25.7) 计 算出 矩阵 He 。 再 请 严格 证 
H: 对 于 所 有 的 结 点 iEV， 前 驱 子 图 G,; 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。( 提 示 : 为 
了 证 明 Gi; 是 无 环 的 ， 可 以 首先 证 明 根 据 of? AE nf? 二/ ARE iP Sd? 十 run 。 然 
后 ， 再 采用 引 理 24. 16 的 证 明 。) 

如 前 所 述 ，Floyd-Warshall 算法 的 空间 需求 为 Or), HAEHAE dP, Hpi, j, k= 
1，2，…，7。 请 证 明 下 面 所 列 出 的 去 掉 所 有 上 标的 算法 是 正确 的 ， 从 而 将 Floyd- 
Warshall 算法 的 空间 需求 降低 到 OO). 


FLOYD-WARSHALL '(W) 
1 n=W. rows 

2 D=W 

3 for k=1 ton 

4 for i=1 ton 

5 for j=1 ton 

6 d,=min(d, ,da +dy) 
7 return D 


假定 我 们 修改 式 (25. 7) 对 等 式 的 处 理 办 法 如 下 : 
se ni? dt? < dt” 十 dy 

Me nt? #d¢ > dY + qe» 
请 问 这 种 前 驱 和 矩阵 TB ETE AS? 
我 们 怎样 才能 使 用 Floyd-Warshall 算法 的 输出 来 检测 权重 为 负 值 的 环 路 ? 
在 Floyd-Warshall 算 法 中 构建 最 短路 径 的 另 一 种 办 法 是 使 用 她 ， 其 中 i,j, R=1, 2, +, 
ny PP 是 从 结 点 i 到 结 点 j 的 一 条 中 间 所 有 结 点 都 取 自 集合 {1，2，…，&} 的 最 短路 径 上 编号 
最 大 的 中 间 结 点 。 请 给 出 A 的 一 个 递归 公式 ， 并 修改 Floyd-Warshall 过 程 来 计算 类 的 值 ， 
并 重 写 PRINT-ALL-PAIRS-SHORTEST-PATH 过 程 ， 使 其 以 矩阵 O= (49 ) 作 为 输入 。 和 矩阵 
下 与 15. 2 节 所 讨论 的 链 式 矩 阵 乘 法 中 的 表格 存在 何 种 相似 点 ? 
给 出 一 个 OC(VE) 时 间 复 杂 度 的 算法 来 计算 有 向 图 G 二 (V，E) 的 传递 闭 包 。 
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25.2-9 假定 我 们 可 以 在 f(1V|，|E|) 的 时 间 内 计算 出 一 个 有 向 无 环 图 的 传递 闭 包 ， 其 中 了 是 
一 个 自 变量 为 |V| 和 |E| 的 单调 递增 函数 。 证 明 : 计算 一 个 通用 的 有 向 图 G 二 (V，E) 的 
传递 闭 包 G 二 (V，E" ) 的 时 间 复 杂 度 为 f(1V|1,，|E|) 十 O(V 十 E* ) 。 


25.3 FARR Johnson 算法 

Johnson 算法 可 以 在 OCV? lgV 十 V 龙 ) 的 时 间 内 找到 所 有 结 点 对 之 间 的 最 短路 径 。 对 于 稀疏 图 
来 说 ，Johnson 算法 的 渐 近 表现 要 优 于 重复 平方 法 和 Floyd-Warshall W. Johnson 算法 要 么 返回 
一 个 包含 所 有 结 点 对 的 最 短路 径 权 重 的 矩阵 ， 要 么 报告 输入 图 包含 一 个 权重 为 负 值 的 环 路 。 
Johnson 算法 在 运行 中 需要 使 用 Dijkstra 算法 和 Bellman-Ford 算法 作为 自己 的 子 程序 。 

Johnson 算法 使 用 的 技术 称 为 重新 赋予 权重 。 该 技术 的 工作 原理 如 下 : 如 果 图 G=(V, Ep 
所 有 的 边 权 重 记 和 皆 为 非 负 值 ， 我 们 可 以 通过 对 每 个 结 点 运行 一 次 Dijkstra 算法 来 找到 所 有 结 点 对 
之 间 的 最 短路 径 ， 如 果 使 用 斐 波 那 契 堆 最 小 优先 队列 ， 该 算法 的 运行 时 间 为 O(V? lgV 十 VE)。 如 
果 图 G 包 含 权 重 为 负 值 的 边 ， 但 没有 权重 为 负 值 的 环 路 ， 那 么 只 要 计算 出 一 组 新 的 非 负 权重 值 ， 
然后 使 用 同样 的 方法 即 可 。 新 赋予 的 权重 多 必须 满足 下 面 两 个 重要 性 质 : 

1. 对 于 所 有 结 点 对 uw，vEV， 一 条 路 径 p 是 在 使 用 权重 函数 ww 时 从 结 点 4 到 结 点 wv 的 一 条 
最 短路 径 ， 当 且 仅 当 p 是 在 使 用 权重 函数 多 时 从 到 wv 的 一 条 最 短路 径 。 

2. 对 于 所 有 的 边 (x，z) ， 新 权重 zw(x，v) 为 非 负 值 。 
正如 我 们 将 要 看 到 的 ， 我 们 可 以 对 图 G 进行 预 处 理 ， 并 在 OVE) HET AR wo 

重新 赋予 权重 来 维持 最 短路 径 

下 面 的 引 理 描述 的 是 我 们 可 以 很 容易 地 对 边 的 权重 进行 重新 赋值 来 满足 上 面 的 两 个 条 件 。 我 们 使 
用 6 表示 从 权重 函数 也 所 导出 的 最 短路 径 权 重 ， 而 用 6 表示 从 权重 函数 好 所 导出 的 最 短路 径 权重 。 

引 理 25. 1( 重 新 赋予 权重 并 不 改变 最 短路 径 ) ”给 定 带 权重 的 有 向 图 G 二 (V， 玉 )， 其 权重 函数 
Aw: E>R, hh: V 一 -R 为 任意 函数 ， 该 函数 将 结 点 映射 到 实数 上 。 对 于 每 条 边 (u，)EE， 定 义 

wlu,v) = wlu,v) +h(u) — hlo) (25. 9) 
HK p=, Us ts WAAS w 到 结 点 UY 的 任意 一 条 路 径 ， 那 么 pRARARE AK 时 
从 结 点 vo 到 结 点 的 一 条 最 短路 径 ， 当 且 仅 当 户 是 在 使 用 权重 函数 包 时 从 结 点 vo HAY, 的 一 
条 最 短路 径 ， 即 wp) =S, m) KK wl) u) MH, 图 G 在 使 用 权重 函数 世 时 
不 包含 权重 为 负 值 的 环 路 ， 当 且 仅 当 户 在 使 用 权重 函数 也 也 不 包括 权重 为 负 值 的 环 路 。 
证 明 首先 来 证 明 
wp) = wp) +h) — hy) (25. 10) 
RIA: 


k 


wp)= >) sv sv) 


>) Cwlv sv) thy.) —ACv,)) 
= Swe, ,U0;) 十 h(ww) 一 hlv) 〈 因 为 裂 项 相 消 和 ) 
= w(p) +h(w) — hlu) 

因此 ， 对 于 结 点 w 到 结 点 w 的 任意 路 径 pe RIAU =w p) thu) hu), EA hA h) 
不 依赖 于 任何 具体 的 路 径 ， 如 果 从 结 点 w 到 结 点 u 的 一 条 路 径 在 使 用 权重 函数 记 时 比 另 一 条 路 径 
短 ， 则 其 在 使 用 权重 函数 ww Mbit AA. Alt, w=, u)4AM4@p=Mw, uv). 

最 后 ， 我 们 证 明 图 G 在 使 用 权重 函数 w 时 包含 一 个 权重 为 负 值 的 环 路 当 且 仅 当 p 在 使 用 权 
重 函 数 也 也 包含 一 个 权重 为 负 值 的 环 路 。 考 虑 任意 环 路 c= 王 (ww，m ，…， 了 仅 )， 其 中 四 一 允 。 根 据 
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3£(25.10), RMA WO) = 二 w(c) 十 h(w) 一 hw) 二 w(c)。 因 此 ， 环 路 c 在 使 用 权重 函数 w 时 为 负 
值 当 且 仅 当 其 在 使 用 权重 函数 多 时 也 为 负 值 。 a 

通过 重新 赋值 来 生成 非 负 权重 

我 们 的 下 一 个 目标 是 确保 第 二 个 属性 保持 成 立 ， 即 对 于 所 有 的 边 (u，v) EE，%(u，v) 为 非 
负 值 。 给 定 带 权重 的 有 向 图 G=(V，E)， 其 权重 函数 为 w: 已 ~R。 我 们 制作 一 幅 新 图 G =V", 
E')， 这 里 V'==VU{s}，s 是 一 个 新 结 点 ，s 儿 V，E' 二 EU{(s，v): vEV}. 我们 对 权重 函数 多 
进行 扩展 ， 使 得 对 于 所 有 的 结 点 vEV，w(s，v) 二 0。 注 意 ， 因 为 结 点 ;没有 进入 的 边 ， 除 了 以 s 
为 源 结 点 的 最 短路 径 外 ， 图 G' 中 没有 其 他 包含 结 点 s 的 最 短路 径 。 而 且 ， 图 G 不 包含 权重 为 负 
值 的 环 路 当 且 仅 当 图 G 不 包含 权重 为 负 值 的 环 路 。 图 25-6(a) 描 述 的 是 对 应 图 25-1 图 G 的 图 CG 。 





25-6 Johnson 所 有 结 点 对 最 短路 径 算法 在 图 25-1 上 的 运行 过 程 。 结 点 的 编号 位 于 结 点 之 外 。(a) 使 
用 原始 权重 函数 ww 的 图 G'。 新 的 结 点 * 为 黑色 。 在 每 个 结 点 v 里 面 标记 的 是 h(v) 二 6(s，w) 
的 值 。(b) 在 对 每 条 边 (x，z) 重 新 赋予 权重 后 的 图 ， 重 新 赋值 的 函数 为 包 (x， 切 一 zw(k，z) 十 
h(w) 一 h(v)。(c) 一 (g) 使 用 权重 函数 多 在 G 的 每 个 结 点 上 运行 Dijkstra 算法 的 结果 。 在 每 一 个 
部 分 中 ， 源 结 点 u 是 黑色 ， 加 了 阴影 的 边 是 由 算法 计算 出 来 的 属于 最 短路 径 树 里 面 的 边 。 在 
每 个 结 点 v 里 面 标记 的 是 6(u，v) 和 6Cu，wv) 的 值 ， 中 间 由 一 个 斜 杠 分 开 。d, 二 6(u，wv) 的 值 
与 8(u， 功 十 h(v) 一 h(t 的 值 相等 
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现在 假定 图 G 和 图 G ' 都 不 包含 权重 为 负 值 的 环 路 。 让 我 们 定义 ， 对 于 所 有 的 结 点 v€V'， 
h(v) 二 6(s，v)。 根 据 三 角 不 等 式 ( 引 理 24.10)， 对 于 所 有 的 边 (u，v) CE’, Hh) <hCu) + 
w(u，v)。 因 此 ， 如 果 我 们 根据 式 (25. 9) 来 定义 新 的 权重 多 ， 则 有 字 (u， v)=wlu, v) th(u)— 
h(v) 宇 90， 至 此 我 们 满足 了 第 二 条 性 质 。 图 25-6(b) 描 述 的 是 对 图 25-6(a) 的 图 进行 权重 重新 赋值 
后 的 图 G'。 
计算 所 有 结 点 对 之 间 的 最 短路 径 
Johnson 算法 在 执行 过 程 中 需要 使 用 Bellman-Ford 算法 ( 见 24. 1 节 ) 和 Dijkstra WHE CHL 24. 3 
节 ) 作 为 子 程序 来 计算 所 有 结 点 对 之 间 的 最 短路 径 。 该 算法 假定 所 有 的 边 都 保存 在 邻接 链表 里 ， 
其 返回 的 则 是 一 个 1V1 X 1V | 的 矩阵 了 = 必 ， 其 中 qd; 二 6(i，7)， 或 者 报告 输入 图 包含 一 个 权重 
为 负 值 的 环 路 。 对 于 所 有 结 点 对 最 短路 径 算法 来 说 ， 我 们 通常 假定 结 点 的 编号 为 从 1 一 |V|。 
JOHNSON(G, w) 
1 compute G', where G’. V=G. VU {s}, 
G'. E=G. EU {(s,v):v€G. V} and 
w(s,v)=0 for all vEG.V 
2 if BELLMAN-FORD(G’ ,w,s)==FALSE 


3 print“the input graph contains a negative- weight cycle” 
4 else for each vertex ve G'.V 

5 set h(v)to the value of d(s,v) 

computed by the Bellman-Ford algorithm 

6 for each edge(u,v) EG'.E 

7 (u,v) =wlu,v) +h(u) —h(v) 

8 let D= (d )be a new nXn matrix 

9 for each vertex u€G. V 
10 run DIJKSTRA(G, @,u)to compute §(u,v) for allu€G. V 
11 for each vertex v€G. V 
12 dw =§(u,v) +h(v) —h(u) 
13 return D 


上 述 代 码 所 执行 就 是 我 们 前 面 讨论 的 操作 。 算 法 第 1 行 生 成 图 G', 第 2 行 在 图 G' 上 运行 
Bellman-Ford 算 法， 使 用 权重 函数 ww 和 源 结 点 s。 如 果 图 G (也 因此 图 G) 包 含 一 条 权重 为 负 值 的 
环 路 ， 算 法 的 第 3 行将 报告 这 个 问题 。 算 法 第 4 一 12 行 假定 图 G' 不 包含 权重 为 负 值 的 环 路 。 第 
4 一 5 行将 h(v) 的 值 设 置 为 由 Bellman-Ford 算法 所 计算 出 来 的 最 短路 径 权重 6(s，v)。 算 法 的 第 
6 一 7 行 计算 新 的 权重 也 。 对 于 每 一 对 结 点 wx，vzEV， 算 法 的 第 9 一 12 行 的 for 循环 通过 调用 
Dijkstra 算法 来 计算 最 短路 径 权重 6(u，v)。 算 法 第 12 行将 根据 式 (25. 10) 所 计算 出 来 的 最 短路 径 
权重 S(x， 了 保存 在 矩阵 元 素 d, 里 。 最 后 ,算法 的 第 13 行 返回 构造 完毕 的 矩阵 D。 图 25-6 描述 
的 是 Johnson 算法 的 执行 过 程 。 

如 果 使 用 斐 波 那 契 堆 来 实现 Dijkstra 算法 里 面 的 最 小 优先 队列 ， 则 Johnson 算法 的 运行 时 间 
H OV’ lgV 十 VE)。 使 用 更 简单 的 二 又 最 小 堆 实 现 则 运行 时 间 为 OOVE lgV) 。 在 稀 朴 图 的 情况 
下 ， 该 时 间 仍 然 比 Floyd-Warshall 算法 的 时 间 表 现 要 好 。 


练习 

25.3-1 请 在 图 25-2 上 使 用 Johnson 算法 来 找到 所 有 结 点 对 之 间 的 最 短路 径 。 给 出 算法 计算 出 的 
h lw. 

25.3-2 在 Johnson 算 法 里 ， 在 集合 V 中 加 入 新 结 点 产生 V' 的 目的 是 什么 ? 

25.3-3 ”假定 对 于 所 有 的 边 (u，)EE， RNA wx， 功 三 0。 请 问 权重 函数 w Aaz EHAA? 
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25.3-4 


25.3-5 


25. 3-6 
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Greenstreet 教授 声称 ， 他 有 一 种 比 Johnson 算法 中 所 使 用 的 更 简单 的 办 法 来 对 边 的 权重 
进行 重新 赋值 。 设 w" = min (wau, wv}, REMAN, VEE, EXwu, = 
wu, v)—w" 即 可 。 请 问 这 种 重新 赋值 有 什么 错误 ? 

假定 在 一 个 权重 函数 为 w 的 有 向 图 G 上 运行 Johnson 算 法 。 证明: 如果 图 G 包含 一 条 
权重 为 0 的 环 路 c， 那 么 对 于 环 路 c 上 的 每 条 边 (u， v), wu, v)=0, 

Michener 教授 声称 ， 没 有 必要 在 JOHNSON 算法 的 第 1 行 创建 一 个 新 的 源 结 点 。 他 主 
张 可 以 使 用 G'==G， 并 设 s 为 任意 结 点 。 请 给 出 一 个 带 权重 的 有 向 图 例子 ， 使 得 当 将 这 
位 教授 的 想法 用 到 JOHNSON 算法 中 将 导致 错误 的 结果 。 然 后 ， 证 明 : 如 果 图 C 是 强 
连通 的 (每 个 结 点 都 可 以 从 其 他 每 个 结 点 到 达 )， 那么 使 用 教授 的 修改 意见 后 的 
JOHNSON 算法 将 返回 正确 结果 。 


思考 题 


25-1 


25-2 


(动态 图 的 传递 闭 包 ) ”假定 我 们 希望 在 将 边 插入 到 集合 EE 中 时 维持 有 向 图 G 二 (V，E) 的 
传递 闭 包 ， 即 在 插入 每 条 边 后 ， 我 们 希望 对 到 目前 为 止 已 插入 边 的 传递 闭 包 进行 更 新 。 假 
定 图 G 开始 时 不 包含 任何 边 ， 并 且 传 递 闭 包 用 布尔 矩阵 来 表示 。 

a. 说 明 在 加 入 一 条 新 边 到 图 G 时 ， 如 何在 O(V?) 时 间 内 更 新 图 G 二 (V，E) 的 传递 闭 
包 G" =(V, E"). 

b. 给 出 一 个 图 G 和 一 条 边 e， 使 得 在 将 边 e 插 入 到 图 G 后 ， 更 新 传递 闭 包 的 时 间 复 杂 性 为 
Q()， 而 不 管 使 用 的 是 何 种 算法 。 

e 描述 一 个 有 效 的 算法 ， 使 得 在 将 边 加 入 到 图 G 中 时 更 新 传递 闭 包 。 对 于 任意 nn 次 插入 
的 序列 ， 算 法 运行 的 总 时 间 应 该 是 2 二 OCV*)， 其 中 4 是 插入 第 i 条 边 时 更 新 传递 闭 
包 所 用 的 时 间 。 请 证 明 你 的 算法 确实 达到 了 这 个 时 间 效 率 。 

Ce 稠密 图 的 最 短路 径 ) MFAG=(V, EDR, MR|E|=OV'"), WE GA e 稠密 

图 ， 其 中 8 为 某 个 常数 ， 且 0 天 es 委 1。 如 果 在 e 稠密 图 的 最 短路 径 算法 中 使 用 4 又 最 小 堆 

(请 参阅 本 书 的 问题 6-2) ， 则 能 使 算法 的 运行 时 间 相 当 于 基于 斐 波 那 契 堆 的 算法 的 运行 时 

间 ， 同 时 无 需 引 入 后 者 所 使 用 的 复杂 数据 结构 。 

a. INSERT, EXTRACT-MIN, DECREASE-KEY 的 渐 近 运行 时 间 是 多 少 ? 请 以 d 和 元 素 
个 数 为 参数 予以 表达 。 如 果 选 择 d= 二 BCmw)， 其 中 0 二 a 三 1， 这 些 运 行 时 间 又 是 多 少 ? 
请 把 这 些 时 间 与 斐 波 那 契 堆 的 摊 还 代价 进行 比较 。 

b. 说 明 如 何在 OCGE) 时 间 内 ， 在 一 个 s 稠密 的 有 向 图 中 计算 出 单 源 最 短路 径 ， 这 里 假定 该 
图 不 包含 权重 为 负 值 的 边 。( 提 示 : 选 一 个 以 s 为 自 变 量 的 函数 作为 &。) 

c 说 明 如 何在 OC(VE) 时 间 内 ， 在 一 个 。e 稠密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 
径 ， 这 里 假定 该 图 不 包含 权重 为 负 值 的 边 。 

d. 说 明 如 何在 OC(VE) 时 间 内 ， 在 一 个 。 稠密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 
径 ， 这 里 假定 图 中 可 以 包含 权重 为 负 值 的 边 ， 但 不 包含 权重 为 负 值 的 环 路 。 


本 章 注 记 
Lawler[224] 详 细 讨 论 了 所 有 结 点 对 之 间 的 最 短路 径 问题 ， 但 没有 分 析 稀疏 图 的 解 。 他 将 矩 


阵 乘 法 


算法 归功 于 多 人 的 努力 。Floyd-Warshall 算法 则 来 自 于 Floyd[105]， 其 原理 乃 基 于 


Warshall[349] 所 提出 的 一 个 定理 ， 该 定理 描述 了 如 何 计算 布尔 矩阵 的 传递 闭 包 。Johnson 算法 则 


来 自 于 


文献 [192]。 
些 研究 人 员 对 基于 和 矩阵 乘法 的 最 短路 径 算法 进行 了 各 种 改进 。Fredman[111] 提 出 了 一 种 
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不 同 的 所 有 结 点 对 之 间 的 最 短路 径 算法 ， 该 算法 对 边 的 权重 和 进行 OC(V””) 次 比较 ， 算法 总 运行 
时 间 为 O(Va(lglgV/lgV) )， 这 比 Floyd-Warshall 算法 的 时 间 复 杂 性 稍微 好 一 点 。Han[L159] 则 
将 该 算法 的 时 间 复 杂 性 降低 到 OCV (lglgV/lgV)*)。 另 一 类 的 研究 则 表明 ， 我 们 可 以 将 快速 和 矩 
阵 乘法 (请 参阅 第 4 章 注 记 ) 应 用 到 所 有 结 点 对 最 短路 径 问题 上 。 设 OC) Hn Xn 维和 矩阵 快速 乘 
法 算法 的 运行 时 间 ; 当前 的 w<2. 376[78]。Galil 和 Margalit[123，124] 和 Seidel[308] 设 计 出 了 
时 间 复 杂 度 为 (V*p(V)) 的 针对 无 向 无 权重 图 的 所 有 结 点 对 最 短路 径 问 题解 决 方案 ， 其 中 p(n) HE 
示 一 个 以 的 多 项 式 对 数 为 界 的 特殊 函数 。 在 稠密 图 中 ， 这 些 算法 要 比 执行 1V| 次 广度 优先 搜索 
的 时 间 复 杂 度 OC(VE) 要 快 。 一 些 研究 人 员 将 这 些 结果 推广 到 了 带 权重 的 无 向 图 中 ， 条 件 是 这 些 
权重 值 全 部 为 整数 ， 且 在 范围 {1，2,，…，W}) 之 内 。 这 些 算法 中 渐 近 最 快 的 是 由 Shoshan 和 
Zwick[316] 所 提出 的 ， 其 运行 时 间 为 O(WV*p (VW))。 

Karger, Koller 和 Phillips[196 ] 和 McGeoch[ 247] 独 立地 给 出 了 一 个 依赖 于 E" 的 时 间 界 ， 这 
EE 为 边 集 合 E 中 属于 某 条 最 短路 径 的 边 的 集合 。 给 定 一 个 所 有 边 的 权重 为 非 负 值 的 图 ， 他 们 
的 算法 的 运行 的 时 间 为 OC(VE' +V? IgV), 4| E* | = 二 ol(E) 时 ， 该 时 间 复 杂 度 比 Dijkstra 算法 好 
了 |V| 倍 。 

Baswana, Hariharan 和 SenL33] 对 维持 所 有 结 点 对 最 短路 径 和 传递 闭 包 信息 的 递减 算法 进行 
了 讨论 。 递 减 算法 允许 将 边 删 除 操作 和 查询 操作 穿插 进行 ; 与 之 相 比 较 的 话 ， 思 考题 25-1 所 要 
求 的 是 一 个 递增 算法 ， 因 为 该 题 要 求 对 边 的 操作 是 插入 操作 。Baswana、Hariharan 和 Sen 所 提 
出 的 算法 是 一 种 随机 算法 ， 当 一 条 路 径 存在 时 ， 他 们 的 传递 闭 包 算 法 可 能 有 1/n 的 概率 不 能 报 
告 该 路 径 的 存在 ， 这 里 的 c 为 任意 大 于 0 的 正 数 。 查 询 时 间 则 有 很 高 的 概率 为 O(1)。 对 于 传递 
闭 包 ， 每 次 更 新 的 摊 还 代价 为 OV” lg“V) 。 对 于 所 有 结 点 对 之 间 的 最 短路 径 ， 更 新 时 间 依 赖 
于 查询 操作 。 对 于 仅 给 出 最 短路 径 权重 的 查询 ， 每 次 更 新 的 摊 还 代价 为 O(V/Elg:V)。 如 果 要 
给 出 具体 的 最 短路 径 ， 则 摊 销 下 来 的 更 新 代价 为 min (OV? VigV), OCV'/E lg*V)). 
Demetrescu 和 Italiano[L84] 说 明了 如 何在 既 可 以 插入 也 可 以 删除 边 的 情况 下 处 理 更 新 和 查询 操作 ， 
条 件 是 每 条 给 定 的 边 的 权重 取 值 范围 为 实数 ， 且 有 限定 范围 。 

Aho, Hopcroft 和 Ullman[L5] 定 义 了 一 种 称 为 “闭合 半 环 ”的 代数 结构 来 作为 解决 有 向 图 路 径 
问题 的 一 般 框 架 。Floyd-Warshall 算法 和 25. 2 节 所 讨论 的 传递 闭 包 算法 都 可 以 看 做 是 基于 闭合 
半 环 的 所 有 结 点 对 最 短路 径 算法 的 具体 实例 。Maggs 和 Plotkin[240] 说 明了 如 何 使 用 闭合 半 环 来 
找 出 最 小 生成 树 。 
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正如 可 以 通过 将 道路 交通 图 模型 化 为 有 向 图 来 找到 从 一 个 城市 到 另 一 个 城市 之 间 的 最 短路 
B, 我们 也 可 以 将 一 个 有 向 图 看 做 是 一 个 “ 流 网 络 ”并 使 用 它 来 回答 关于 物料 流动 方面 的 问题 。 设 
想 一 种 物料 从 产生 它 的 源 结 点 经 过 一 个 系统 ， 流 向 消耗 该 物料 的 汇 点 这 样 一 个 过 程 。 源 结 点 以 
某 种 稳定 的 速率 生成 物料 ， 汇 点 则 以 同样 的 速率 消耗 物料 。 从 直观 上 看 ， 物 料 在 系统 中 任何 一 个 
点 上 的 “流量 ”就 是 物料 移动 的 速率 。 这 种 流 网 络 可 以 用 来 建 模 很 多 实际 问题 ， 包 括 液 体 在 管道 中 
的 流动 、 装 配 线 上 部 件 的 流动 、 电 网 中 电流 的 流动 和 通信 网 络 中 信息 的 流动 。 

我 们 可 以 把 流 网 络 中 每 条 有 向 边 看 做 是 物料 的 一 个 流通 通道 。 每 条 通道 有 限定 的 容量 ， 是 
物料 流 经 该 通道 时 的 最 大 速率 ， 如 一 条 管道 每 小 时 可 以 流 过 200 加 仑 的 液体 或 一 根 电线 可 以 经 受 
20 安培 的 电流 。 流 网 络 中 的 结 点 则 是 通道 的 连接 点 。 除 了 源 结 点 和 终结 点 外 ， 物 料 在 其 他 结 点 
上 只 是 流 过 ， 并 不 积累 或 聚集 。 换 名 话说， 物料 进入 一 个 结 点 的 速率 必须 与 其 离开 该 结 点 的 速率 
相等 。 这 个 性 质 称 为 “流量 守恒 ”， 这 里 的 流量 守恒 与 Kirchhoff 电流 定律 等 价 。 

在 最 大 流 问 题 中 ， 我 们 希望 在 不 违反 任何 容量 限制 的 情况 下 ， 计 算出 从 源 结 点 运送 物料 到 
汇 点 的 最 大 速率 。 这 是 与 流 网 络 有 关 的 所 有 问题 中 最 简单 的 问题 之 一 。 我 们 在 本 章 将 会 看 到 ， 这 
个 问题 可 以 由 高 效 的 算法 解决 。 而 且 ， 最 大 流 算法 中 的 一 些 基 本 技巧 可 以 用 来 解决 其 他 网 络 
流 问题 。 

本 章 介绍 两 种 解决 最 大 流 问题 的 一 般 方法 。26. 1 节 给 出 流 网 络 和 流 概念 以 及 最 大 流 问 题 
的 形式 化 定义 。26. 2 节 描 述 Ford 和 Fulkerson 提出 的 解决 最 大 流 问 题 的 经 典 方法 。26. 3 节 给 
出 该 方法 的 一 种 实际 应 用 : 在 无 向 二 分 图 (二 分 图 ) 中 找 出 最 大 匹配 。26. 4 节 阅 述 重 要 的 “ 推 
送 - 重 贴标签 ”方法 ， 该 方法 是 许多 网 络 流 问题 的 快速 算法 的 基石 。26. 5 节 则 讨论 推送 - 重 贴 标 
签 方法 的 一 种 具体 实现 一 一 “前 置 重 贴标签 ”算法 ， 该 算法 的 运行 时 间 为 OOV )。 虽 然 该 算法 并 
不 是 已 知 算法 中 最 快 的， 但 它 演示 了 渐 近 最 快 算法 中 用 到 的 某 些 技巧 ， 并 且 在 实际 应 用 中 也 是 
非常 有 效 的 。 


26.1 流 网 络 


在 本 节 中 ， 我 们 将 给 出 流 网 络 的 图 论 定义 ， 讨 论 其 性 质 ， 并 精确 地 定义 最 大 流 问 题 。 我 们 同 
时 还 引入 一 些 有 用 的 记号 。 

流 网 络 和 流 

流 网 络 G=(V, DESER, APRA, DEEA-—MERMAEE clu, v)>0, 
MA, MRBKG EWA—-AUM Cu, v), WAPAAERT MMW, W. (Bia RAK A BITE 
TPR iF AH HK MR Cu, DEE, WATER, EX clu, vy =0, HATA PARE A 
环 。 在 流 网 络 的 所 有 结 点 中 ， 我 们 特别 分 辨 出 两 个 特殊 结 点 : 源 结 点 s 和 汇 点 上 。 为 方便 起 见 ， 
假定 每 个 结 点 都 在 从 源 结 点 到 汇 点 的 某 条 路 径 上 。 也 就 是 说 ， 对 于 每 个 结 点 vEV， 流 网 络 都 包 
含 一 条 路 径 * 人 六 zt。 因 此 ， 流 网 络 图 是 连通 的 ， 并 且 由 于 除 源 结 点 外 的 每 个 结 点 都 至 少 有 一 
条 进入 的 边 ,我们 有 |1E| 宇 |V| 一 1。 图 26-1 描述 的 是 一 个 流 网 络 的 例子 。 

我 们 现在 可 以 给 出 流 的 形式 化 定义 。 设 G 二 (V，E) 为 一 个 流 网 络 ， 其 容量 函数 为 c。 设 * 为 
网 络 的 源 结 点 ，i 为 汇 点 。G 中 的 流 是 一 个 实 值 函数 1: VXV 一 R， 满 足下 面 的 两 条 性 质 : 
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(a) (b) 


图 26-1 (a) Lucky 冰球 公司 货运 问题 的 流 网 络 G=(V，E) 。 在 该 流 网 络 中 ， 温 哥 华 的 工厂 是 源 结 点 ss 
温 尼 伯 的 仓库 是 汇 点 :。 公 司 在 运送 冰球 时 要 通过 多 个 中 间 城 市 ,但 从 城市 u 到 城市 v 每 天 只 
能 运送 c(u， 必 个 货 箱 。 每 条 边 上 注 明 的 是 该 条 交通 道路 上 的 容量 。(b) 图 G 中 的 一 个 流 f， 这 
里 | f| =19。 每 条 边 (u，v) 上 所 注 明 的 是 f(u，)/c(u，v)。 注 意 ， 这 里 的 斜 杠 记号 仅仅 用 来 
分 开 流 和 容量 ， 并 不 代表 除法 操作 


容量 限制 : 对 于 所 有 的 结 点 u, veV, 要 求 0< flu, v<clu, V). 
流量 守恒 : 对 于 所 有 的 结 点 ucV—{s, t), BOR 


D fw) = Df u,v) 
vEV wEV 


Hu, VEER, MR 到 结 点 v 之 间 没 有 流 ， 因 此 flu, v)=0. 
我 们 称 非 负 数值 flu, V AMS u 到 结 点 wv 的 流 。 一 个 流 f 的 值 |f | EF : 


Ifl = fs.) — DF @,s) (26. 1) 
EV wEV 


也 就 是 说 ， 流 了 的 值 是 从 源 结 点 流出 的 总 流量 减 去 流入 源 结 点 的 总 流量 。( 这 里 ， 符 号 |。 | 表示 
流 的 值 ， 而 不 是 绝对 值 或 者 基数 值 .) 通 常 来 说 ， 一 个 流 网 络 不 会 有 任何 进入 源 结 点 的 边 ， 因 此 ， 
公式 (26. 1) 中 的 求 和 项 之 f(v，s) 将 是 0。 我 们 将 其 讲 括 在 该 公式 里 的 原因 是 本 章 后 面 将 要 讨论 


残存 网 络 ， 在 此 种 网 络 中 ， 流 入 源 结 点 的 流量 十 分 重要 。 在 最 大 流 问题 中 ， 给 定 一 个 流 网 络 G、 
一 个 源 结 点 *、 一 个 汇 点 t+， 我 们 希望 找到 值 最 大 的 一 个 流 。 

在 查看 任何 网 络 流 问 题 的 例子 前 ， 我 们 简略 地 对 流 的 定义 和 流 的 两 种 性 质 进行 探讨 。 容 量 
限制 性 质 说 明 ， 从 一 个 结 点 到 另 一 个 结 点 之 间 的 流 必须 为 非 负 值 且 不 能 超过 给 定 的 容量 限额 。 
流量 守恒 性 质 说 明 ， 流 入 一 个 结 点 ( 指 非 源 结 点 和 非 汇 点 ) 的 总 流量 必须 等 于 流出 该 结 点 的 总 流 
量 ， 非 形式 化 地 称 为 “ 流 人 等 于 流出 ”。 

流 的 一 个 例子 

用 流 网 络 把 图 26-1(a) 所 示 的 货运 问题 模型 化 。Lucky 冰球 公司 在 温哥华 有 一 家 制造 冰球 的 
工厂 ( 源 结 点 >)， 在 温 尼 伯 有 一 个 存储 产品 的 仓库 ( 汇 点 t) Lucky 冰球 公司 从 另 一 家 公司 租用 
货车 来 将 冰球 从 工厂 运送 到 仓库 。 因 为 货车 按 指定 路 线 ( 边 ) 在 城市 ( 结 点 ) 间 行驶 且 其 容量 有 
BR, Lucky 冰球 公司 在 图 26-1(a) 所 示 的 每 对 城市 x 和 mm 之 间 每 天 至 多 运送 clu, V 
Lucky 冰球 公司 无 权 控 制 运输 路 线 和 货车 的 运输 能 力 ， 因 此 无 法 改变 图 26-1(a) 所 示 的 流 网 络 。 
他 们 所 能 做 的 事情 是 ， 判 断 每 天 可 以 运送 的 最 大 货 箱 数 p， 并 按 这 一 数量 进行 生产 ， 因 为 生产 
出 来 的 产品 多 于 其 运输 能 力 没有 什么 意义 。Lucky 冰球 公司 并 不 关心 一 个 给 定 的 冰球 需要 多 长 
时 间 才 能 从 工厂 运送 到 仓库 ; 他 们 关心 的 只 是 每 天 可 以 有 pp 箱 货物 离开 工厂 ， 每 天 可 以 有 pH 
货物 到 达 仓 库 。 

由 于 从 一 个 城市 运送 到 另 一 个 城市 的 货 箱 数量 每 天 都 有 容量 限制 ， 因 此 可 以 在 这 个 网 络 中 


416 + 第 六 部 分 算 法 


用 流 来 模拟 这 种 运输 “ 流 ”。 此 外 ， 我 们 的 模型 必须 遵守 流量 守恒 性 质 ， 因 为 在 一 种 稳定 的 状态 
下 ， 冰 球 进入 一 个 中 间 城 市 的 速率 必须 等 于 冰球 离开 该 城市 的 速率 。 否 则 ， 货 箱 将 在 中 间 城 市 堆 
积 起 来 。 

使 用 反 平 行 边 来 模拟 问题 

假定 从 埃 德 蒙 顿 到 卡尔 加 里 ， 货 运 公司 提供 给 Lucky 冰球 公司 10 个 货 箱 。 很 自然 地 ， 需 
要 将 该 容量 加 入 到 我 们 的 例子 中 ， 从 而 形成 一 个 如 图 26-2(a) 所 示 的 网 络 。 但 是 这 个 网 络 却 有 
一 个 问题 : CHR RARER MRC, w) EE, Wim, n) EE., 我们 称 边 (vw， 
多 ) 和 边 (v。，w) 为 反 平行 (antiparallel)。 因 此 ， 如 果 要 使 用 反 平行 边 来 模拟 一 个 流 问题 ， 必 须 
将 这 种 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平 行 边 的 网 络 。 图 26-2(b) 描 述 的 就 是 这 样 一 个 等 价 
网 络 。 选 择 两 条 反 平 行 边 中 的 一 条 ， 在 这 个 具体 例子 中 是 边 (w，%)， 通 过 加 入 一 个 新 结 点 v 
来 将 其 分 解 为 两 段 ， 并 以 边 (w ，v ) 和 (vw ，w) 来 替换 边 (w，w%)。 同 时 将 两 条 新 设立 的 边 的 容 
量 设置 为 与 原来 的 边 的 容量 相同 。 这 样 得 出 的 网 络 将 满足 我 们 的 限制 条 件 : 如 果 一 条 边 属于 该 
网 络 ， 则 其 反 向 边 不 属于 该 网 络 。 练 习 26. 1-1 将 要 求 读 者 证 明 这 样 转换 后 的 网 络 与 原来 的 网 
络 等 价 。 





图 26-2 将 一 个 包含 反 平 行 边 的 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平行 边 的 网 络 。(a) 一 个 包含 反 
VAT, vA, vw ) 的 流 网 络 。(b) 一 个 没有 反 平 行 边 的 等 价 网 络 。 我 们 加 入 一 个 
新 结 点 o 来 将 其 分 解 为 两 段 ， 以 边 (w ，vw ) 和 (wv"'，vw) 来 替换 边 (vi，w)， 并 将 两 条 新 设 
立 的 边 的 容量 设置 为 与 原来 的 边 的 容量 相同 


从 上 面 的 讨论 可 以 看 到 ， 实 际 生活 中 的 流 问 题 可 以 自然 地 表示 为 一 个 带 反 平行 边 的 网 络 。 
但 如 果 不 允 许 反 平行 边 则 将 更 为 方便 。 幸 运 的 是 ， 我们 有 一 个 非常 直接 的 办 法 将 一 个 带 有 反 平 
行 边 的 网 络 转换 为 不 带 反 平行 边 的 网 络 。 


具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 
一 个 最 大 流 问题 可 能 有 几 个 源 结 点 和 几 个 汇 点 ， 而 不 仅仅 只 有 一 个 源 结 点 和 汇 点 。 例 如 ， 
Lucky 冰球 公司 可 能 有 m 家 工厂 {5 ，5s，…，sm} 和 nn 个 仓库 {4 tos os te}, ROP 26-3(a) 所 


示 。 幸 运 的 是 ， 多 个 源 结 点 和 多 个 汇 点 的 最 大 流 问 题 并 不 比 普通 的 最 大 流 问 题 更 难 。 

在 具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 中 ， 确 定 最 大 流 的 问题 可 以 归 约 为 一 个 普通 的 最 大 流 
问题 。 图 26-3(b) 描 述 的 是 如 何 将 图 26-3(a) 所 示 的 网 络 转换 为 一 个 只 有 一 个 源 结 点 和 一 个 汇 点 
的 普通 流 网 络 。 转 换 方法 是 加 入 一 个 超级 源 结 点 *， 并 对 于 i 二 1，2，…，m， 加 入 有 向 边 (s， 
5;) 和 容量 c(s，s) 一 ce 。 我 们 同时 创建 一 个 新 的 超级 汇 点 t 并 且 对 于 二 1，2，…，?z， 加 入 有 
w(t, Oo, HA c(t;，1) = 二 co。 从 直观 上 看 ， 图 26-3(a) 所 示 网 络 中 的 任意 流 均 对 应 于 
图 26-3(b) 所 示 网 络 中 的 一 个 流 ， 反 之 亦 然 。 单 源 结 点 能够 给 原来 的 多 个 源 结 点 % 提供 所 需 
要 的 流量 ,而 单 汇 点 t+ 则 可 以 消费 原来 所 有 汇 点 i 所 消费 的 流量 。 练 习 26. 1-2 将 要 求 读 者 来 形 
式 化 证 明 这 两 个 问题 是 等 价 的 。 
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图 26-3 


练习 


26. 1-1 


26. 1-2 


26. 1-3 


26. 1-5 
26. 1-6 


(a) (b) 


将 一 个 多 源 结 点 多 汇 点 的 最 大 流 问 题 转 换 为 单 源 结 点 单 汇 点 的 最 大 流 问 题 。(a) 一 个 有 5 个 源 
结 点 S={s1, 5s2， 53， 54， 55} 和 3 个 汇 点 T={tis tes ts ) 的 流 网 络 。 (b) 一 个 等 价 的 单 源 结 点 单 
汇 点 的 流 网 络 。 在 原来 的 图 (a) 中 加 入 了 一 个 超级 源 结 点 ;s， 并 从 结 点 * 到 每 个 原来 的 源 结 点 之 
间 增 加 一 条 容量 为 无 限 的 有 向 边 。 同 时 加 入 一 个 超级 汇 点 :， 并 从 原来 的 每 个 汇 点 到 上 之 间 增 
加 了 一 条 容量 为 无 限 的 有 向 边 


证 明 : 在 一 个 流 网 络 中 ， 将 一 条 边 分 解 为 两 条 边 所 得 到 的 是 一 个 等 价 的 网 络 。 更 形式 化 
地 说 ， 假 定 流 网 络 G 包 含 边 (x，z， 我 们 以 如 下 方式 创建 一 个 新 的 流 网 络 G': 创建 一 
个 新 结 点 zx， 用 新 的 边 (xw，z) 和 (z，z) 来 替换 原来 的 边 (x，z ， 并 设置 c(x，z) = 
c(x, v)=clu, v), WH: G' 中 的 一 个 最 大 流 与 G 中 的 一 个 最 大 流 具 有 相同 的 值 。 
将 流 的 性 质 和 定义 推广 到 多 个 源 结 点 和 多 个 汇 点 的 流 问 题 上 。 证 明 : 在 多 源 结 点 多 汇 点 
流 网 络 中 ， 任 意 流 均 对 应 于 通过 增加 一 个 超级 源 结 点 和 超级 汇 点 所 形成 的 具有 相同 值 的 
一 个 单 源 结 点 单 汇 点 流 中 ， 反 之 亦 然 。 
假定 流 网 络 G 二 (V，E) 违 反 了 对 于 所 有 结 点 vEV， 网 络 必须 包括 一 条 路 径 s ~ut 
ABI. Wu 为 这 样 一 个 结 点 : MERI sumt., WH: G 中 必然 存在 一 个 最 大 
流 上 ， 使 得 对 于 所 有 结 点 vEV，(x， 切 一 Fo，z) 一 0。 
设 f 为 网 络 中 的 一 个 流 ,， 设 a 为 一 个 实数 ， 则 af 称 为 标量 流 积 ， 该 标量 流 积 是 一 个 从 
VXV 到 R 的 函数 ， 其 定义 如 下 : 

(af) (u,v) =a» flu,v) 
证 明 : 网 络 中 的 流 形 成 一 个 凸 集 。 也 就 是 说 ,证 明 : MRAM A 为 两 个 流 ， 则 
a 记 十 (1 一 a) f: 也 是 一 个 流 ， 这 里 0<eX<1, 
将 最 大 流 问 题 表 述 为 一 个 线性 规划 问题 。 
Adam 教授 有 两 个 儿子 ， 可 不 幸 的 是 ， 他 们 互相 讨厌 对 方 。 随 着 时 间 的 推移 ， 问 题 变 得 
如 此 严重 ， 他 们 之 间 不 仅 不 愿意 一 起 走 到 学 校 ， 而 且 每 个 人 都 拒绝 走 另 一 个 人 当天 所 走 
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过 的 街区 。 两 个 孩子 对 于 自己 所 走 的 路 径 与 对 方 所 走 的 路 径 在 街角 交叉 并 不 在 意 。 幸 运 
的 是 ， 教 授 的 房子 和 学 校 都 位 于 街角 上 。 但 除 此 之 外 ， 教 授 不 能 肯定 是 否 可 以 在 满足 上 
述 条 件 的 情况 下 把 两 个 小 孩 送 到 同一 所 学 校 。 教 授 有 一 份 小 镇 的 地 图 ， 试 说 明 如 何 将 这 
个 问题 转换 为 一 个 最 大 流 问 题 ， 以 便 决 定 是 否 可 以 将 孩子 送 到 同一 所 学 校 。 

26.1-7 假定 除 边 的 容量 外 ， 流 网 络 还 有 结 点 容量 。 即 对 于 每 个 结 点 v， 有 一 个 极限 值 (w)， 这 
是 可 以 流 经 结 点 "的 最 大 流量 。 请 说 明 如 何 将 一 个 带 有 结 点 容量 的 流 网 络 G 二 (V，E) 
转换 为 一 个 等 价 的 但 没有 结 点 容量 的 流 网 络 G =V", E), 使 得 G' 中 的 最 大 流 与 G 中 
的 最 大 流 的 取 值 一 样 。 图 G' 里 有 多 少 个 结 点 和 多 少 条 边 ? 


26.2 Ford-Fulkerson 方法 


本 节 讨 论 用 来 解决 最 大 流 问 题 的 Ford-Fulkerson 方法 。 之 所 以 称 其 为 “方法 ”而 不 是 “算法 ”， 
是 因为 它 包含 了 几 种 运行 时 间 各 不 相同 的 具体 实现 。Ford-Fulkerson 方法 依赖 于 三 种 重要 思想 ， 
它们 与 许多 的 流 算法 和 问题 有 关 ， 如 残存 网 络 、 增 广 路 径 和 切割 。 这 些 思想 是 最 大 流 最 小 切割 定 
理 ( 定 理 26.6) 的 精髓 ， 该 定理 以 流 网 络 的 切割 来 表述 最 大 流 的 值 。 在 本 节 的 末尾 ， 我 们 将 给 出 
Ford-Fulkerson 方法 的 一 种 具体 实现 ， 并 分 析 其 运行 时 间 。 

Ford-Fulkerson 方 法 循环 增加 流 的 值 。 在 开始 的 时 候 ， 对 于 所 有 的 结 点 uw VEV, 
flu，v) 二 0, 给 出 的 初始 流 值 为 0。 在 每 一 次 迭代 中 ， 我 们 将 图 G 的 流 值 进行 增加 ， 方 法 就 是 在 
一 个 关联 的 “残存 网 络 ”G, 中 寻找 一 条 “ 增 广 路 径 ”。 一 旦 知道 图 Cr 中 一 条 增 广 路 径 的 边 ， 就 可 以 
很 容易 辨别 出 G 中 的 一 些 具体 的 边 ， 我 们 可 以 对 这 些 边 上 的 流量 进行 修改 ， 从 而 增加 流 的 值 。 
虽然 Ford-Fulkerson 方法 的 每 次 迭代 都 增加 流 的 值 ， 但 是 对 于 图 G 的 一 条 特定 边 来 说 ， 其 流量 可 
能 增加 ， 也 可 能 减少 ;对 某 些 边 的 流 进行 缩减 可 能 是 必要 的 ， 以 便 让 算法 可 以 将 更 多 的 流 从 源 结 
点 发 送 到 汇 点 。 重 复 对 流 进行 这 一 过 程 ， 直 到 残存 网 络 中 不 再 存在 增 广 路 径 为 止 。 最 大 流 最 小 切 
割 定理 将 说 明 在 算法 终结 时 ， 该 算法 将 获得 一 个 最 大 流 。 


FORD-FULKERSON-METHOD(G, s,?) 

1 initialize flow f to 0 

2 while there exists an augmenting path p in the residual network Cr 
3 augment flow f along p 


4 return f 


为 了 实现 和 分 析 Ford-Fulkerson 方法 ， 需 要 引入 几 个 新 的 概念 。 

残存 网 络 

从 直观 上 看 ， 给 定 流 网 络 G 和 流量 Sf, RAFI G 由 那些 仍 有 空间 对 流量 进行 调整 的 边 构 
成 。 流 网 络 的 一 条 边 可 以 允许 的 额外 流量 等 于 该 边 的 容量 减 去 该 边 上 的 流量 。 如 果 该 差 值 为 正 ， 
则 将 该 条 边 置 于 图 Cr 中 ， 并 将 其 残存 容量 设置 为 cj(u，) 二 cC(u，wv) 一 fl(u，v)。 对 于 图 G 中 的 
边 来 说 ， 只 有 能 够 允许 额外 流量 的 边 才能 加 入 到 图 G; 中 。 如 果 边 (u，) 的 流量 等 于 其 容量 ， 则 
其 c/(u，wv) 二 0， 该 条 边 将 不 属于 图 Gy。 

残存 网 络 Cr 还 可 能 包含 图 G 中 不 存在 的 边 。 算 法 对 流量 进行 操作 的 目标 是 增加 总 流量 ， 为 此 ， 
算法 可 能 对 某 些 特定 边 上 的 流量 进行 缩减 。 为 了 表示 对 一 个 正 流量 Cu, VRR RITEC, u) 
加 入 到 图 Cr 中 ， 并 将 其 残存 容量 设置 为 c/(v， 二 fl(u，v)。 也 就 是 说 ， 一 条 边 所 能 允许 的 反 向 流量 
最 多 将 其 正 向 流量 抵消 。 残 存 网 络 中 的 这 些 反 向 边 允 许 算法 将 已 经 发 送出 来 的 流量 发 送 回去 。 而 将 流 
量 从 同一 条 边 发 送 回去 等 同 于 缩减 该 条 边 的 流量 ， 这 种 操作 在 许多 算法 中 都 是 必需 的 。 

更 形式 化 地 ， 假 定 有 一 个 流 网 络 G=(V，E)， 其 源 结 点 为 s， 汇 点 为 i。 设 f 为 图 G 中 的 一 
个 流 ， 考 虑 结 点 对 u, vEV, 定义 残存 容量 cr(u, vo) 如 下 : 
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flv,u) 若 (v,u) EE (26. 2) 
0 其 他 
因为 假定 边 (w， 光 EE 意味 着 (v，w) EE， 对 于 每 一 对 边 来 说 ， 公 式 (26. 2) 中 只 有 一 种 情况 成 立 。 
作为 公式 (26. 2) 的 一 个 例子 ， 如 果 clu, v=16, IFA fu, v=11, WH fu, v) T A 
加 的 量 最 大 为 c/(u， 才 二 5， 再 多 就 将 超过 边 (u，wv) 的 容量 限制 。 同 时 ， 人 允许 算法 从 结 点 v 向 结 
点 最 多 返回 11 个 单位 的 流量 ， 因 此 ，cr(w，z) 王 11。 
给 定 一 个 流 网 络 G=(V， 思 和 一 个 流 f/， 则 由 了 所 诱导 的 图 G 的 残存 网 络 为 G/ 二 (V，E,)， 其 中 
E; = {(u,v) E VXV:c(u,v) > 0} (26. 3) 
也 就 是 说 ， 正 如 我 们 在 前 面 所 承诺 的 ， 残 存 网 络 的 每 条 边 或 残存 边 ， 必 须 允 许 大 于 0 的 流量 通 
过 。 图 26-4(a) 是 图 26-1(b) 的 流 网 络 G 和 流量 了 的 重新 绘制 ， 图 26-4(b) 描 述 的 是 对 应 的 残存 网 
络 G,, E; 中 的 边 要 么 是 EE 中 原 有 的 边 ， 要 么 是 其 反 向 边 ， 因 此 有 
|E,| <2|E| 


clusv)— flus) lus) CE 
cr (xu) = 





图 26-4 (a) Bl 26-1(b) 中 的 流 网 络 G 和 流 上 。(b) 残 存 网 络 Cr ， 阴 影 覆 盖 的 边 为 其 增 广 路 径 训 上 加 了 阴 
影 ， 其 残存 容量 为 cr (p) 二 cy(w， 沁 ) 二 4。 残 存 容量 为 0 的 边 ( 如 (ww， 妃 )) 未 在 图 中 显示 ， 这 
是 本 节 所 遵守 的 一 个 约定 。(c)G 中 使 用 残存 容量 4 沿路 径 p 增加 而 导出 的 流 。 对 于 没有 运送 
流量 的 边 ， 如 (mw ，z) ， 图 中 只 标 出 了 其 容量 ， 这 是 本 节 所 遵守 的 另 一 个 约定 。(d) 由 图 (c) 的 
流 所 诱导 出 的 残存 网 络 


注意 ， 残 存 网 络 G, 类 似 于 一 个 容量 为 cr 的 流 网 络 ， 但 该 网 络 并 不 满足 我 们 对 流 网 络 的 定义 ， 因 
为 它 可 能 包含 边 (w， 了 和 它 的 反 向 边 (，x 。 除 了 这 个 区 别 外 ， 和 残存 网 络 具 有 与 流 网 络 同样 的 性 质 ， 
我 们 可 以 在 残存 网 络 中 定义 一 个 流 ， 它 满足 流 的 定义 ， 但 是 针对 的 是 残存 网 络 Cr 中 的 容量 cy。 
残存 网 络 中 的 一 个 流 给 我 们 指出 的 是 一 条 路 线 图 : 如 何在 原来 的 流 网 络 中 增加 流 。 如 果 f 
是 G 的 一 个 流 ，f' 是 对 应 的 残存 网 络 G 中 的 一 个 流 ， 定 义 LA SAME f' 对 流 f 的 递增 
(augmentation) ， 它 是 一 个 从 VXV BIR 的 函数 ， 其 定义 如 下 : 
i f(usv) + f' (u,v) — f'(v,u)  #(u,v) EE 
CFA Fue) = {2 其 他 
该 定义 背后 的 直观 解释 遵循 残存 网 络 的 定义 。 因 为 在 残存 网 络 中 将 流量 发 送 到 反 向 边 上 等 同 于 
在 原来 的 网 络 中 缩减 流量 ， 所 以 将 边 (x， 了 的 流量 增加 S Cu, v), 但 减少 F(w，z) 。 在 残存 网 
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络 中 将 流量 推送 回去 也 称 为 抵消 操作 (cancellation) 。 例 如 ， 如 果 将 5 货 箱 的 冰球 从 城市 u 发 送 到 
城市 w， 同 时 将 2 货 箱 冰球 从 城市 发送 到 城市 xz， 那么 可 以 等 价 ( 以 最 后 结果 来 看 ) 地 将 3 个 货 
箱 从 城市 u 发 送 到 城市 ww， 而 不 从 城市 "发 送 任何 货 箱 到 城市 x。 这 类 抵消 操作 对 于 任何 最 大 流 
算法 来 说 都 是 非常 关键 的 。 

引 理 26.1 设 G=(V，E) 为 一 个 流 网 络 ， 源 结 点 为 s， 汇 点 为 1， 设 /为 G 中 的 一 个 流 。 设 
Gj 为 由 流 卫 所 诱导 的 G 的 残存 网 络 ， 设 了 ' 为 Gy 中 的 一 个 流 。 那 么 式 (26.4) 所 定义 的 函数 SAS 
是 G 的 一 个 流 ， 其 值 为 | ff'|==|f| 十 |f"|。 

证 明 首先 证 明 ff' 满 足 对 EE 中 每 条 边 的 容量 限制 性 质 ， 以 及 对 每 个 结 点 vEV 一 {s， 由 的 
流量 守恒 限制 。 

SPA, HERE, MRM, DEE, Wc wW=fu, v). MA f'o W<e(v, w= 
flu, v), Ak, 

CfA fF) Gavd= fluv) + f'(uyv) — f'Co,u) (根据 式 (26.4)) 
> fav +f' lusu) — fluso) (AA f'Cuw < fluv)) 


= f'(u,v) 
>0 
此 外 ， 
SA fuo) = fuso) + f'uv) — f'uu) (根据 式 (26.4)) 

< flusu) + f' (u,v) (因为 流量 为 非 负 值 ) 
< flusu) +crlu,v) (容量 限制 
= f(u,v) teu,v) 一 flu,v) (根据 cr 的 定义 ) 
= cl(u,v) 


对 于 流量 守恒 性 质 ， 因 为 /和 f' 均 遵守 流量 守恒 性 质 ， 对 于 所 有 的 结 点 EV (s, t), RIA, 
SFA Gawd = >) FuD + f' (u,v) — f' (usw) 


= X fu, + OF av) — Df Cow 
veEV veEV veV 
= Ņ fow + YF aw — YF Cav) 
wEV 


veV veV 


= Df DF vu) — f'(u,v)) 
veV 

= SFA f (vu) 
veEV 


因为 流量 守恒 ， 所 以 上 面 的 第 2 行 推 导出 了 第 3 行 。 
最 后 ， 计 算 站 万 的 值 。 回 忆 前 面 讨论 过 的 内 容 ， 我 们 不 允许 图 G 中 包含 反 平 行 边 (但 不 禁止 G 
中 有 这 种 边 )， 因 此 对 于 每 个 结 点 v€EV， 可 以 有 边 (s， 忆 或 者 (v，s),， 但 不 能 二 者 同时 存在 。 定 义 
Vi 二 {fv:(s，)EBR} 为 有 边 从 源 结 点 s 到 达 的 结 点 集合 ，V, 二 {v: (v，s) EB} 为 有 边 通 往 s 的 结 点 集 
R. RIA V UVSEV， 并 且 因 为 不 允许 有 反 平 行 边 ， 我 们 有 W 站 w 三 蕊 。 现 在 来 计算 
IfAf'l= DFE FI — DISA Fs) 


= HFFA — DFA FIGs) (26. 5) 
vEV, vEV, 


这 里 的 第 2 行 成 立 是 因为 (ff")(w，z) 的 值 在 (w，xz) 儿 EE 时 为 0。 现 在 将 SA 广 的 定义 应 用 到 
式 (26. 5) 上 ， 然 后 对 和 值 项 进行 重新 排序 与 重组 可 以 获得 : 


| | =>) (fls) + f'(s,v) — f'(u,5)) — D fs) + f' Css) — f'(s,v)) 
wV, vev, 
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=P fs D+ F's.) — f os) 
wEV, vEV, vEV, 
— fas — D f 9+ YY f'Gw 
veV, vEV, vEV, 
=) fs) — D fws) 
vEV, vEV, 
一 fs = DF's) 一 fC) 一 Dy F's) 


= 3) few) — Deo + es F's) 一 wen f' (ors) (26. 6) 


在 式 (26. 6) 中 ， 可 以 将 4 个 求 和 项 的 范围 都 扩展 到 整个 结 点 集合 v E 因为 每 个 额外 的 项 的 值 
都 为 0( 练 习 26. 2-1 将 要 求 读 者 证 明 这 一 点 )。 因 此 有 

IFAI = DS (sw) — DSCs) + iF (s+) 一 DS os) = IA ETN (26.7) 

a 

增 广 路 径 

给 定 流 网 络 G= 二 (V，E) 和 流 f， 增 广 路 径 这 是 残存 网 络 Cr 中 一 条 从 源 结 点 s 到 汇 点 上 的 简 
单 路 径 。 根 据 残 存 网 络 的 定义 ， 对 于 一 条 增 广 路 径 上 的 边 (u，v)， 我 们 可 以 增加 其 流量 的 幅度 最 
大 为 c/(u，v)， 而 不 会 违反 原始 流 网 络 G 中 对 边 (x，z 或 (w，z) 的 容量 限制 。 

图 26-4(b) 中 阴影 覆盖 的 路 径 是 一 条 增 广 路 径 。 如 果 将 图 中 的 残存 网 络 Cr 看 做 一 个 流 网 络 ， 
那么 可 以 对 这 条 路 径 上 每 条 边 的 流量 增加 4 个 单位 ， 而 不 会 违反 容量 限制 ， 因 为 该 条 路 径 上 最 小 
的 残存 容量 是 cj(v,。，w) 二 4。 我 们 称 在 一 条 增 广 路 径 p 上 能 够 为 每 条 边 增加 的 流量 的 最 大 值 为 
路 径 p 的 残存 容量 ， 该 容量 由 下 面 的 表达 式 给 出 : 

cj(p) = min{cjy(usv):(usv) 属于 路 径 p} 

下 面 的 引 理 将 上 面 的 论断 阐述 得 更 加 精确 。 该 引 理 的 证 明 留 给 读者 作为 练习 (练习 26. 2-7). 

引 理 26.2 设 G=(V，E) 为 一 个 流 网 络 ， 设 为 图 G 中 的 一 个 流 ， 设 妃 为 残存 网 络 Gr 中 的 
一 条 增 广 路 径 。 定 义 一 个 函数 f,: VXV>R 如 下 : 

cp) lus) Æ pE 
Fud = | ii (26. 8) 
则 户 是 残存 网 络 Gr 中 的 一 个 流 ， 其 值 为 | 户 | =>. m 

下 面 的 推论 证 明 ， 如 果 将 流 了 增加 户 的 量 ， 则 将 获得 G 的 另 一 个 流 ， 该 流 的 值 更 加 接近 最 
大 值 。 图 26-4(c) 所 描述 的 是 对 图 26-4(a) 的 流 了 增加 图 26-4(b) 所 示 的 fs 的 量 所 获得 的 结果 ， 而 
图 26-4(d) 描 述 的 则 是 残存 网 络 Gj。 

推论 26.3 设 G=(V，E) 为 一 个 流 网 络 ,， 设 为 G 中 的 一 个 流 ， 设 记 为 残存 网 络 Gj 中 的 一 
条 增 广 路 径 。 设 f。 由 式 (26. 8) 所 定义 ， 假定 将 fmf, HE. UHR SAS ZAG 中 的 一 个 
流 ， 其 值 为 | fh fl=|fl 十 1 7,1 二 17|。 

证 明 根据 引 理 26. 1 和 引 理 26. 2 可 立即 得 到 上 述 推论 。 a 

流 网 络 的 切割 

Ford-Fulkerson 方法 的 核心 就 是 沿 着 增 广 路 径 重复 增加 路 径 上 的 流量 ， 直 到 找 一 个 最 大 流 为 
止 。 我 们 怎么 知道 在 算法 终止 时 ， 确 实 找 到 了 一 个 最 大 流 呢 ? 稍 后 将 要 证 明 的 最 大 流 最 小 切割 定 
理 告诉 我 们 ， 一 个 流 是 最 大 流 当 且 仅 当 其 残存 网 络 不 包含 任何 增 广 路 径 。 为 了 证 明 这 个 定理 ， 首 
先 来 探讨 一 下 流 网 络 中 的 切割 概念 。 

HA G=(V, E) PH—MIA(S, DRAARA VRAAS MT=V—-S 两 个 集合 ， 

得 ;ES，tET。( 该 定义 与 第 23 章 讨 论 最 小 生成 树 时 所 定义 的 “切割 ?> 有些 类 似 ， 只 不 过 这 里 切 
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割 的 是 有 向 图 ， 而 不 是 无 向 图 ， 并 且 要 求 ES，iET。) 若 了 是 一 个 流 ， 则 定义 横 跨 切割 (S，T7) 
的 净 流 量 S, DTF: 


MST = DD fum — D2 fw (26. 9) 
“ES vET u€S vET 
切割 (S$，7T) 的 容量 是 : 
(S, T) = >) dieCusv) (26. 10) 


“ES veT 


一 个 网 络 的 最 小 切割 是 整个 网 络 中 容量 最 小 的 切割 。 

流 的 定义 和 切割 容量 的 定义 之 间 存 在 着 不 对 称 性 ， 但 这 种 不 对 称 性 是 有 意 而 为 ， 并 且 很 重 
要 。 对 于 容量 来 说 ， 我 们 只 计算 从 集合 S 发 出 进入 集合 工 的 边 的 容量 ， 而 忽略 反方 向 边 上 的 容 
量 。 对 于 流 ， 我 们 考虑 的 则 是 从 S 到 T 的 流量 减 去 从 工 到 S 的 反方 向 的 流量 。 这 种 区 别 的 原因 
在 本 节 稍 后 就 会 清楚 了 。 

图 26-5 描述 的 是 图 26-1(b) 的 流 网 络 的 一 个 切割 ({(:，wm， 也 }，{ 人 ，w， 寻 )。 横 跨 该 切割 的 
净 流 量 是 

wow) 十 Fo ww) 一 ww) 王 12 十 11 一 4 三 19 





a— fi P= 


图 26-5 图 26-1(b) 中 流 网 络 的 一 个 切割 (S， T); 其 中 S={s, Vis ws T=({u, Urs 
t}。S 中 的 结 点 是 黑色 ,中 结 点 是 白色 。 横 跨 (S，T) 的 净 流量 是 (SS, D= 
19， 容 量 是 c(S, T)=26 


该 切割 的 容量 是 
clu, su) +c(y%,u,) = 12+14 = 26 
下 面 的 引 理 将 证 明 对 于 给 定 流 f/， 横 跨 任何 切割 的 净 流 量 都 相同 ， 都 等 于 | /| ， 即 流 的 值 。 
引 理 26.4 设 f 为 流 网 络 G 的 一 个 流 ， 该 流 网 络 的 源 结 点 为 3S， 汇 点 为 t， 设 (S，T) 为 流 网 
络 G 的 任意 切割 ， 则 横 跨 切 割 (S，T) 的 净 流 量 为 AKS, D=. 
证 明 对 于 任意 结 点 w€EV 一 {s，t}， 重 写 流量 守恒 性 质 如 下 : 


DS flav) — Sf (o,u) = 0 (26. 11) 
wEV wEV 
根据 式 (26.1) 对 | f| 的 定义 ,并 将 式 (26. 11) 左 面 的 项 加 进来 ， 针 对 所 有 结 点 S 一 {s} 进 行 求 和 ， 
我 们 得 到 : 
If] = Dfe- Efo) D (Dfa Draw) 
vEéV wEV veS-{s} vEeV vEV 
将 右面 的 求 和 项 展开 并 重新 组 合 ， 可 以 获得 : 
[fl= DFGD— SDf@sot+ D Mraw- D Yraw 
wEV veEV vES-{s) vEV vES-{:) veV 


= s+ >) oa) 一 > (Fo 十 SD fov,w)) 
wEV ve S—{s} wEV 


vE S—{s) 
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7 dy Dif uo) — 23 Df ou) 


KAAV=SUT#ESNAT=Ø, 我 们 可 以 将 上 述 表达 式 中 针对 集合 V 的 求 和 分 解 为 针对 S AT 
的 求 和 ， 得 到 : 
|f|= 2 Dy f (ure) + Dy DiS (uv) 一 2 DS vru) — Dy DS wru) 


= Ð D fum D fou) 
vET uEsS vET wsES 


十 ( Zsu- Zso) 
因为 对 于 所 有 的 结 点 +，y€E S， 项 f(x，y) 在 每 个 求 和 项 中 刚好 出 现 一 次 ， 上 述 表 达 式 括号 里 面 
的 两 个 求 和 项 实际 上 是 一 样 的 。 因 此 ， 这 些 求 和 项 相互 抵消 ， 我 们 有 


|f| = Few 一 > Draw = 5,1) a 
wacS veT u€S vET 


引 理 26. 4 的 一 个 推论 说 明 如 何 使 用 切割 容量 来 限定 一 个 流 的 值 。 

推论 26.5 AAH G 中 任意 流 了 的 值 不 能 超过 G 的 任意 切割 的 容量 。 

证 明 BS, DAMA CG 的 任意 切割 ， 设 了 为 G 中 的 任意 流 。 根 据 引 理 26. 4 和 容量 限制 
性 质 ， 我 们 有 


| Fl= AS D= OD fw — 2) Fu) 
u€S veT “ES veT 


<q > aw = Dy yeu) = c(S,T) a 
u€S vET 


推论 26.5 给 出 的 一 个 直接 结论 是 : 一 个 流 网 络 中 最 大 流 的 值 不 能 超过 该 网 络 最 小 切割 的 容 
量 。 这 就 是 下 面 要 来 陈述 和 证 明 的 非常 重要 的 最 大 流 最 小 切割 定理 。 该 定理 表明 一 个 最 大 流 的 
值 事 实 上 等 于 一 个 最 小 切割 的 容量 。 

定理 26. 6( 最 大 流 最 小 切割 定理 ) 设 f 为 流 网 络 G 二 (V，EE) 中 的 一 个 流 ， 该 流 网 络 的 源 结 
点 为 5s， 汇 点 为 :， 则 下 面 的 条 件 是 等 价 的 : 

1.f 是 G 的 一 个 最 大 流 。 

2. 残存 网 络 Gj 不 包括 任何 增 广 路 径 。 

3. |f|= 二 c(S，T)， 其 中 (S，T) 是 流 网 络 G 的 某 个 切割 。 

证 明 (1)=>(2): 使 用 反 证 法 。 假 定 了 是 G 的 一 个 最 大 流 ， 但 残存 网 络 G 同时 包含 一 条 增 
广 路 径 p。 那 么 根据 推论 26.3， 对 f 增加 流量 f,( 这 里 的 户 由 式 (26. 8) 给 出 ) 所 形成 的 流 是 G 中 
一 个 值 严 格 大 于 |f| 的 流 ， 这 与 了 是 最 大 流 的 假设 矛盾 。 

(2) 过 (3): BE G; 不 包含 任何 增 广 路 径 ， 也 就 是 说 ， 在 残存 网 络 Gr 中 不 存在 任何 从 源 结 点 
s 到 汇 点 上 的 路 径 。 定 义 S={vEV: EG; 中 存在 一 条 从 s 到 v 的 路 径 ) T=V—S, B, sES, 
而 因为 Cr 中 不 存在 从 s 到 上 的 路 径 ， 所 以 ce S. Ak, BAS, DRAMA G 的 一 个 切割 。 现 
在 考虑 一 对 结 点 UEC SMVET. WRU, VEE, WHA fu, v=clu, v), AABWM Wu, v) 
KETE, HAAR v 置 于 集合 S SP. WRU, WEE, WHA Gu，z) 王 0， 因 为 否则 
cu, v= flv, WHAT, Wu, ORF E, MKAA v 置 于 集合 S 中 。 当 然 ， 如 果 
Wu, VMA, WMAERA EP, W flu, v=flv, w)=0. AKA 


KS D= >) ftv) — 2 Dif Cou) = Dy DyeCurv) — > D0 = 6058, 
uES vET vET u€ES 
根据 引 理 26.4，| f|==f(S,， D=cS, D. 


(3) 一 (1): 根据 推论 26.5, MFMAWMIS, T), |fl<c(S, T). Ab, 条件 |f| = 
(S, DEEE f 是 一 个 最 大 流 。 
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基本 的 Ford-Fulkerson 算法 

在 Ford-Fulkerson 方法 的 每 次 迭代 中 ， 寻 找 某 条 增 广 路 径 p， 然 后 使 用 p RXTE f 进行 修改 
(增加 )。 正 如 引 理 26. 2 和 推论 26. 3 所 示 ， 我 们 以 ft 户 来 替换 也 ， 从 而 获得 一 个 值 为 | f| + 
lf, | 的 更 大 的 流 。 在 下 面 的 算法 实现 中 ， 通 过 为 每 条 边 (u，v) EE9 更 新 流 属性 (xu，wv). f KTR 
流 网 络 G 二 (V，E) 中 的 最 大 流 。 如 果 边 (u，wvw) EE, WR Cu, v). f 王 0。 另外， 假设 流 网 络 的 
容量 clu, 都 已 经 给 出 ， 如 果 边 (u，v) EE, W celu, v) 二 0。 根 据 式 (26.2) 来 计算 残存 容量 
c/(u，v)。 代 码 中 的 表达 式 c/(p) 只 是 一 个 临时 变量 ， 用 来 存放 路 径 p 的 残存 容量 。 

FORD-FULKERSON(G, s,t) 

1 for each edge(u,v)EG.E 

2 (u,v). f=0 

3 while there exists a path p from s to £ in the residual network Gy 

4 c¢(p)=min{c;(u,v):(u,v)is inp} 

5 for each edge(u,v)in p 

6 if(u,v) EE 

7 (uyv). f=(u,v). fos (p) 

8 else(v,u). f=(v,u). f-cy(p) 


FORD-FULKERSON 算法 仅 是 对 早先 给 出 的 FORD-FULKERSON-METHOD 过 程 的 简单 扩 
展 。 图 26-6 所 描述 的 是 一 个 样本 运行 过 程 的 每 次 迭代 的 结果 。 算 法 第 1 一 2 行将 流 f 初始 化 为 0。 
算法 第 3 一 8 行 的 while 循环 重复 在 残存 网 络 Cr 中 寻找 一 条 增 广 路 径 p， 然 后 使 用 残存 容量 cp) 
来 对 路 径 p 上 的 流 f 进行 加 增 。 路 径 p 上 每 条 残存 边 要 么 是 原来 网 络 中 的 一 条 边 ， 要 么 是 原来 
网 络 中 的 边 的 反 向 边 。 算 法 第 6 一 8 行 针 对 每 种 情况 对 流 进 行 相应 的 更 新 : 如 果 残 存 边 是 原来 网 
络 中 的 一 条 边 ， 则 加 增 流量 ， 和 否则 缩减 流量 。 当 不 再 有 增 广 路 径 时 ， 流 f 就 是 最 大 流 。 

FORD-FULKERSON 算法 的 分 析 

FORD-FULKERSON 算法 的 运行 时 间 取决 于 算法 第 3 行 是 如 何 寻 找 增 广 路 径 的 。 如 果 选 择 
不 好 ， 算 法 可 能 不 会 终止 : 流 的 值 会 随 着 后 续 的 递增 而 增加 ， 但 它 却 不 一 定 收敛 于 最 大 的 流 
fi? 。 如 果 使 用 广度 优先 搜索 (请 参阅 22. 2 节 ) 来 寻找 增 广 路 径 ， 算 法 的 运行 时 间 将 是 多 项 式 数 
量 级 。 在 证 明 该 结果 前 ， 我 们 先 来 为 任意 选择 增 广 路 径 的 情况 获取 一 个 简单 的 上 限 ， 这 里 假定 所 
选择 的 任意 增 广 路 径 和 所 有 的 容量 都 是 整数 。 

在 实际 情况 中 ， 最 大 流 问 题 中 的 容量 常常 是 整数 。 如 果 容 量 为 有 理 数 ， 则 可 以 通过 乘 以 某 个 
系数 来 将 其 转换 为 整数 。 如 果 三 表示 转换 后 网 络 中 的 一 个 最 大 流 ， 则 在 FORD-FULKERSON 算 
法 的 一 个 直接 实现 中 ， 执 行 第 3 一 8 行 的 while 循环 的 次 数 最 多 为 | 广 | 次 ， 因 为 流量 值 在 每 次 迭 
代 中 最 少 增加 一 个 单位 。 

如 果 用 来 实现 流 网 络 G 二 (V，E) 的 数据 结构 是 合理 的 ， 并 且 寻 找 一 条 增 广 路 径 的 算法 时 间 
是 线性 的 ， 则 整个 while 循环 的 执行 将 非常 有 效 。 假 设 有 一 个 与 有 向 图 G’ =V, ENAX AR% 
据 结 构 ， 这 里 E' 二 {(u, v): (u, VEER, YEE Wi G 中 的 边 也 是 网 络 G' 中 的 边 ， 因 此 
在 这 一 数据 结构 中 ， 保 持 其 容量 和 流 就 非常 简单 了 。 给 定 网 络 G 的 一 个 流 F， 残 存 网 络 Gr 中 的 边 
由 网 络 G' 中 所 有 满足 条 件 cr(xz， 切 二 0 的 边 (x， 了 所 构成 ， 其 中 cy 遵守 式 (26. 2) 。 因 此 ， 如 果 使 
用 深度 优先 搜索 或 广度 优先 搜索 ， 在 一 个 残存 网 络 中 找到 一 条 路 径 的 时 间 应 是 OVE) =E). 
while 循环 的 每 一 遍 执行 所 需 的 时 间 因 此 为 OOE) ， 这 与 算法 第 1 一 2 行 的 初始 化 成 本 一 样 ， 从 而 整 
个 FORD-FULKERSON 算法 的 运行 时 间 为 OE, |). 


日 ”回顾 2.1 节 的 内 容 ， 我 们 使 用 同样 的 方式 (x，). f KERICU, VRE f， 就 如 我 们 表示 任何 其 他 对 象 的 属性 一 般 。 
© ”只 有 当 边 的 容量 为 无 理 数 时 ，Ford-Fulkerson 方法 才 有 可 能 不 能 终止 。 
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26-6 ”基本 的 FORD-FULKERSON 算法 的 执行 过 程 。(a) 一 (e)while 循环 的 每 遍 执行 过 程 。 每 个 图 的 
左边 部 分 描述 的 是 算法 第 3 行 的 残存 网 络 Gr ， 覆 盖 阴 影 的 路 径 是 增 广 路 径 p。 右 边 的 图 描述 的 
是 将 流 了 增加 户 的 量 后 所 形成 的 新 流 f。(a) 图 中 残存 网 络 就 是 输入 网 络 G。(f) 在 最 后 一 次 
while 循环 测试 时 的 残存 网 络 。 该 网 络 没 有 增 广 路 径 ， 因 此 (e) 图 所 显示 的 流 f 已 经 是 最 大 流 。 
在 本 例 中 ， 算 法 所 发 现 的 最 大 流 的 值 为 23 


726 
l 
728 
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当 容量 都 是 整数 值 且 最 优 的 流量 值 | f* | 较 小 时 ，FORD-FULKERSON 算法 的 运行 时 间 相当 
不 错 。 图 26-7(a) 描 述 的 是 当 | f* | 的 取 值 较 大 时 可 能 发 生 的 情况 。 该 网 络 的 一 个 最 大 流 取 值 为 
2 000 000: 1 000 000 单位 的 流量 流 经 路 径 s->u->t， 另 外 1 000 000 单位 的 流量 流 经 路 径 svt, 
如 果 FORD-FULKERSON 算法 找到 的 第 一 条 增 广 路 径 为 >u->v>t， 如 图 26-7(a) 所 示 ， 则 在 第 
一 次 迭代 后 ， 流 的 值 为 1。 这 样 产生 的 残存 网 络 如 图 26-7(b) 所 示 ， 然 后 流 的 值 将 为 2。 
图 26-7(c) 描 述 的 是 结果 残存 网 络 。 在 每 个 奇数 次 迭代 中 ， 选 择 增 广 路 径 suo, TERME 
数 次 迭代 中 ， 选 择 增 广 路 径 ;>v->u->t， 并 如 此 继续 下 去 。 这 样 将 一 共 执 行 2 000 000 次 递增 操 
作 ， 每 次 将 流量 增加 1 个 单位 。 





(a) (b) Ce) 


图 26-7 (a) 一 个 流 网 络 ，FORD-FULKERSON 算法 运行 的 时 间 为 BCE| 广 | )， 其 中 广 是 一 个 最 大 流 ， 
在 本 图 中 | f° | =2 000 000。 覆 盖 阴 影 的 路 径 是 增 广 路 径 ， 其 残存 容量 为 1。(b) 结 果 残 存 网 络 ， 
增 广 路 径 不 同 于 (a) 部 分 的 增 广 路 径 ， 但 容量 仍然 为 1。(c) 结 果 残 存 网 络 


Edmonds-Karp 算法 

我 们 可 以 通过 在 算法 第 3 行 寻 找 增 广 路 径 的 操作 中 使 用 广度 优先 搜索 来 改善 FORD- 
FULKERSON 算法 的 效率 。 也 就 是 说 ， 我 们 在 残存 网 络 中 选择 的 增 广 路 径 是 一 条 从 源 结 点 * 到 
汇 点 t 的 最 短路 径 ， 其 中 每 条 边 的 权重 为 单位 距离 。 我 们 称 如 此 实现 的 Ford-Fulkerson 方法 为 
Edmonds-Karp 算法 。 现 在 来 证 明 Edmonds-Karp 算法 的 运行 时 间 为 OCVE’) 。 

我 们 的 分 析 取 决 于 残存 网 络 Cr 中 结 点 之 间 的 距离 。 下 面 的 引 理 使 用 符号 8r (wx， 了 zz) 来 表示 残 
存 网 络 Gj 中 从 结 点 到 结 点 v 的 最 短路 径 距 离 ， 其 中 每 条 边 的 权重 为 单位 距离 。 

引 理 26.7 如 果 Edmonds-Karp 算法 运行 在 流 网 络 G 二 (V， 玉 ) 上 ， 该 网 络 的 源 结 点 为 s 汇 点 
A t, MATMAR S EV (s, t), RARA G 中 的 最 短路 径 距 离 6,(s，v) 随 着 每 次 流量 的 
递增 而 单调 递增 。 

证 明 ”我 们 的 证 明 思路 是 ， 对 于 某 个 结 点 v€EV 一 {s，t}， 存 在 一 个 流量 递增 操作 ， 导 致 从 源 
结 点 * 到 结 点 v 的 最 短路 径 距 离 减 少 ， 然 后 以 此 来 导出 一 个 矛盾 。 设 f 是 在 第 一 个 导致 某 条 最 短路 
径 距 离 减少 的 流量 递增 操作 之 前 的 流量 , 设 为 该 流量 递增 操作 之 后 的 流量 。 设 "为 所 有 在 递增 
操作 中 最 短路 径 距 离 被 减少 的 结 点 中 ，64(s，vw) 最 小 的 结 点 ， 因 此 ，6y Gs, v<d(s, v). BH p= 
suv RAE RE Gr 中 从 源 结 点 s 到 结 点 v 的 一 条 最 短路 径 ， 因 此 ，(u，w)EEn， IFA 

ôr (ssu) = p (ssu) — 1 (26. 12) 
因为 无 论 怎样 选择 结 点 w， 我 们 知道 从 源 结 点 s 到 结 点 的 距离 并 没有 减少 ， 即 
8p (sru) Z ô (ss) (26. 13) 
RIKE Cu, VEE, HAAR? MRA, VEE, WA 
Òs KOs) +1 (根据 引 理 24.10 HE AKER) 
<dy (spud +1 (根据 不 等 式 (26. 13)) 
= 6 (s,v) (根据 等 式 (26. 12)) 
而 上 述 结果 与 我 们 的 假设 5x(s，v) 二 6/(s， 相 矛盾 。 
如 何 才能 有 (u，w) CE, Hu, v) EEr? 递增 操作 必定 增加 从 结 点 v 到 结 点 的 流量 。 
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Edmonds-Karp 算法 总 是 沿 最 短路 径 来 增加 流 ， 因 此 ， 残 存 网 络 Cr 中 从 源 结 点 s 到 结 点 4 的 最 短 
路 径 上 的 最 后 一 条 边 是 (v，z) 。 因 此 ， 
rls u) = 6;(s,u) 一] 
<6 (sz) 一 1 (根据 不 等 式 (26. 13)) 
= p (ssu) 一 2 (根据 等 式 (26. 12)) 

这 与 我 们 的 假设 8r (*， 妇 一 8r(s， 了 七 相 矛 盾 。 因 此 可 以 得 出 结论 ， 我 们 关于 存在 这 样 一 个 结 点 v 
的 假设 是 不 正确 的 。 国 

下 面 的 定理 给 出 了 Edmonds-Karp 算法 的 迭代 次 数 的 上 界 。 

定理 26.8 如果 Edmonds-Karp 算法 运行 在 源 结 点 为 汇 点 为 上 的 流 网 络 G 一 (W， 正 ) 上 ， 则 
该 算法 所 执行 的 流量 递增 操作 的 总 次 数 为 OVE). 

证 明 ”在 残存 网 络 G; 中 ， 如 果 一 条 路 径 p 的 残存 容量 是 该 条 路 径 上 边 (u，v) 的 残存 容量 ， 
也 就 是 说 ， 如 果 cclu, v), WEH, VAA K p 上 的 关键 边 。 在 沿 一 条 增 广 路 径 
增加 流 后 ， 处 于 该 条 路 径 上 的 所 有 关键 边 都 将 从 残存 网 络 中 消失 。 而 且 ， 任 何 一 条 增 广 路 径 上 都 
至 少 存在 一 条 关键 边 。 我 们 将 证 明 ， 对 于 1E| 中 的 每 条 边 来 说 ， 其 成 为 关键 边 的 次 数 最 多 为 
IV1/2 次 。 

设 妈 和 w 为 集合 V 中 的 结 点 ， 这 两 个 结 点 由 玉 中 的 一 条 边 连 接 在 一 起 。 由 于 增 广 路 径 都 是 
最 短路 径 ， 当 边 (x， 了 第 一 次 成 为 关键 边 时 ， 我 们 有 

Or(ssv) = lsu) +1 
一 旦 对 流 进 行 增加 后 ， 边 (xz，z) 就 从 残存 网 络 中 消失 。 以 后 ， 也 不 能 重新 出 现在 另 一 条 增 广 路 径 
上 ， 直 到 从 w 到 w 的 网 络 流 减 小 后 为 止 ， 并 且 只 有 当 (x， 了 出 现在 增 广 路 径 上 时 ， 这 种 情况 才 会 
发 生 。 如 果 当 这 一 事件 发 生 时 fÆ GR, WA 
ôr (ssu) 一 61 (s,u) +1 
由 于 根据 引 理 26.7, ls, WSO Cs, v), AKA 
Oy (ssu) = dy: (ssu) +1 > 6,(5,0) +1 = 6; (5,u) +2 

因此 ， 从 边 (x， 了 成 为 关键 边 到 下 一 次 再 成 为 关键 边 ， 从 源 结 点 s 到 结 点 的 距离 至 少 增加 2 个 
单位 ， 而 从 源 结 点 s 到 结 点 的 最 初 距 离 至 少 为 0， 从 到 zx 的 最 短路 径 上 的 中 间 结 点 中 不 可 能 
包括 结 点 s、u 或 者 (因为 边 (u，v) 处 于 一 条 增 广 路 径 上 意味 着 u 隆 t) 。 因 此 ， 一 直到 结 点 成 为 
不 可 到 达 的 结 点 前 ， 其 距离 最 多 为 |V| 一 2。 因 此 ， 在 边 (x， 了 第 一 次 成 为 关键 边 时 ， 它 还 可 以 
至 多 再 成 为 关键 边 (1V| 一 2)/2= 二 1V|1/2 一 1 次 ， 即 边 (x， 了 成 为 关键 边 的 总 次 数 为 |V|/2。 由 于 
一 共有 OCE) 对 结 点 可 以 在 一 个 残存 网 络 中 有 边 连接 彼此 ， 因 此 在 Edmonds-Karp 算法 执行 的 全 
部 过 程 中 ， 关 键 边 的 总 数 为 OC(VE)。 每 条 增 广 路 径 至 少 有 一 条 关键 边 ， 因 此 定理 成 立 。 a 

由 于 在 用 广度 优先 搜索 寻找 增 广 路 径 时 ，FORD-FULKERSON 中 的 每 次 迭代 可 以 在 OCE) BY 
间 内 实现 ， 所 以 Edmonds-Karp 算法 的 总 运行 时 间 为 OC(VE?)。 我 们 在 后 面 将 看 到 ， 推 送 - 重 贴 标 
签 算法 能 够 取得 更 好 的 界 。26. 4 节 给 出 了 一 个 时 间 复 杂 度 为 O(V*E) 的 最 大 流 算法 ， 该 算法 是 
26. 5 节 所 讨论 的 O(V? ) 算 法 的 基础 。 


练习 

26.2-1 证 明 式 (26.6) 中 的 和 值 等 于 式 (26.7) 中 的 和 值 。 

26.2-2 7EA 26-1(b +, EHRs, w, u}, lu» vs cOMRBSD? 该 切割 的 容量 又 是 
多 少 ? 

26.2-3 在 图 26-1(a) 所 示 的 流 网 络 上 演示 Edmonds-Karp 算法 的 执行 过 程 。 

26.2-4 在 图 26-6 的 例子 中 ， 对 应 图 中 所 示 最 大 流 的 最 小 切割 是 什么 ? 在 例子 中 出 现 的 增 广 路 
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径 里 ， 哪 一 条 路 径 抵 消 了 先前 被 传输 的 流 ? 

26.2-5 在 26.1 节 中 ,我 们 通过 增加 具有 无 限 容量 的 边 ， 把 一 个 多 源 结 点 多 汇 点 的 流 网 络 转换 
为 单 源 结 点 单 汇 点 的 流 网 络 。 证 明 : 如 果 原 来 的 多 源 结 点 多 汇 点 网 络 的 容量 是 有 限 的 ， 
则 转换 后 的 结果 网 络 中 任何 一 个 流 的 值 都 是 有 限 值 。 

26.2-6 假定 在 一 个 多 源 结 点 多 汇 点 的 流 网 络 中 ， 每 个 源 结 点 s 生产 出 恰好 p 个 单位 的 流 ， 因 


此 ， fs v) 二 p;。 假 定 每 个 汇 点 4 消费 恰好 qj; 个 单位 的 流 ， 因 此 dy f, 方 ) 一 
qj» 其 中 2 pi= 之 d 。 说 明 如 何 把 寻找 一 个 满足 这 些 额 外 条 件 的 流 的 问题 ， 转换 


为 在 一 个 单 源 结 点 单 汇 点 的 流 网 络 中 寻找 最 大 流 的 问题 。 

26.2-7 证 明 引 理 26. 2。 

26.2-8 假定 我 们 对 残存 网 络 进 行 重 新 定义 ， 禁 止 一 切 进 入 源 结 点 s 的 边 。 证 明 : FORD- 
FULKERSON 算法 仍然 能 够 正确 计算 出 最 大 流 。 

26.2-9 假定 上 和 广 都 是 流 网 络 G 中 的 流 ， 计 算 流 让. 广 。 加 增 后 的 流 满 足 流量 守恒 性 质 吗 ? W 
足 容量 限制 吗 ? 

26.2-10 说 明 在 流 网 络 G 二 (V，E) 中 ， 如 何 使 用 一 个 最 多 包含 |E| 条 增 广 路 径 的 序列 来 找到 一 
个 最 大 流 。( 提 示 : 找到 最 大 流 后 再 确定 路 径 。) 

26.2-11 无 向 图 的 边 连 通 性 是 指使 图 变 为 非 连通 图 所 需要 删除 的 最 少 边 数 &。 例 如 ， 树 的 边 连 
通 性 为 1， 所 有 结 点 形成 的 环 路 的 边 连通 性 为 2。 请 说 明 如 何在 最 多 |V | 个 流 网 络 上 运 
行 最 大 流 算法 来 确定 无 向 图 G 二 (V，E) 的 边 连通 性 ， 这 里 的 每 个 流 网 络 的 结 点 数 为 
OCV), WBRZ OE). 

26.2-12 给 定 一 个 流 网 络 G，G 中 包含 进入 源 结 点 s 的 边 。 设 f 为 网 络 G 中 的 一 个 流 ， 在 该 流 
中 ， 其 中 一 条 进入 源 结 点 的 边 (vw，s) 有 flv, )=1. 证 明 : AG 中 必 存 在 另 一 个 流 f '， 
WES o, s)=0, 使 得 | f| = 二 |f'|。 给 出 一 个 OC(E) 时 间 复 杂 度 的 算法 来 在 给 定 流 S 
的 情况 下 计算 f'， 这 里 假定 所 有 边 的 容量 都 是 整数 值 。 

26.2-13 ”假定 我 们 希望 找到 一 个 流 网 络 G 的 所 有 最 小 切割 中 包含 边 的 条 数 最 少 的 切割 ， 这 里 假 
定 G 的 所 有 容量 都 是 整数 值 。 说 明 如 何 修改 G 的 容量 来 创建 一 个 新 的 流 网 络 G'， 使 得 
G' 中 的 任意 一 个 最 小 切割 是 G 中 包含 边 的 条 数 最 少 的 最 小 切割 。 


26.3 最 大 二 分 匹配 


一 些 组 合 问题 可 以 很 容易 地 表述 为 最 大 流 问 题 。26. 1 节 所 讨论 的 多 源 结 点 多 汇 点 最 大 流 问 
题 就 是 一 个 例子 。 其 他 一 些 组 合 问题 在 表面 上 看 似乎 与 流 网 络 没有 多 少 关系 ， 但 实际 上 却 能 够 
归 约 到 最 大 流 问 题 。 本 节 就 来 讨论 这 样 的 一 个 问题 : 在 一 个 二 分 图 中 找 出 一 个 最 大 匹配 。 为 了 解 
决 这 个 问题 ， 我 们 将 用 到 由 Ford-Fulkerson 方法 所 提供 的 完整 性 性 质 (integrality property) 。 我 们 
将 看 到 如 何 使 用 Ford-Fulkerson 方法 在 OC(VE) 时 间 内 来 解决 图 G 二 (V，E) 的 最 大 二 分 匹配 问题 。 

最 大 二 分 匹配 问题 

给 定 一 个 无 向 图 G 二 (V，E)， 一 个 匹配 是 边 的 一 个 子 集 MCE, 使 得 对 于 所 有 结 点 v€V， 
FRM 中 最 多 有 一 条 边 与 结 点 v 相连 。 如 果子 集 M 中 的 某 条 边 与 结 点 v 相连 ， 则 称 结 点 v 由 M 
所 匹配 ; 否则 ， 结 点 v 就 是 没有 匹配 的 。 最 大 匹配 是 最 大 基数 的 匹配 ， 也 就 是 说 ， 对 于 任意 匹配 
M',， 有 |M| 三 | M'| 的 匹配 M。 在 本 节 的 讨论 中 ， 我 们 将 注意 力 集中 在 寻找 二 分 图 的 最 大 匹配 
上 。 在 一 个 二 分 图 中 ， 结 点 集合 可 以 划分 为 V= 工 UR， 其 中 工 和 尺 是 不 相交 的 ， 并 且 边 集合 
中 所 有 的 边 都 横 跨 工 和 尺 。 进 一 步 假定 结 点 集合 V 中 的 每 个 结 点 至 少 有 一 条 边 。 图 26-8 描述 的 
是 二 分 图 中 匹配 的 概念 。 
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(a) (b) Cc) 


图 26-8 一 个 二 分 图 G=(V，E)， 结 点 集 划分 为 V 二 LUR。(a) 基 数 为 2 的 匹配 ， 由 覆盖 阴影 
的 边 所 表示 。(b) 基 数 为 3 的 最 大 匹配 。(c) 对 应 的 流 网 络 G'， 图 中 显示 的 是 最 大 流 。 
每 条 边 的 容量 为 单位 容量 。 和 覆盖 阴影 的 边 的 流量 为 1， 其 他 所 有 的 边 没有 流量 。 从 子 
集 工 指向 子 集 R 的 覆盖 阴影 的 边 对 应 的 是 图 (b) 中 最 大 匹配 所 用 到 的 边 


在 二 分 图 中 寻找 最 大 匹配 问题 有 着 许多 的 实际 应 用 。 例 如 ， 把 一 个 机 器 集合 L 和 要 同时 执 
行 的 任务 集合 R 相 匹 配 。E 中 有 边 (u，v 就 说 明 一 台 特 定 的 机 器 ue L 能 够 完成 一 项 特定 的 任务 
vER。 最 大 匹配 能 够 让 尽 可 能 多 的 机 器 运行 起 来 。 

寻找 最 大 二 分 匹配 

使 用 Ford-Fulkerson 方法 可 以 在 关于 |1V| 和 |E| 的 多 项 式 时 间 内 ， 找 出 无 向 二 分 图 
G 二 (V，E) 的 最 大 匹配 。 解 决 这 一 问题 的 关键 技巧 是 构建 一 个 流 网 络 ， 其 中 的 流 对 应 于 匹配 ， 
如 图 26-8(c) 所 示 。 我 们 将 二 分 图 G 所 对 应 的 流 网 络 G 一 (V ， 巨 ) 定 义 如 下 : 设 源 结 点 s 和 汇 点 
t 为 不 属于 结 点 集 V 的 新 结 点 ， 并 设 V' 二 VU{s，t})。 如 果 图 CHARA A V=LUR, WE 
UAL 指向 R 的 边 都 是 流 网 络 G' 的 边 。 此 外 ，G' 中 的 边 还 包括 如 下 的 1V| 条 新 有 向 边 : 

E' = {(s,u):u E€ L} U {uw :uv) E E} U {(v,t):v € R} 
要 完成 流 网 络 的 构建 ， 需 要 给 E' 中 的 每 条 边 赋 予 单位 容量 。 由 于 结 点 集 V 中 的 每 个 结 点 至 少 有 一 
条 相连 的 边 ，|E| 宇 |V1/2。 因 此 , |EI<| E'| =|E|+IVI<3|El, 所 以 |E'|==8( 妈 )。 

下 面 的 引 理 证 明了 图 G 中 的 一 个 匹配 直接 对 应 G 所 对 应 的 流 网 络 G “中 的 一 个 流 。 对 于 流 网 
络 G 二 (V，E) 中 的 一 个 流 f 来 说 ， 如 果 对 于 所 有 的 边 (u，v) EVXV，f(u，v) 都 是 整数 值 ， 则 
称 流 f 是 整数 值 的 。 

引 理 26.9 设 G=(V， 轧 为 一 个 二 分 图 ， 其 结 点 划分 为 V 二 LUR, 设 G' 二 (V'，E') 是 图 G 所 
对 应 的 流 网 络 。 如 果 M 是 G 中 的 一 个 匹配 ， 则 流 网 络 G' 中 存在 一 个 整数 值 的 流 f， 使 得 | f| = 
| M| 。 相 反 ， 如 果 f 是 G' 中 的 一 个 整数 值 的 流 ， 则 G 中 存在 一 个 匹配 M, 使 得 | M| =| f|。 

证 明 首先 证 明 图 G 中 的 一 个 匹配 M 对 应 流 网 络 G 中 一 个 整数 值 的 流 f。 定 义 流 f 如 下 : 
如 果 边 (4,， VEM, M f(s, W=flu, V=fw, O=1. MFEMAHWRF E WW, v), # 
X flu, v=0,. RETIRED WREN ELN f 满足 容量 限制 和 流量 守恒 性 质 。 

从 直观 上 看 ， 每 条 边 (u，v) EM 对 应 流 网 络 G PRAK suvet 的 一 个 单位 的 流 。 而 
A, 除了 源 结 点 s 和 汇 点 上 之 外 ， 由 子 集 M 中 的 边 所 诱导 的 路 径 都 是 结 点 不 相交 的 8 。 横 跨 切割 
(LU{s}，RU {2}) 的 净 流量 等 于 |M| 。 因 此 ， 根 据 引 理 26.4， 流 f 的 值 为 |f|=|M|.。 

要 证 明 反 向 的 论断 ， 设 f 为 G' 中 的 一 个 整数 值 的 流 ， 并 设 


O she 之 外 ， 两 条 不 同 的 路 径 中 不 存在 相同 的 结 点 。 一 一 译 者 注 
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M= {(a,v) :u€ L,v€ R,# E flu,v) > 0} 

EPG UCL 只 有 一 条 进入 的 边 ， 即 (*，z) ， 其 容量 为 1。 因此， 每 个 结 点 EL 至 多 有 1 个 单 
位 的 流 进 入 ， 而 如 果 有 1 个 单位 的 流 进 入 ， 根 据 流 量 守恒 性 质 ， 离 开 该 结 点 的 流 也 必须 有 1 个 单 
位 。 此 外 ， 由 于 是 整数 值 的 流 ， 对 于 每 个 结 点 xE 工 ， 流 入 的 这 1 个 单位 的 流 只 能 最 多 从 一 条 
边 进入 ， 也 只 能 最 多 从 一 条 边 流出 。 因 此 ，1 个 单位 的 流 进 入 结 点 zx 当 且 仅 当 恰好 存在 一 个 结 点 
vER, 使 得 f(u，wv)= 二 1， 并 且 在 离开 每 个 结 点 wuEL 的 边 中 至 多 有 一 条 出 边 带 有 正 值 的 流 。 对 每 
个 结 点 vE 尺 也 有 一 个 对 称 的 结论 。 因 此 ， 集 合 M 是 一 个 匹配 。 

要 证 明 | MI|=| /| ， 只 要 注意 到 对 于 每 个 匹配 的 结 点 UCL, A f(s, =l, HAMFRA 
边 (u,，v)EE 一 M， 有 fl(u，wv) 二 0。 因 此 ， 横 跨 切 割 (LU{s)，RU (分 ?的 净 流 量 ALU {s}, RU {D 
等 于 | M| 。 因 此 ,根据 引 理 26.4， 流 的 值 为 | f| = 二 1M| 。 m 

基于 引 理 26.9， 我 们 希望 得 出 结论 ， 二 分 图 G 中 的 一 个 最 大 匹配 对 应 于 流 网 络 G 中 的 一 个 
最 大 流 ， 并 且 ， 因 此 可 以 通过 在 对 应 流 网 络 G' 上 运行 一 个 最 大 流 算法 来 计算 图 G 中 的 最 大 匹配 。 
这 一 推理 过 程 中 存在 的 唯一 障碍 是 最 大 流 算法 可 能 返回 流 网 络 G' 中 一 个 非 整 数 的 流 f(u，v)， 即 
使 流 的 值 | /本身 必 须 是 整数 。 不 过 ， 下 面 的 定理 将 说 明 ， 如 果 使 用 Ford-Fulkerson 方法 ， 则 这 
个 问题 不 会 发 生 。 

定理 26. 10( 完 整 性 定理 ) 如 果 容 量 函数 < 只 能 取 整 数值 ， 则 Ford-Fulkerson 方法 所 生成 的 
最 大 流 f 满足 | 了 | 是 整数 值 的 性 质 。 而且， 对 于 所 有 的 结 点 和 wv，f(u，v) 的 值 都 是 整数 。 


证 明 通过 对 迭代 次 数 进 行 归纳 来 进行 证 明 ， 具 体 证 明 留 作 练习 26. 3-2。 m 
下 面 来 证 明 引 理 26. 9 的 一 个 推论 。 
推论 26. 11 二 分 图 G 中 的 一 个 最 大 匹配 M 的 基数 等 于 其 对 应 的 流 网 络 G' 中 某 一 最 大 流 了 的 值 。 


证 明 下面 的 证 明 使 用 引 理 26. 9 中 的 术语 。 假 定 M 是 图 G 中 的 一 个 最 大 匹配 ， 且 其 相应 的 
流 网 络 G' 中 的 流 f 不 是 最 大 流 。 那 么 G' 中 存在 一 个 最 大 流 o WEIS ISIS 。 由 于 G“ 的 容量 
都 是 整数 值 ， 因 此 ， 根 据 定理 26. 10， 可 以 假设 扩 是 整数 值 。 因 此 ，f' 对 应 G 中 的 一 个 匹配 M'， 
且 其 基数 为 | M | =| f' | 二 |fl==|M|,， 这 与 M 是 最 大 匹配 这 一 假设 相 了 矛盾 。 用 类 似 的 方法 
可 以 证 明 : 如 果 f 是 G' 中 的 一 个 最 大 流 ， 则 其 对 应 的 匹配 是 G 的 一 个 最 大 匹配 。 E 

因此 ， 给 定 一 个 二 分 无 向 图 G， 可 以 通过 创建 流 网 络 G'， 在 其 上 运行 Ford-Fulkerson 方法 来 
找到 一 个 最 大 匹配 。 这 个 最 大 匹配 M 可 以 直接 从 找到 的 整数 最 大 流 f 获得 。 由 于 二 分 图 中 的 任 
何 匹配 的 基数 的 最 大 值 为 min( 工 ，R) =O(CV)，G "中 的 最 大 流 的 值 为 OOV)。 因 此 ， 可 以 在 
OVE ') 二 OCVE) 时 间 内 找到 一 个 二 分 图 的 最 大 匹配 ， 因 为 | E'| = 二 @(E)。 


练习 


26.3-1 在 图 26-8(c) 上 运行 Ford-Fulkerson 算 法， 给 出 每 次 流量 递增 后 的 残存 网 络 。 将 集合 L 
中 的 结 点 从 上 至 下 编号 1 一 5， 集 合 尺 中 的 结 点 从 上 至 下 编号 6~~9。 对 于 每 次 迭代 ， 选 
择 字 典 次 序 最 小 的 增 广 路 径 。 

26.3-2 证 明定 理 26. 10。 

26.3-3 设 G=(V，E) 是 一 个 二 分 图 ， 其 结 点 划分 为 V==LUR, 设 G'==(V'，E') 为 其 对 应 的 流 
网 络 。 在 FORD-FULKERSON 执行 过 程 中 ， 对 在 G' 中 找 出 的 任意 增 广 路 径 的 长 度 给 出 
一 个 适当 的 上 界 。 

*26.3-4 完全 匹配 是 指 图 中 所 有 结 点 都 得 到 匹配 的 匹配 。 设 G 二 (V，E) 是 结 点 划分 为 V=LUR 
的 无 向 二 分 图 ， 其 中 |L| = | RI 。 对 于 任意 XCV， 定 义 X 的 邻居 为 : 

N(X) = {y E V-A z E X,(zx,y) E€ E} 

即 由 与 X 的 某 元 素 相 邻 的 结 点 所 构成 的 集合 。 请 证 明 Hall 定理 : AG 中 存在 一 个 完全 
匹配 当 且 仅 当 对 于 每 个 子 集 ACL, 有 |A| 二 |N(A)|。 
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*26.3-5 ”对 于 一 个 结 点 划分 为 V 一 LUR 的 二 分 图 G 二 (V，E) 来 说 ， 如 果 每 个 属于 结 点 集合 V 的 
结 点 v 的 度数 正好 是 4， 则 称 该 二 分 图 为 d 正则 的 。 对 于 每 个 d 正则 的 二 分 图 ， 都 有 
ILI=|R|. 证明: 每 个 4d 正则 二 分 图 的 匹配 基数 都 是 |L |。( 提 示 : 证 明 对 应 的 流 网 
络 的 一 个 最 小 切割 的 容量 为 | 工 | 。) 


26.4 推送- 重 贴标签 算法 
在 本 节 ， 我 们 讨论 用 来 计算 最 大 流 的 “推送 - 重 贴标签 方法。 到 目前 为 止 ， 许 多 渐 近 效率 很 
高 的 最 大 流 算法 都 是 推送 - 重 贴标签 算法 ， 最 大 流 算法 的 最 快 实现 也 是 基于 推送 - 重 贴标签 方法 。 
推送 - 重 贴标签 方法 还 能 有 效 地 解决 其 他 流 问题 ， 如 最 小 成 本 流 问 题 。 在 本 节 的 讨论 中 ,我们 将 
引入 Goldberg 的 “通用 ”最 大 流 算法 ， 该 算法 有 一 个 非常 简单 的 实现 ， 其 运行 时 间 为 OVE), X 
个 时 间 是 对 Edmonds-Karp 算法 的 O(VE? ) 时 间 的 一 种 改进 。26. 5 节 将 对 通用 算法 进行 调 优 ， 从 
而 获得 另 一 个 运行 时 间 为 OCV® ) 的 推送 - 重 贴标签 算法 。 
推送 - 重 贴标签 算法 比 Ford-Fulkerson 方法 的 局 域 性 更 强 。 它 不 是 对 整个 残存 网 络 进行 检查 ， 然 
后 选择 一 条 增 广 路 径 ， 而 是 一 个 结 点 一 个 结 点 地 进行 查看 ， 每 一 步 只 检查 当前 结 点 的 邻 结 点 。 而 且 ， 
与 Ford-Fulkerson 方法 不 同 ， 推 送 - 重 贴标签 算法 并 不 在 整个 执行 过 程 中 保持 流量 守恒 性 质 。 不 过 ,在 
执行 过 程 中 ， 推 送 - 重 贴标签 算法 却 维持 一 个 预 流 (preflow)， 该 预 流 是 一 个 YXV 一 ~R 的 函数 f, KK 
数 满足 容量 限制 性 质 和 下 面 弱 化 了 的 流量 守恒 性 质 : 对 于 所 有 的 结 点 wxEV 一 {s}， 


Df oru) — ŽI f Curo) >0 
即 进入 一 个 结 点 的 流 可 以 超过 流出 该 结 点 的 流 。 我 们 称 下 面 的 量 


elu) = ere 一 dif Cus v) (26. 14) 
为 进入 结 点 u 的 超额 流 (excess flow). 结 点 的 超额 流 是 进入 该 结 点 的 流 超过 流出 该 结 点 的 流 
的 部 分 。 如 果 对 于 结 点 uEV— (s, t}, p Bonas 则 称 结 点 u MH Coverflowing) 。 


我 们 将 先 描述 推送 - 重 贴标签 方法 后 面 的 直觉 思想 。 然 后 再 讨论 该 方法 所 使 用 的 两 个 操作 : 
“推送 ” 预 流 和 对 结 点 进行 “ 重 贴标签 ”。 最 后 ， 我 们 将 给 出 一 个 一 般 的 推送 - 重 贴 标签 算法 并 分 析 
其 正确 性 和 运行 时 间 。 

直观 思想 

我 们 可 以 通过 观察 液体 流动 的 过 程 来 理解 推送 - 重 贴标签 方法 所 包含 的 直观 思想 : 考虑 一 个 流 网 
络 G=(V, D, 我 们 可 以 将 其 看 做 是 一 个 具有 给 定 容量 的 、 由 相互 连通 的 管道 所 构成 的 系统 。 如 果 将 
Sro 应 用 到 Ford-Fulkerson 方法 上 ， 可 以 说 网 络 中 的 每 条 增 广 路 径 均 引发 出 一 条 无 分 支点 、 从 源 
结 点 流向 汇 点 的 额外 液体 流 。 

Ford-Fulkerson 方法 以 迭代 的 方式 加 入 更 多 的 流 ， 直 到 不 能 再 加 入 时 为 止 。 

从 直观 上 来 看 ， 一 般 的 推送 - 重 贴标签 算法 的 思想 在 某 种 程度 上 来 说 有 所 不 同 。 跟 以 前 一 样 ， 
有 向 边 代表 管道 。 但 作为 管道 连通 点 的 结 点 有 两 个 有 趣 的 性 质 。 首 先 ， 为 了 容纳 额外 的 流 ， 每 个 
结 点 有 一 个 往外 流 的 管道 ， 通 向 一 个 任意 大 的 可 以 累积 这 些 液体 的 水 库 。 其 次 ， 每 个 结 点 、 其 水 
库 及 其 所 有 的 管道 连接 点 位 于 同一 个 平台 上 ， 该 平台 的 高 度 随 着 算法 的 推进 而 增加 。 

结 点 的 高 度 决定 了 流 的 推送 方向 : 我 们 只 从 高 处 往 低 处 推送 流 ， 也 就 是 说 ， 流 只 能 从 一 个 高 
度 较 高 的 结 点 向 高 度 较 低 的 结 点 推送 。 虽 然 从 低 结 点 到 高 结 点 的 流 可 能 是 正 的 ， 但 推送 流 的 操 
作 只 向 低 处 推送 。 我 们 将 源 结 点 的 高 度 固 定 在 |1V| ， 而 汇 点 的 高 度 固 定 在 0。 所 有 其 他 结 点 的 高 
度 在 初始 时 也 都 是 0， 但 将 随 着 时 间 的 推移 不 断 增加 。 该 算法 首先 从 源 结 点 往 下 发 送 尽 可 能 多 的 
流 到 汇 点 。 其 发 送 的 量 为 源 结 点 所 发 出 的 所 有 管道 的 容量 之 和 ;， 也 就 是 说 ， 它 发 送 的 容量 为 切割 
(s，V 一 {s)) 的 容量 。 当 流 进入 一 个 中 间 结 点 时 ， 它 们 被 收集 在 该 结 点 的 水 库 中 。 从 这 里 ,我们 
最 终 将 把 它们 向 下 面 的 结 点 推送 。 
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我 们 可 能 发 现 ， 离 开 结 点 xz 的 唯一 没有 充满 流 的 管道 通 向 的 是 一 个 与 结 点 x 处 于 同一 个 高 度 
的 结 点 或 者 比 结 点 更 高 的 结 点 。 在 这 种 情况 下 ， 要 消除 溢出 结 点 u 的 超额 流量 ， 必 须 增 加 该 结 
点 的 高 度 ， 这 就 是 所 谓 的 “ 重 贴标签 ” 结 点 u 的 操作 。 我 们 将 结 点 u 的 高 度 增加 到 比 其 最 低 的 邻 结 
点 的 高 度 多 1 个 单位 的 高 度 ， 这 里 要 求 结 点 u 到 该 邻 结 点 的 管道 必须 未 被 充满 。 因 此 ， 在 一 个 结 
点 被 重 贴标签 后 ， 它 将 至 少 有 一 个 流出 管道 ， 并 且 可 以 通过 它 推送 更 多 的 流 。 

最 终 ， 所 有 可 能 到 达 汇 点 的 流 都 已 经 到 达 汇 点 。 因 为 所 有 管道 都 遵守 容量 限制 性 质 ， 不 能 接 
受 更 多 的 流 了 。 横 跨 任何 切割 的 流量 仍然 由 切割 的 容量 所 限制 。 为 了 让 预 流 成 为 一 个 “合法 ”的 
流 ， 本 算法 通过 继续 对 结 点 进行 重 贴标签 操作 ， 使 其 高 度 高 于 源 结 点 的 高 度 |V| ， 把 收集 在 溢出 
结 点 的 水 库 中 的 超额 流量 发 送 回 源 结 点 ， 正 如 我 们 将 看 到 的 ， 一 旦 所 有 的 水 库 都 为 空 ， 预 流 则 不 
但 是 “合法 ”的 流 ， 而 且 还 是 一 个 最 大 流 。 

基本 操作 

根据 前 面 的 讨论 ， 我 们 看 到 推送 - 重 贴标签 算法 执行 的 基本 操作 有 两 个 : 从 一 个 结 点 将 超额 
的 流 推送 到 一 个 邻 结 点 ; 对 一 个 结 点 进行 重 贴标签 操作 (改变 该 结 点 的 高 度 ) 。 这 些 操作 适用 的 场 
景 依赖 于 结 点 的 高 度 ， 下 面 我 们 就 来 给 出 结 点 高 度 的 准确 定义 。 

设 C=(V， 王 ) 是 一 个 源 结 点 为 汇 点 为 上 的 流 网 络 ， 设 f 为 G 的 一 个 预 流 。 如 果 函 数 : 
VN 满足 h(s) 二 1|V| ，h(z) 二 0， 并 且 对 于 所 有 的 边 (u，v) EE/， 有 h(w) 志 hlvw) 十 1， 则 及 是 一 
个 高 度 函 数 ? 。 

根据 上 面 的 定义 ， 我 们 立即 获得 下 面 的 引 理 。 

引 理 26.12 H CG 一 (V， 玖 ) 为 一 个 流 网 络 ， 设 f AGAR, 设 有 为 V 上 的 高 度 函 数 。 对 
于 任意 两 个 结 点 KU，VEV， 如 果 jz) 二 六 (oO 十 1， 则 (xx，z) 不 是 残存 网 络 中 的 一 条 边 。 

推送 操作 

如 果 结 点 & 是 一 个 溢出 结 点 ，crCx， 人 二 0， 并 且 hz) 一 A(o 十 1， 则 基本 操作 PUSH, v) 
适用 于 结 点 和 vw。 下 面 的 伪 代 码 所 执行 的 任务 是 对 预 流 f Alu, o 两 个 结 点 的 超额 流 进行 更 新 。 
该 伪 代 码 假设 可 以 在 给 定 <c 和 上 的 情况 下 ， 在 常数 时 间 内 计算 出 残存 容量 c/(u，wv)。 我 们 将 存放 
在 结 点 uw 上 的 超额 流 保存 在 属性 x.e 上 ， 将 的 高 度 保 存在 属性 u.h 中 。 表 达 式 Ar(w， 了 是 一 个 
临时 变量 ， 用 来 存放 可 以 从 结 点 4 推送 到 结 点 wv 的 流 。 

PUSH (u,v) 

// Applies when: u is overflowing,c;(u,v)>0,and u.h=v. h+1. 
// Action: PushA;(u,v)=min(u. e,c;(u,v))units of flow from u to v. 
Ay (u,v) =min(u. escs (u,v)) 
if(u,v)EE 
(u,v). f=(u,v). f+A;(u,v) 
else(v,u). f=(v,u). f—A; (u,v) 


u. e=u. e— Ay (usv) 


on ao oF we HY 一 


v. e=v. e+ Ar(uyv) 


PUSH {USM C/E. AAS u 有 一 个 正 的 超额 流 x.e， 且 边 (x， 了 的 残存 容量 也 是 正 
值 ， 所 以 可 以 增加 从 结 点 流向 结 点 v 的 流 ， 增 加 的 幅度 为 Alu, v) =minlu. e, clu, v)), X 
种 幅度 的 流 增加 不 会 导致 u. e 成 为 负 值 或 者 容量 c(x， 孔 被 突破 。 算 法 第 3 行 计算 的 是 值 Aj(u, o), 
第 4 一 6 行 负责 对 流 f 进行 更 新 。 算 法 第 5 行 增加 边 (u，v) 上 的 流 ， 因 为 我 们 在 将 流 推 向 一 条 也 是 
原始 边 的 残存 边 。 第 6 行将 边 (vw，u) 上 的 流量 进行 缩减 ， 因 为 该 残存 边 实 际 上 是 原始 网 络 中 一 条 


日 ”在 文献 中 ， 高 度 函 数 也 通常 称 为 “距离 函数 ”， 一 个 结 点 的 高 度 也 称 为 “距离 标签 ”。 本 书 使 用 “高 度 ” 这 个 术语 的 
原因 是 其 更 能 揭示 算法 背后 的 直观 思想 。 我 们 保留 了 “ 重 贴标签 ”这 个 术语 ， 用 来 代表 增加 一 个 结 点 高 度 的 操作 。 
一 个 结 点 的 高 度 与 其 离 汇 点 t 的 距离 相关 ， 正 如 在 转 置 图 GT 的 一 个 广度 优先 搜索 操作 中 所 找到 的 。 
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边 的 反 向 边 。 最 后 ， 算 法 的 第 7 一 8 行 更 新 进入 结 点 xx 和 的 超额 流 。 因 此 ， 如 果 在 PUSH 调用 
前 了 是 预 流 ， 则 在 PUSH 操作 后 ，f 仍然 是 预 流 。 

注意 ， 虽 然 PUSH 代码 中 没有 什么 操作 依赖 于 结 点 u 和 结 点 v 的 高 度 ， 但 是 仍然 限定 该 操 
作 只 能 在 满足 条 件 u. h=v. A+] 的 情况 下 被 调用 。 因 此 ， 我 们 只 将 超额 流向 高 度 差 为 1 的 下 层 结 
点 推送 。 根 据 引 理 26. 12， 在 高 度 相差 超过 1 的 两 个 结 点 之 间 不 存在 残存 边 ， 因 此 ， 只 要 属性 
确实 是 一 个 高 度 函数 ， 向 高 度 差 超过 1 的 下 层 结 点 推送 流 不 能 给 我 们 带 来 任何 价值 。 

我 们 称 操作 PUSH, VAHAA u 到 结 点 v 的 一 个 推送 操作 。 如 果 一 个 推送 操作 适用 于 某 
条 从 结 点 4 发 出 的 边 (u，v)， 则 称 推送 操作 适用 于 结 点 x。 如 果 在 该 操作 后 ， 残 存 网 络 中 的 边 
(u， 思 达到 饱和 状态 ( 即 在 操作 之 后 有 c/(u，v) 二 0)， 则 该 推送 操 称 为 饱和 推送 ; 否则 ， 该 推送 
操作 称 为 非 饱和 推送 。 如 果 一 条 边 达到 饱和 状态 ， 它 将 从 残存 网 络 中 消失 。 下 面 的 简单 引 理 说 明 
了 非 饱和 推送 所 导致 的 一 种 结果 。 

引 理 26. 13 在 从 结 点 & 到 结 点 忆 的 一 个 非 饱 和 推送 操作 后 ， 结 点 尺 将 不 再 溢出 。 

证 明 ”由 于 推送 操作 为 非 饱 和 操作 ， 被 推送 的 实际 流量 Ar(x，z) 在 推送 操作 前 必定 等 于 
u.e, FF u e 被 缩减 的 量 就 是 这 个 量 自身 ， 因 此 ，u.e 在 推送 操作 后 的 值 将 为 0。 a 

重 贴标签 操作 

如 果 结 点 溢出， 并且 对 于 所 有 的 边 (u，v) EE,/， 有 .hv.h， 则 基本 操作 RELABEL(w) 
适用 于 结 点 x。 换 句 话 说， 我 们 可 以 对 一 个 溢出 结 点 进行 重 贴标签 的 操作 。 对 于 每 个 结 点 vu， 如 
果 存 在 从 结 点 x 到 结 点 wv 的 残存 容量 ， 但 却 因为 结 点 v 不 在 结 点 4 的 下 方 ， 而 不 能 将 流 从 we 推送 
到 ww， 我 们 就 可 以 对 溢出 结 点 u 进行 重 贴标签 操作 。 (回忆 前 面 讨 论 的 内 容 ， 根 据 定 义 ， 源 结 点 s 
和 汇 点 上 都 不 可 能 溢出 ， 因 此 和 + 上 没有 资格 被 重 贴标签 。) 

RELABEL(«) 

1 // Applies when; u is overflowing and for all v&V such that(u,v) E€ Ef, 

we have u. hv. h. 
2 // Action; Increase the height of u. 
3 u.h=l+min{v. h: (u,v) € E;} 


当 调 用 操作 RELABEL(w) 时 ， 我 们 称 结 点 “被 重 贴标签 。 注 意 ， 当 结 点 u HMM, 

Ey 必须 包含 至 少 一 条 从 结 点 zx 发 出 的 边 ， 这 样 将 使 得 代码 中 的 求 最 小 值 操作 所 针对 的 对 象 不 是 

一 个 空 集 。 这 条 性 质 可 以 从 结 点 是 一 个 溢出 结 点 的 假设 推导 出 来 ， 而 这 又 会 进一步 告诉 我 们 : 
ué = Difco) 一 DI) >0 


由 于 所 有 的 流 都 是 非 负 的 ， 因 此 ， 必然 至 少 有 一 一 个 结 点 v, WẸ, u). f>0. A, clu, vd >0 则 
意味 着 (u，v) € E/。 因 此 ， 操 作 RELABEL(w 给 结 点 所 赋予 的 高 度 是 高 度 函 数 所 能 允许 的 最 
大 高 度 。 

通用 算法 

通用 的 推送 - 重 贴 标签 算法 使 用 下 面 的 子 程序 来 在 流 网 络 中 创建 一 个 初始 的 预 流 : 

INITIALIZE-PREFLOW(G, s) 

1 for each vertexv€ G. V 

2 v. h=0 

3 v.e=0 

4 for each edge(u,v) ECG. E 

5 (u,v). f=0 

6 sh=|G.V| 
7 for each vertexv€ s. Adj 
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8 (s,v). f=c(s,v) 
9 v. e=c(s,v) 


10 s. e=s.e—c(s,v) 


INITIALIZE-PREFLOW 创建 一 个 由 下 面 公式 定义 的 预 流 f: 
clus) #Hu=s 
(u,v). f= F 其 他 (26. 15) 
也 就 是 说 ， 我 们 将 从 源 结 点 s 发 出 的 所 有 边 都 充满 流 ， 而 其 他 边 上 都 没有 流 。 对 于 每 个 与 源 结 点 
s 相 邻 的 结 点 w， 一 开始 有 mv， e=cls, v), HEK s. e 初始 化 为 所 有 这 些 容量 之 和 的 相反 数 。 该 通 
用 算法 的 初始 高 度 函数 由 下 面 公式 定义 : 
IV| #u=s 
re A 
u. h |。 其 他 (26. 16) 
式 (26. 16) 所 定义 的 是 一 个 高 度 函 数 ， 因 为 满足 条 件 u. h>v h +1 的 边 (x， 了 四) 全 都 是 那些 满足 条 
件 u=s 的 边 ， 并 且 这 些 边 都 已 经 达到 饱和 状态 ， 这 就 意味 着 这 些 边 不 在 残存 网 络 中 。 
先进 行 初始 化 ， 然 后 按 非 特定 次 序 执行 一 个 序列 的 推送 和 重 贴 标签 操作 ， 就 能 得 出 
GENERIC-PUSH-RELABEL 算法 : 
GENERIC-PUSH-RELABEL(G) 
1 INITIALIZE-PREFLOW(G,;s) 
2 while there exists an applicable push or relabel operation 


3 select an applicable push or relabel operation and perform it 


下 面 的 引 理 说 明 ， 只 要 存在 溢出 结 点 ， 两 种 基本 操作 就 至 少 一 种 可 以 应 用 到 该 溢出 结 点 上 。 

引 理 26. 14 (可 以 对 滋 出 结 点 执行 推送 或 重 贴标签 操作 ) 设 G=(V，EE) 是 一 个 源 结 点 为 s 汇 
点 为 上 的 流 网 络 ， 设 为 一 个 预 流 ， hh 为 了 的 任意 高 度 函 数 。 如 果 u 是 一 个 溢出 结 点 ， 则 要 么 可 
以 对 结 点 & 执行 推送 操作 ， 要 么 可 以 对 其 执行 重 贴标签 操作 。 

证 明 ”对 于 任意 残存 边 (u，v)， 有 有 (ww) 三 h(v) 十 1， 因 为 hh 是 一 个 高 度 函数 。 如 果 推 送 操作 
不 适用 于 溢出 结 点 w， 则 对 于 所 有 的 残存 边 (u，v)， 必 定 有 h(w) 二 h(v) 十 1， 而 这 意味 着 AG < 
h(v)。 因 此 ， 重 贴标签 操作 必定 适用 于 结 点 uo a 

推送 - 重 贴标签 方法 的 正确 性 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 解决 了 最 大 流 问 题 ， 下 面 将 首先 证 明 如 果 该 算法 终止 ， 
预 流 f 就 是 一 个 最 大 流 。 我 们 稍 后 再 来 证 明 该 算法 必 将 终止 。 下 面 首先 来 关注 高 度 函 数 。 

引 理 26. 15( 结 点 高 度 从 来 不 会 降低 ) 在 一 个 流 网 络 G 二 (V，E) 上 执行 GENERIC-PUSH- 
RELABEL 算法 的 过 程 中 ， 对 于 每 个 结 点 EV， 其 高 度 v.h 从 来 不 会 减少 。 而且 ,每 当 一 个 重 
贴标签 操作 应 用 到 结 点 wu 上 时 ， 其 高 度 . 有 至 少 增加 1 个 单位 。 

证 明 ”因为 结 点 高 度 只 在 重 贴 标签 操作 时 发 生 改 变 ， 所 以 只 需要 证 明 引 理 的 第 二 个 论断 即 
可 。 如 果 将 要 对 结 点 u 进行 重 贴标签 操作 ， 则 对 于 所 有 的 结 点 v， 如 果 (u，v) CE, 那么 有 
uh<v.h, Alt, uh<l+min{v.h: (wu，v)EE,}， 所 以 该 操作 必定 增加 u. h 的 值 。 a 

引 理 26.16 HRG=(V, EF) 是 一 个 源 结 点 为 s 汇 点 为 1 HAA, WB GENERICPUSH- 
RELABEL 算法 在 G 上 执行 的 过 程 中 ， 将 维持 属性 疡 作为 一 个 高 度 函 数 。 

证 明 通过 对 所 执行 的 基本 操作 的 次 数 进行 归纳 来 予以 证 明 。 在 初始 状态 时 ，h 是 一 个 高 度 
函数 ， 正 如 我 们 已 经 观察 到 的 。 

我 们 断言 : 如 果 六 是 一 个 高 度 函 数 ， 则 RELABEL(w) 的 操作 将 保持 hh 作为 一 个 高 度 函 数 。 如 果 残 
FPC, v CE, 从 结 点 4 发出， 则 RELABEL(w) 将 确保 在 操作 执行 之 后 有 uh 二 wh 十 1。 现 在 考虑 一 
条 进入 结 点 的 残存 边 (w，w。 根 据 引 理 26. 15， 在 操作 RELABEL(w) 之 前 有 w hu htl, XÈ 
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着 在 该 操作 之 后 有 wh 二 uh 十 1。 因 此 ， 操 作 RELABEL(w) 将 保持 作为 高 度 函 数 。 

现在 来 考虑 操作 PUSH(wu，v)。 该 操作 可 能 在 E, 中 增加 一 条 边 (v，w)， 并 且 还 可 能 从 E, 中 删 
除 边 (u， 功 。 在 前 面 一 种 情况 下 ， 有 羽 h 二 wh 一 1<u.h 十 1， 因 此 仍然 是 一 个 高 度 函数 。 在 后 面 
一 种 情况 下 ， 从 残存 网 络 中 删除 边 (w， 必 将 删除 相应 的 限制 ， 因 此 hh 再 次 保持 为 一 个 高 度 函 数 。 国 

下 面 的 引 理 给 出 高 度 函 数 的 一 个 重要 性 质 。 

引 理 26.17 设 G 王 (V， 已 ) 是 一 个 源 结 点 为 汇 点 为 上 的 流 网 络 ， 设 f 为 G 中 的 一 个 预 流 ， 
hAV 上 的 一 个 高 度 函 数 。 那 么 在 残存 网 络 G 中 不 存在 一 条 从 源 结 点 s 到 汇 点 上 的 路 径 。 

证 明 使 用 反 证 法 。 假 定 残存 网 络 Cr 中 存在 一 条 从 源 结 点 s 到 汇 点 t 的 路 径 p， 这 里 p= 
(Us Wo y ws W= G= ts 不 失 一 般 性 ， bp 是 一 条 简单 路 径 ， 因此 二 |V|。 对 于 i=0, 
1, s+, k—1, Wis vm) EE; AHhR-THEBR, MUA Aw)ShCo4.)+1, AE i= 
0，1，…，& 一 1。 将 路 径 记 上 的 这 些 不 等 式 全 部 加 起 来 ， 得 到 AOSA AAhD=0, Ht 
以 有 ACS) <R<|V| ， 这 与 要 求 高 度 函 数 ACS) =|V| 相 矛 盾 。 = 

下 面 将 证 明 如 果 通 用 的 推送 - 重 贴标签 算法 能 够 终止 ， 则 其 所 计算 出 的 预 流 是 一 个 最 大 流 。 

定理 26. 18( 通 用 的 推送 - 重 贴标签 算法 的 正确 性 ) 设 G=(V，E) 是 一 个 源 结 点 为 s 汇 点 为 + 
的 流 网 络 ， 如 果 算 法 GENERIC-PUSH-RELABEL 在 图 G 上 运行 时 能 够 终止 ， 则 该 算法 所 计算 出 
的 预 流 (XAG 的 一 个 最 大 流 。 

证 明 在 证 明 中 将 使 用 下 面 的 循环 不 变 式 : 

每 次 GENERIC-PUSH-RELABEL 算法 在 执行 第 2 行 的 while 循环 时 ，f 都 是 图 G 的 一 个 预 流 。 

初始 化 : INITIALIZE-PREFLOW 使 得 f 是 一 个 预 流 。 

保持 : 位 于 算法 第 2 一 3 行 的 while 循环 中 的 唯一 操作 是 推送 和 重 贴标签 操作 。 重 贴标签 操作 
只 影响 高 度 属性 ， 不 影响 流 的 值 ; 因此 ， 这 些 操作 不 影响 f 是 否 是 一 个 预 流 。 对 于 推送 操作 来 
说 ， 正 如 前 面 所 讨论 的 ， 如 果 f 在 推送 操作 前 是 一 个 预 流 ， 则 在 推送 操作 结束 后 仍然 是 一 个 预 
流 。 因 此 ， 循 环 不 变 式 得 到 维持 。 

终止 : 在 算法 终止 时 ，V 一 {s*， 妖 中 的 每 个 结 点 的 超额 流量 必定 是 0， 因为 根据 引 理 26. 14 和 
了 总 是 一 个 预 流 的 循环 不 变 式 ， 图 中 不 存在 溢出 结 点 。 因 此 ，f 是 一 个 流 。 而 引 理 26. 16 说 明 ， 
h 在 终止 时 是 一 个 高 度 函数 ， 再 根据 引 理 26. 17， 在 残存 网 络 G, 中 不 存在 一 条 从 源 结 点 s 到 汇 点 
t 的 路 径 。 根 据 最 大 流 最 小 切割 定理 (定理 26.6)，f 是 一 个 最 大 流 。 

推送 - 重 贴标签 方法 的 分 析 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 确实 会 终止 ， 我 们 将 给 出 该 算法 所 执行 的 操作 的 次 数 界 。 
分 别 对 如 下 三 类 操作 求 界 : 重 贴标签 操作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 。 在 获得 每 种 操作 次 
数 的 界 后 ， 就 可 以 直接 构造 一 个 运行 时 间 为 O(V?E) 的 算法 。 但 是 ， 在 进行 这 种 分 析 之 前 ,首先 
需要 证 明 一 个 重要 的 引 理 。 回 顾 前 面 所 讨论 的 内 容 可 知 ， 我 们 允许 在 残存 网 络 中 有 流入 源 结 
点 的 边 。 

引 理 26. 19 设 G=(V,) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 设 f 是 G 中 的 一 个 预 流 。 
那么 对 于 任意 溢出 结 点 工 ， 在 残存 网 络 Gr 中 存在 一 条 从 结 点 工 到 源 结 点 s 的 简单 路 径 。 

证 明 ”对 于 溢出 结 点 zx， 设 U={v: 在 G 中 存在 一 条 从 结 点 z 到 结 点 v 的 简单 路 径 ) ， 并 且 
为 了 使 用 反 证 法 ,假设 ;EU， 并 设 U=V 一 U。 

使 用 式 (26. 14) 对 超额 流量 的 定义 ， 对 U 中 的 所 有 结 点 求 和 和 ， 并 注意 到 V=UUDTU， 我 们 
获得 

dye = > (Ls cow — defuse) 


EU 


= > (( Bf Cow) + Bf) —( Df Cure) + dif (uv) 
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= fow +E Df ow- Df uD h fu) 
u€U veU u€U U waEU vEU uEU veU 


= 2 Df Cou) - 之 Dy fur) 
我 们 知道 ， De (u) VRHE, 因为 对 于 zxEU，e(Cz) 二 0， 除 源 结 点 s 以 外 的 所 有 结 点 都 有 非 负 
值 的 超额 流量 ， 并 且 根据 假设 ，s&U， 因 此 有 
Dy Qf Cur) — D7 Dy flusw) > 0 (26. 17) 
所 有 边 上 的 流量 均 为 非 负 值 ， 因 此 ， 如 果 式 (26. 17) 成 立 ， 则 必须 有 之 12uf (zw，z) 二 0。 因 此 ， 至 少 存在 一 


Xiu EU, v'EU, Af’, u')>0, 但 是 ， 如果 Fw ，w)>>0， 则 必 有 一 条 残存 边 (w' ，vw )， 这 就 意 
味 着 从 结 点 z 到 结 点 w 存在 一 条 简单 路 径 (路 径 zx 一 w )， 而 这 与 U 的 定义 矛盾 。 = 

下 面 的 引 理 将 给 出 结 点 的 高 度 的 界 ， 该 引 理 的 推论 则 对 重 贴标签 操作 的 总 次 数 进行 了 限定 。 

引 理 26.20 设 G=(V，,F) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 在 G 上 执行 算法 
GENERIC-PUSH-RELABEL 过 程 中 的 任意 时 刻 ， 对 于 所 有 结 点 u€V，, u.h<2|V| 一 1。 

证 明 根据 定义 ， 源 结 点 s 和 汇 点 上 从 来 不 会 溢出 ， 因 此 ， 它 们 的 高 度 从 来 不 会 发 生变 化 。 
所 以 总 是 有 ss h=|V| Alt. h=0, BR, 这 两 个 值 都 不 比 21V| 一 1 大 。 

现在 考虑 任意 结 点 EV 一 {s，z} 。 在 初始 情况 时 ，u.h= 二 0<<21V| 一 1。 我 们 将 证 明 在 每 次 重 
贴标签 操作 后 ， 仍 然 有 u.h 志 21V| 一 1。 当 结 点 x 被 重 贴标签 时 ， 它 必定 是 一 个 溢出 结 点 ， 引 理 
26. 19 告诉 我 们 ， 在 残存 网 络 Gr 中 存在 一 条 从 结 点 zx 到 结 点 RE pe B p=, 
Ms, w), HEP w =u, u=s, 并 且 k 志 1V| 一 1， 因 为 p 是 简单 路 径 。 对 于 i 二 0，1，…， 
k—1, RITE, vn) EEE， 因此， 根据 引 理 26. 16，w.h 志 v41.h 十 1。 将 这 些 不 等 式 在 路 径 也 
上 进行 扩展 ， 得 到 u. h=w. hu. htk<s.h+(|V|—1)=2|V]—1. = 

推论 26. 21( 重 贴标签 操作 次 数 的 界 ) 设 G=(V，EE) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 对 每 个 结 点 所 执行 的 重 贴标签 操作 的 
次 数 最 多 为 2|V| 一 1 次 ， 而 所 有 重 贴标签 操作 不 会 超过 (2|1V| 一 1)(C|V| 一 2)<21V| 。 

证 明 集合 V 一 {s, PRA |V] 一 2 个 结 点 有 可 能 需要 进行 重 贴 标签 的 操作 。 设 结 点 
uEV 一 {s，t} 。RELABEL(w) 操 作 将 增加 u. h WIE u h 的 值 在 初始 情况 时 为 0， 根据 引 理 
26. 20， 它 增长 的 幅度 最 多 为 21V| 一 1。 因 此 ， 每 个 结 点 weEV 一 {s，t} 被 重 贴 标签 的 次 数 最 多 为 
2|\V|—1, 而 重 贴 标签 操作 的 总 次 数 最 多 为 (21V| 一 (IV1 一 2)<21V|?。 a 

引 理 26. 20 同时 也 帮助 我 们 对 饱和 推送 操作 的 次 数 进行 限定 。 

引 理 26. 22( 饱 和 推送 操作 次 数 的 上 界 ) 设 G=(V，EE) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 饱 和 推送 操作 的 次 数 少 于 2|V||E|。 

证 明 ”对 于 任意 一 对 结 点 4，vEV， 把 从 结 点 x 到 结 点 v 和 从 结 点 v 到 结 点 的 饱和 推送 操 
作 合 并 在 一 起 计数 ， 统 称 为 结 点 u 和 结 点 v 之 间 的 饱和 推送 操作 。 如 果 存 在 任何 这 样 的 推送 操 
作 ， 则 边 (uw，vw 和 边 (v， 忆 中 至 少 有 一 条 是 玉 中 的 一 条 边 。 现 在 假定 从 结 点 u 到 结 点 v 之 间 发 生 
了 一 次 饱和 推送 操作 。 这 时 ，wvw. 有 = 二 u.h 一 1。 为 了 使 从 结 点 u 到 结 点 v 的 另 一 次 推送 操作 可 以 发 
生 ， 本 算法 必须 首先 将 流 从 结 点 v 推送 到 结 点 w， 而 这 种 操作 只 有 在 v.h=u.h+1 的 情况 下 才能 
发 生 。 由 于 zx 六 的 取 值 从 来 不 会 降低 ， 为 了 让 v.h==u.h 十 1 EER, v h 的 值 必 须 增加 至 少 2 
个 单位 。 同 理 ，u. 的 值 在 两 次 从 结 点 v 到 结 点 的 饱和 推送 操作 之 间 必 须 增加 至 少 2 个 单位 。 
由 于 高 度 的 初始 值 为 0 根据 引 理 26. 20， 高 度 从 来 不 会 超过 21V| 一 1， 这 意味 着 对 于 任意 一 个 
结 点 来 说 ， 其 高 度 增 加 2 个 单位 的 次 数 都 小 于 |V| 。 由 于 在 结 点 u 和 结 点 wv 之 间 的 任意 两 次 饱和 
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推送 操作 之 间 ，u.h Mov h 两 个 值 中 ， 至 少 有 一 个 值 将 增加 2 个 单位 ， 结 点 u 和 结 点 v 之 间 的 饱 
和 推送 操作 的 次 数 必定 少 于 21V| 。 将 该 数值 乘 以 边 的 条 数 ， 便 可 得 出 : 饱和 推送 操作 总 次 数 的 
上 界 为 21V| | 已 | 。 = 

下 面 的 引 理 对 通用 推送 - 重 贴标签 算法 中 的 非 饱和 推送 操作 的 次 数 进行 了 限制 。 

引 理 26. 23( 非 饱和 推送 操作 次 数 的 上 界 ) 设 G=(V，E) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 
络 ， 则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 非 饱和 推送 操作 的 次 数 少 于 
4|VI?CIVI+/E]). 

证 明 ”我 们 在 证 明 中 将 使 用 聚合 分 析 。 首 先 定义 势能 函数 B= 二 Dd) vhe 在 初始 情况 下 ， 


p=0, H 旬 的 值 在 每 次 重 贴 操作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 后 都 可 能 发 生 改 变 。 饱 和 推 
送 操作 和 重 贴标签 操作 都 会 导致 @@ 值 的 增加 ， 首 先 对 这 种 增加 的 上 界 进行 限定 。 然 后 再 证 明 每 
个 非 饱和 推送 操作 将 D 的 值 降低 至 少 1 个 单位 ， 并 且 使 用 这 些 限 值 来 导出 非 饱 和 推送 操作 次 数 
的 上 界 。 

让 我 们 检查 一 下 再 值 可 能 增长 的 两 种 方式 。 首 先 ， 对 一 个 结 点 u 进行 重 贴标签 操作 给 © 值 
带 来 的 增加 量 少 于 2|V| ， 因 为 用 于 求 和 的 集合 是 相同 的 (或 求 和 所 覆盖 的 集合 是 相同 的 ) ， 而 重 
贴标签 操作 不 能 将 结 点 u 的 高 度 增 加 超过 其 最 大 可 能 的 高 度 。 根 据 引 理 26. 20， 这 个 高 度 最 多 为 
2|1V| 一 1。 其 次 ， 一 个 从 结 点 u 到 结 点 wv 的 饱和 推送 操作 给 下 值 所 增加 的 量 少 于 21V| ， 因 为 没 
有 高 度 变 化 ， 并 且 只 有 结 点 v 可 能 成 为 溢出 结 点 ， 而 结 点 v 的 高 度 最 多 为 21V| 一 1。 

现在 来 证 明 一 个 从 结 点 & 到 结 点 的 非 饱 和 推送 将 © 的 值 降低 至 少 1 个 单位 。 为 什么 这 样 说 
We? 在 非 饱 和 推送 操作 前 ， 结 点 u 在 流出 ， 而 结 点 可 能 溢出 ， 也 可 能 没有 溢出 。 根 据 引 理 
26. 13， 结 点 u 在 推送 操作 后 不 会 再 溢出 。 此 外 ,除非 v 是 源 结 点 ， 和 否则 它 在 推送 操作 后 可 能 滋 
出 ， 也 可 能 不 溢出 。 因 此 ， 势 能 函数 旬 减 少 的 量 恰 好 是 x.h， 并 且 其 增加 的 量 要 么 是 0， 要 么 是 
v.h。 由 于 .hh 一 v.h 二 1]， 兆 效果 是 势能 函数 至 少 降低 一 个 单位 。 

因此 ， 在 算法 的 运行 过 程 中 , 更 的 总 增长 量 都 来 源 于 重 贴标签 操作 和 饱和 推送 操作 ， 而 推论 
26. 21 和 引 理 26. 22 将 这 种 增长 限制 在 少 于 (21V|)(21V|2) 十 (21VID)CIVIIEID)=41V| 
(IV| 十 |E|) 的 范围 内 。 由 于 OS0, © 值 减少 的 总 量 ， 也 就 是 非 人 饱和 推送 操作 的 总 次 数 ， 小 于 
4|V|:(CIVI 十 | 已 | )。 a 

在 对 重 贴标签 操作 、 饱 和 推送 操作 、 非 饱和 推送 操作 的 次 数 进行 了 限定 后 ， 我 们 就 可 以 对 
GENERIC-PUSH-RELABEL 算法 进行 分 析 ， 还 可 以 对 任何 基于 推送 - 重 贴标签 方法 的 算法 进行 分 析 。 

定理 26. 24 在 任意 流 网 络 G 二 (V，EF) 上 执行 GENERIC-PUSH-RELABEL 算法 的 过 程 中 ， 
基本 操作 的 总 次 数 是 O(V?E)。 

证 明 从 推论 26.21 和 引 理 26. 22 及 引 理 26. 23 可 立即 推 得 定理 中 的 结论 。 a 

因此 ， 算 法 GENERIC-PUSH-RELABEL 在 OC(V?E) 个 操作 后 终止 。 剩 下 的 就 是 给 出 实现 每 
个 操作 的 有 效 方法 和 选择 合适 的 操作 予以 执行 。 

推论 26. 25 对 于 任意 流 网 络 G 二 (V，E)， 都 存在 一 种 通用 推送 - 重 贴标签 算法 的 实现 ， 其 
运行 时 间 为 OCV E). 

证 明 练习 26. 4-2 要 求 读者 来 说 明 如 何 实现 通用 推送 - 重 贴标签 算法 ， 使 得 每 个 重 贴标签 的 
操作 成 本 为 OOV) ， 每 个 推送 操作 的 成 本 为 O(1) 。 它 同时 还 要 求 读 者 设计 一 个 数据 结构 来 允许 用 
户 在 O(1) 时 间 内 选择 一 个 合适 的 操作 。 本 推论 将 从 这 些 结果 中 立即 得 到 。 


练习 


26.4-1 证 明 : 在 算法 INITIALIZE-PREFLOW(G，5) 终 止 后 ， 有 s.e<—| ff" |. 其 中 广 是 流 
网 络 G 的 一 个 最 大 流 。 
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26. 4-2 说 明 如 何 实现 通用 推送 - 重 贴标签 算法 ， 使 得 每 个 重 贴标签 的 操作 成 本 为 OC(V)， 每 个 推 
送 操作 的 成 本 为 0(1)， 并 且 可 以 在 O(1) 时 间 内 选择 一 个 合适 的 操作 ， 从 而 使 得 整个 算 
法 的 运行 时 间 为 OVE). 

26.4-3 证 明 : 通用 推送 - 重 贴标签 算法 只 用 了 总 共 OC(VE) 的 时 间 来 执行 所 有 OV ) 个 重 贴标签 
操作 。 

26. 4-4 假定 使 用 推送 - 重 贴标签 算法 找到 了 流 网 络 G 二 (V，E) 的 一 个 最 大 流 ， 给 出 一 个 快速 算 
法 来 找到 G 的 一 个 最 小 切割 。 

26.4-5 给 出 一 个 有 效 的 推送 - 重 贴标签 算法 ， 使 得 其 可 以 在 一 个 二 分 图 中 找到 一 个 最 大 匹配 。 
分 析 你 的 算法 的 效率 。 

26.4-6 假定 在 流 网 络 G 二 (V，E) 中 所 有 边 的 容量 都 在 集合 {1，2，…，k} 里 。 分 析 通 用 推送 - 
重 贴标签 算法 的 运行 时 间 ， 请 以 |V1、|E| 和 来 予以 表示 。( 提 示 : 每 条 边 在 变 为 饱 
和 之 前 可 以 支持 多 少 次 非 饱 和 推送 操作 ?) 

26.4-7 WEH: 我 们 可 以 将 INITIALIZE-PREFLOW 算法 的 第 6 行 改 为 如 下 : 

6s.h = |G.V|—2 

而 不 会 影响 通用 推送 - 重 贴标签 算法 的 正确 性 和 渐 近 性 能 。 

26.4-8 lu, VAREN G PABA u 到 结 点 v 的 距离 ( 边 的 条 数 )。 证 明 : GENERIC- 
PUSH-RELABEL 算法 维持 zx h< |V| 的 性 质 意 味 着 u.h 二 6,(u，1)， HERE u. h> 
|V| WERF u.h— |V| <8 u, s). 

*26.4-9 ”如 前 一 个 练习 ， 设 sr(x，z) 为 残存 网 络 G 中 从 结 点 到 结 点 v 的 距离 。 请 说 明 如 何 修 
改 通 用 推送 - 重 贴 标签 算法 ， 以 使 得 维持 u h< |V | 的 性 质 意 味 着 .hh 二 6/(u，t)， 维 持 
性 质 u.h 宇 |V | 意味 着 u.h 一 |V| 二 6/(u，s)。 你 所 设计 算法 用 于 维持 该 性 质 所 用 的 总 时 
间 应 该 为 O(VE)。 

26.4-10 证 明 : 在 流 网 络 G==(V，E) 上 运行 GENERIC-PUSH-RELABEL 算法 所 执行 的 非 饱 和 
推送 操作 的 总 次 数 为 4|1V1 LE], REBRE |V |24. 


“26.5 前 置 重 贴 标签 算法 


推送 - 重 贴 标签 方法 允许 我 们 以 任意 次 序 执行 基本 操作 。 但 是 ， 如 果 仔 细 地 选择 这 个 次 序 ， 
并 对 网 络 数据 结构 进行 高 效 的 管理 ， 我 们 便 可 以 以 比 推论 26. 25 所 给 出 的 O(V?*E) 时 间 复 杂 度 更 
快 的 速度 来 解决 最 大 流 问 题 。 下 面 将 要 讨论 的 算法 是 前 置 重 贴标签 算法 ， 该 算法 是 一 个 运行 时 
间 为 OCV?) 的 推送 - 重 贴标签 算法 ， 其 运行 时 间 在 一 般 情 况 下 不 亚 于 OC(V*E)， 而 在 稠密 网 络 情况 
下 要 优 于 OV E). 

前 置 重 贴标签 算法 在 执行 过 程 维 持 一 个 网 络 中 的 结 点 的 链表 。 算 法 从 头 到 尾 对 链表 进行 扫 
描 ， 每 次 选择 一 个 溢出 结 点 &， 然 后 对 所 选 结 点 进行 释放”， 即 对 所 选 结 点 执行 推送 操作 和 重 贴 
标签 操作 ， 直 到 该 结 点 不 再 拥有 正 值 的 超额 流量 为 止 。 每 次 在 算法 对 一 个 结 点 进行 重 贴标签 操 
作 时 ， 我 们 都 将 该 结 点 移动 到 链表 的 最 前 面 (这 就 是 “前 置 重 贴 标签 算法 ”名 字 的 由 来 )， 而 算法 则 
开始 一 次 新 的 扫描 。 

前 置 重 贴 标签 算法 的 正确 性 和 时 间 复 杂 度 分 析 都 依赖 于 所 谓 的 “许可 边 ” 的 概念 。 许 可 边 是 
指 在 残存 网 络 中 ， 流 可 以 经 其 进行 推送 的 边 。 在 对 由 许可 边 所 组 成 的 网 络 的 一 些 性 质 进行 证 明 
后 ,我 们 将 研究 结 点 的 释放 操作 ， 然 后 阐述 并 分 析 前 置 重 贴标签 算法 。 

许可 边 和 网 络 

设 图 G= 二 (V，E) 是 一 个 源 结 点 为 ; 汇 点 为 + 的 流 网 络 ，f 是 G 的 一 个 预 流 ,，h 是 一 个 高 度 
函数 。 对 于 边 (u，vw)， 如 果 clu, V> H hD Shol, Wu, VERFT A. FM, 
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边 (x， 刀 是 非 许可 边 。 许 可 网 络 则 指 的 是 图 Ga =V, Epa) EP Ejs 是 许可 边 的 集合 。 

从 上 述 定义 可 知 ， 许 可 网 络 由 那些 可 以 在 其 上 推送 流 的 边 所 构成 。 下 面 的 引 理 表明 这 种 网 
络 是 一 个 有 向 无 环 图 。 

引 理 26. 26( 许 可 网 络 是 无 环 的 ) wRAG=(V, EE) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ，f 
是 G 的 一 个 预 流 ,， 户 是 一 个 高 度 函数 ， 则 许可 网 络 Gj 二 (V，EEj.i) 是 无 环 的 。 

证 明 使 用 反 证 法 。 假定 许可 网 络 Gy LRA P= (ws Us VU), 其 中 w 二 WW A 
k>0, HFA p 上 的 每 条 边 都 是 许可 边 ， 因 此 有 h《v1) 二 hlv) 十 1，i 二 1，2，*…，k。 将 这 些 
等 式 加 起 来 ， 我 们 有 : 


Xhud = Sac) +) = = aca) + 


因为 环 路 p 上 的 每 个 结 点 在 两 边 的 和 式 中 各 出 现 一 次 ， 因此 得 到 矛盾 的 结果 0 一 k。 a 

下 面 的 两 个 引 理 说 明 推送 操作 和 重 贴标签 操作 是 如 何 改变 许可 网 络 的 。 

引 理 26. 27 如 果 图 G 二 (V，) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ，f 是 G 的 一 个 预 流 ， 
假定 凡是 一 个 高 度 函 数 ， 如 果 结 点 u 是 一 个 溢出 结 点 ， 且 (wu， 必 是 一 条 许可 边 ， 则 PUSH(u，w) 
操作 适用 于 结 点 u 上 。 该 操作 不 会 创建 任何 新 的 许可 边 ， 但 有 可 能 导致 边 (u，v) 成 为 非 许可 边 。 

证 明 根据 许可 边 的 定义 ， 可 以 从 结 点 4 往 结 点 v 推 送 流 。 由 于 结 点 在 溢出 ，PUSH(u，w) 
操作 适用 于 结 点 wx。 从 结 点 u 到 结 点 推送 流 的 操作 所 能 创建 的 唯一 的 新 残存 边 是 边 (v，u)。 由 
于 wh 二 wu.h 一 1]， 边 (v，w) 不 可 能 成 为 许可 边 。 如 果 推 送 操 作 是 一 个 饱和 推送 ， 则 在 操作 之 后 有 
cilu，v) 二 0 FHH Cu, VRAIT H. a 

引 理 26.28 设 图 G 二 (V，EE) 是 一 个 源 结 点 为 s、 汇 点 为 1 的 流 网 络 ，f 是 G 的 一 个 预 流 ， 
假定 疡 是 一 个 高 度 函 数 ， 如 果 结 点 & 是 一 个 溢出 结 点 ， 且 不 存在 从 结 点 & 发 出 的 许可 边 ， 则 
RELABEL(w) 操 作 适 用 于 结 点 u。 此 外 ， 在 对 结 点 进行 重 贴标签 操作 后 ， 将 至 少 存在 一 条 从 结 
点 发 出 的 许可 边 ， 但 不 存在 进入 结 点 的 许可 边 。 

TEAR ”如 果 结 点 TERE. OURS S| FH 26. 14， 推 送 操作 或 重 贴 标签 操作 可 以 应 用 于 结 点 ow, 
如 果 没 有 从 结 点 zx 发 出 的 许可 边 ， 则 不 能 从 结 点 x 往外 推送 任何 流 ， 因 此 ，RELABEL(z) 操 作 可 
以 应 用 于 结 点 x。 在 对 * 进行 重 贴标签 操作 后 ,将 有 .hh 二 1 十 min{v.h: (u, EE/}。 因 此 ， 如 
果 结 点 v 是 该 集合 中 取 值 最 小 的 结 点 ， 边 (wu，wv) 将 成 为 非 许 可 边 。 因 此 ， 在 重 贴 标签 操作 后 ， 将 
至 少 存在 一 条 从 结 点 4 发 出 的 许可 边 。 

要 证 明 在 重 贴 标签 操作 后 ， 不 存在 进入 结 点 x 的 许可 边 ， 我 们 可 以 使 用 反 证 法 。 假 定 存 在 一 
个 结 点 w， 使 得 (w，z) 是 一 条 许可 边 。 那 么 在 重 贴标签 操作 后 ， 有 v.h==u.h 十 1， 因 此 ， 在 重 贴 
标签 之 前 有 v. h>u.h+1, REGI 26. 12， 在 高 度 差 超 过 1 的 结 点 对 之 间 不 存在 残存 边 。 而 且 ， 
对 一 个 结 点 进行 重 贴标签 操作 并 不 会 改变 残存 网 络 。 因 此 ， 边 (w，zD) 不 属于 残存 网 络 ， 从 而 它 不 
可 能 是 许可 网 络 的 一 条 边 。 a 

邻接 链表 

在 前 置 重 贴标签 算法 中 ， 我 们 将 所 有 的 边 都 组 织 为 “邻接 链表 ”。 给 定 流 网 络 G=(V, E), 
对 于 结 点 vxEV， 其 邻接 链表 N 是 结 点 在 图 G 中 的 邻接 结 点 所 构成 的 一 个 单 链表 。 因 此 ， 如 
果 边 (u，v) EE 或 者 边 (vw，u) EE， 则 结 点 v 将 出 现在 链表 wu. Np., BRER u N 包含 的 结 点 
恰好 是 那些 可 能 存在 残存 边 (u，v) 的 结 点 v。 属 性 u. N. head 指向 的 是 邻接 链表 u. N 中 的 第 一 个 
结 点 ，v. nextneighbor 指向 的 是 在 链表 wu. N 中 位 于 结 点 v 后 面 的 一 个 结 点 ( 即 v 的 后 继 结 点 )。 
WR vv 是 链表 中 的 最 后 一 个 结 点 ， 则 该 指针 的 值 为 NIL, 

前 置 重 贴标签 算法 以 任意 次 序 遍 历 每 个 邻接 链表 ， 该 次 序 在 算法 的 整个 执行 过 程 中 维持 不 
变 。 对 于 每 个 结 点 w， 属 性 u. current 指向 的 是 x. N 链表 中 当前 正在 考虑 的 结 点 。 在 初始 状态 下 ， 
u. current 被 设置 为 u. N. head. 
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释放 溢出 结 点 

对 于 溢出 结 点 wx， 如 果 将 其 所 有 多 余 的 流通 过 许可 边 推送 到 相 邻 的 结 点 上 ， 则 称 该 结 点 得 到 
释放 。 在 释放 过 程 中 ， 需 要 对 结 点 u 进行 重 贴标签 操作 ， 这 使 得 从 结 点 u 发 出 的 边 成 为 许可 边 。 
下 面 是 释放 操作 DISCHARGE 的 伪 代 码 : 

DISCHARGE(u) 

1 while u. e>0 

2 v=u. current 

3 if v == NIL 
4 RELABEL(u) 
5 u. current=u. N. head 
6 elseif c/(u,v)>0 and u. h==v.h+1 
7 PUSH(u,v) 
8 


else u. current=v. next-neighbor 


图 26-9 描述 的 是 上 述 算法 第 1 一 8 ÍT while 循环 的 几 次 执行 。 只 要 结 点 4 还 有 正 值 的 超额 流 
量 ， 该 循环 就 持续 执行 。 每 次 迭代 执行 下 面 三 种 操作 中 的 一 种 ， 具 体 执行 哪 种 操作 取决 于 邻接 链 
K u N 中 当前 结 点 wv 的 情况 。 





or N LU wo 
xn xx Ñj 
a Go N 
Nok & |W 
xn * uja 





图 26-9 对 结 点 y 进行 的 释放 操作 。 一 共 需 要 15 遍 while 循环 的 DISCHARGE 操作 ， 才 将 结 点 y 
的 所 有 超额 流 推送 出 去 。 图 中 仅 显 示 了 结 点 y 的 邻接 结 点 和 流 网 络 中 进入 或 离开 结 点 y 
的 边 。 在 图 的 每 个 部 分 ， 结 点 中 的 数值 为 其 在 该 部 分 图 的 第 一 次 迭代 开始 时 的 超额 流量 
值 ， 每 个 结 点 都 显示 相应 的 高 度 标尺 上 。 在 每 次 迭代 开始 时 ， 邻 接 链 表 y N 的 内 容 显 
示 在 图 的 右面 ， 而 迭代 的 次 数 显示 在 项 上 。 米 盖 阴 影 的 邻接 结 点 是 y. current。(a) 初 始 
情况 下 ， 结 点 y 上 有 19 个 单位 的 超额 流量 ， 并 且 y. current =s, 迭代 1, 2 Al 3 只 不 过 
是 将 y. current 指针 往 前 推进 ， 因 为 没有 任何 从 结 点 y 发 出 的 许可 边 存 在 。 在 第 4 UE 
IRRF, y. current 王 NIL( 邻 接 链表 下 面 的 覆盖 阴影 的 圆圈) ， 因 此 ， 算 法 对 结 点 y 进行 重 
贴标签 操作 ， 且 y. current 被 复位 到 邻接 链表 的 开头 。(b) 在 重 贴标签 操作 后 ， 结 点 y 的 
高 度 为 1。 在 第 5 次 和 第 6 次 迭代 时 ， 边 (y，s) 和 边 (y，z) 都 被 发 现 是 非 许 可 边 , 但 在 
第 7 次 迭代 中 ， 算 法 将 8 个 单位 的 超额 流量 从 结 点 y 推送 到 结 点 z。 因 为 这 次 推送 ， 指 
针 y. current 在 该 次 迭代 中 没有 往 前 推进 。(c) 因 为 第 7 次 迭代 的 推送 操作 将 边 (y，z) 推 
至 饱和 状态 ， 该 条 边 在 第 8 次 迭代 时 被 发 现 是 非 许 可 边 。 在 第 9 次 迭代 时 ，y. current= 
NIL， 因 此 ， 算 法 对 结 点 y 将 再 次 进行 重 贴标签 操作 ， 且 y. current 被 复位 到 链表 的 最 
前 端 。(d) 在 第 10 次 迭代 时 ， 边 (y，s) 是 非 许 可 边 , 但 第 11 次 迭代 时 ,算法 将 5 个 单 
位 的 超额 流量 从 结 点 y 推送 到 结 点 xz。(e) 因 为 y. current 指针 在 第 11 次 迭代 时 没有 往 
前 推进 ， 在 第 12 次 迭代 时 ， 该 算法 发 现 边 (y，zx) 是 非 许可 边 。 第 13 次 迭代 则 发 现 边 
(y，z) 是 非 许 可 边 ， 在 第 14 KÆR, PRE RTS AL y 进行 重 贴标签 操作 并 对 指针 
y. current 进行 复位 。( 人 ?在 第 15 次 迭代 时 ， 算法 将 6 个 单位 的 超额 流量 从 结 点 y 推送 到 
源 结 点 ;s。(g) 结 点 y 现在 已 经 没有 超额 流量 ，DISCHARGE 算法 终止 。 在 本 例 中 ， 算 
法 DISCHARGE 在 开始 和 结束 时 ， 当 前 的 指针 都 指向 邻接 链表 的 开头 ， 但 在 一 般 情况 
下 ， 这 个 假设 不 一 定 成 立 
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1. 如 果 结 点 v 是 NIL， 则 运行 至 邻接 链表 u. N 的 末尾 。 此 时 ， 算 法 第 4 行将 对 结 点 u 进行 
重 贴标签 操作 ， 算 法 第 5 行将 结 点 的 当前 邻 结 点 设 为 邻接 链表 u. N 的 第 一 个 元 素 。( 下 面 的 引 
理 26. 29 将 证 明 重 贴标签 操作 在 本 场景 下 是 适用 的 。) 

2. 如 果 结 点 v 是 非 NIL， 并 且 边 (wx， 了 是 一 条 许可 边 ( 由 算法 第 6 行 的 测试 所 决定 )， 则 算法 
第 7 行将 结 点 4 的 部 分 (也 可 能 是 全 部 ) 超 额 流量 推送 到 结 点 v 上 。 

3. 如 果 结 点 v 是 非 NIL, 但 边 (u，wv) 是 非 许可 边 ， 则 算法 第 8 行将 邻接 链表 u NN 中 的 
u. current 指针 往 前 推进 一 个 位 置 。 

这 里 请 注意 ， 如 果 针 对 一 个 溢出 结 点 u 来 调用 DISCHARGE 操作 ， 则 DISCHARGE 所 执行 
的 最 后 一 个 操作 必定 是 对 结 点 u 所 执行 的 推送 操作 。 为 什么 ?因为 该 算法 终止 的 唯一 条 件 是 当 
ze 为 0 时 ， 重 贴标签 操作 和 将 指针 u. current 往 前 推进 的 操作 都 不 会 影响 x.e 的 取 值 。 

我 们 必须 确保 ， 当 DISCHARGE 操作 调用 PUSH 或 RELABEL 操作 时 ， 该 操作 确实 是 当时 
适用 的 操作 。 下 面 的 引 理 将 证 明 这 个 事实 。 

引 理 26.29 ”如果 DISCHARGE 操作 在 第 7 行 调用 PUSH(u, v) 操作， 则 推送 操作 适用 于 边 
Cu, v). 40% DISCHARGE 操作 在 第 4 行 调 用 RELABEL(w) 操 作 ， 则 重 贴标签 操作 适用 于 结 点 u 

证 明 算法 第 1 行 和 第 6 行 的 测试 确保 推送 操作 仅 在 该 操作 适用 时 才 会 被 调用 ， 因 此 ， 引 理 
的 第 一 部 分 得 到 证 明 。 

要 证 明 引 理 的 第 二 格 部 分 ， 根 据 算 法 第 1 行 的 测试 和 引 理 26. 28 ， 我 们 只 需要 证 明 所 有 从 结 
Au 发 出 的 边 都 是 许可 边 即 可 。 如 果 在 DISCHARGE(w) 的 调用 开始 时 ， 指 针 u. current 指向 的 是 
结 点 u 的 邻接 链表 的 表 头 ， 在 调用 结束 时 指针 指向 的 是 链表 的 末尾 之 后 ， 则 结 点 的 所 有 发 出 边 
都 是 非 许 可 边 ， 并 且 重 贴标签 操作 可 以 应 用 于 结 点 wx。 但 是 ,在 DISCHARGE(w) 的 调用 过 程 中 ， 
指针 u. current 仅仅 遍历 了 链表 的 一 部 分 ， 程 序 就 结束 并 返回 了 。 此 时 ， 我 们 可 以 针对 其 他 结 点 
调用 DISCHARGE(z) 操 作 ， 但 u. current 指针 将 在 下 一 次 对 DISCHARGE(w) 的 调用 中 继续 在 链 
表 中 向 前 推进 。 现 在 考虑 对 链表 进行 一 次 完整 遍历 时 所 发 生 的 事情 。 在 一 次 完整 的 遍历 中 ， 指 针 
在 开始 时 指向 邻接 链表 u N 的 开头 ， 结 束 时 指向 链表 末尾 的 后 面 一 个 位 置 ， 即 u. current=NIL. 
一 旦 u. current 指针 到 达 了 链表 的 末尾 ， 算 法 就 将 对 结 点 u 进行 重 贴标签 操作 ， 并 开始 新 一 轮 的 
遍历 。 在 一 次 遍历 中 ， 如 果 u. current 指针 要 推进 到 结 点 vEwu. N 的 后 面 ， 则 边 (u，wv) 必 定 在 算 
法 第 6 行 的 测试 中 被 判定 为 非 许可 边 。 因 此 ， 在 该 次 遍历 结束 时 ， 每 条 从 结 点 u 发 出 的 边 都 在 遍 
历 的 某 个 阶段 被 裁定 为 非 许 可 边 。 这 里 需要 注意 的 关键 是 ， 在 一 次 遍历 的 末尾 ， 所 有 从 结 点 x 发 
出 的 边 仍然 是 非 许可 边 。 为 什么 ?根据 引 理 26. 27， 对 于 推送 操作 来 说 ， 不 管 流 是 从 哪个 结 点 所 
推送 出 来 的 ， 都 不 能 创建 任何 许可 边 。 因 此 ， 任 何许 可 边 必定 由 重 贴 标签 操作 所 创建 。 但 结 点 zx 
在 遍历 中 并 没有 进行 重 贴标签 操作 ， 根 据 引 理 26.28, ， 任 何在 遍历 (这 是 调用 DISCHARGE(w) 的 
结果 ) 中 被 重 贴标签 的 结 点 v 在 重 贴标签 操作 后 将 没有 进入 的 许可 边 。 因 此 ， 在 遍历 结束 时 ， 所 
有 从 结 点 发 出 的 边 都 仍 是 非 许可 边 ， 而 这 就 完成 了 我 们 的 证 明 。 E 

前 置 重 贴标签 算法 

在 前 置 重 贴标签 算法 中 ， 我 们 维持 一 个 链表 LL， 该 表 由 V 一 {s，} 中 的 所 有 结 点 构成 。 这 里 
的 关键 性 质 是 ， 链 表 工 中 的 结 点 均 按 照 许可 网 络 里 面 的 拓扑 排序 次 序 存放 ， 就 如 我 们 将 在 下 面 
的 循环 不 变 式 中 所 看 到 的 。( 由 引 理 26. 26 可 知 ， 许 可 网 络 是 一 个 有 向 无 环 图 。) 

在 前 置 重 贴标签 算法 的 伪 代 码 中 ， 假定 针 对 每 个 结 点 uw， 邻接 链表 u N 都 已 经 被 创立 。 该 算 
法 同时 还 假定 u. next 指针 指向 链表 工 中 紧 随 结 点 的 结 点 ( 结 点 w 的 后 继 结 点 )， 并 且 ， 与 往常 
一 样 ， 如 果 结 点 u 是 链表 的 最 后 一 个 结 点 ， 则 u. next=NIL. 

RELABEL-TO-FRONT(G, 5,0) 

1 INITIALIZE-PREFLOW(G, s) 
2 L=G.V—{s,t},in any order 
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3 for each vertex xE G.V—{s,t} 

4 u. current=u. N. head 

5 u=L. head 

6 while uANIL 

7 old-height=u.h 

8 DISCHARGE(«) 

9 if u. h>old-height 

10 move u to the front of list L 


ll u=u. next 


前 置 重 贴标签 算法 的 工作 过 程 如 下 : 算法 第 1 行 对 网 络 的 预 流 和 高 度 进行 初始 化 ， 初 始 化 所 用 到 的 
值 与 通用 推送 - 重 贴标签 算法 所 用 的 值 相 同 。 算 法 第 2 行 对 链表 工 进 行 初始 化 ， 在 该 步 初始 化 操作 结束 
时 ， 链 表 世 中 包含 的 是 所 有 可 能 出 现 潜在 溢出 的 结 点 ， 而 结 点 之 间 的 次 序 则 是 任意 的 。 算 法 第 3 一 4 行 对 
每 个 结 点 u 的 current 指针 进行 初始 化 ， 使 其 指向 结 点 4 的 邻接 链表 的 第 一 个 结 点 ( 表 头 结 点 )。 

如 图 26-10 所 示 ， 算 法 第 6 一 11 行 的 while 循环 对 链表 L 进行 遍历 并 释放 结 点 。 算 法 第 5 行 
从 链表 的 第 一 个 结 点 开始 检查 。 每 次 通过 while 循环 时 ， 算 法 第 8 行 对 结 点 4 进行 释放 操作 。 如 
果 结 点 4 在 DISCHARGE 过 程 执行 了 重 贴标签 操作 ， 则 算法 的 第 10 行 负责 将 其 移动 到 链表 工 的 
最 前 面 。 对 于 结 点 u 来 说， 通过 比较 其 释放 操作 前 的 高 度 与 释放 后 的 高 度 ( 第 9 行 )， 可 以 判断 出 
结 点 4 是 否 执 行 了 重 贴标签 操作 。 结 点 在 释放 前 的 高 度 保存 在 算法 第 7 行 的 变量 old-height 中 。 
算法 第 11 行 以 链表 L 中 结 点 后 面 的 一 个 结 点 作为 下 一 次 迭代 的 基点 。 如 果 算法 第 10 行将 结 点 
& 移 到 了 链表 的 最 前 面 ， 则 下 一 次 迭代 所 用 到 的 结 点 是 x 在 新 位 置 上 的 后 继 结 点 。 
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26-10 ”前 置 重 贴标签 算法 的 执行 过 程 。(a) 在 while 循环 第 一 次 迭代 之 前 的 流 网 络 。 在 初始 时 ， 有 26 个 
单位 的 流 从 源 结 点 s 发 出 。 图 的 右面 显示 的 是 初始 链表 L 二 (r+，y，z)。 在 初始 情况 下 ，u 王 x。 在 
ER L 中 的 每 个 结 点 之 下 为 该 结 点 的 邻接 链表 ， 其 中 我 们 在 当前 的 邻 结 点 上 加 了 阴影 。 算 法 对 
结 点 工 进行 释放 操作 ， 在 该 释放 操作 中 ， 我 们 对 其 进行 了 重 贴标签 操作 ， 操 作 后 结 点 z 的 高 度 为 
1， 此 外 ， 算 法 还 将 结 点 工 的 5 个 单位 的 超额 流量 推送 到 结 点 >， 剩 下 的 7 个 单位 的 超额 流量 推送 
到 终结 点 +。 因 为 z 执行 了 重 贴标签 操作 ， 所 以 算法 将 其 移动 到 链表 工 的 最 前 面 ， 在 本 图 中 ， 这 
种 移动 并 不 改变 链表 工 的 结构 。(b) 在 结 点 工 之 后 ， 链 表 工 中 的 下 一 个 被 释放 的 结 点 是 结 点 y。 
图 26-9 描述 的 是 在 这 种 情况 下 释放 结 点 y 的 详细 过 程 。 因 为 结 点 y 也 执行 了 重 贴标签 操作 ， 它 
也 被 移动 到 链表 工 的 开头 。(c) 现 在 ， 结 点 工 在 链表 工 中 位 于 结 点 y 的 后 面 ， 因 此 它 再 次 被 释放 ， 
将 所 有 5 个 单位 的 超额 流量 推送 到 终结 点 :。 因 为 结 点 z 在 本 次 释放 操作 中 没有 执行 重 贴标签 操 
作 ， 所 以 它 在 链表 工 中 的 位 置 保持 不 变 。(d) 由 于 结 点 = EER L 中 紧 随 着 结 点 zx， 故 该 结 点 将 
被 释放 。 其 高 度 在 重 贴标签 操作 后 为 1， 其 所 有 8 个 单位 的 超额 流量 都 被 推送 到 终结 点 :。 因 为 
结 点 = 执行 了 重 贴标签 操作 ， 所 以 其 也 被 移动 到 链表 工 的 前 端 。(e) 结 点 y 现在 位 于 结 点 z 之 后 ， 
因此 将 再 次 被 释放 。 但 是 因为 结 点 y 已 经 没有 超额 流量 ，DISCHARGE 操作 将 立即 返回 , 结 点 y 
维持 在 链表 工 中 的 位 置 不 变 。 在 此 之 后 ， 结 点 z 被 释放 。 因 为 结 点 x 也 已 经 没有 超额 流量 ， 
DISCHARGE 操作 将 再 一 次 返回 ， 结 点 工 维持 原 位 置 不 变 。 此 时 ， 前 置 重 贴标签 算法 到 达 链 表 世 
的 末尾 ， 算 法 终止 。 这 时 再 没有 溢出 的 结 点 ， 预 流 就 是 一 个 最 大 流 
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图 26-10 (4%) 


为 了 证 明 前 置 重 贴标签 算法 确实 计算 出 了 一 个 最 大 流 ， 我 们 将 证 明 它 就 是 通用 推送 - 重 贴 标 
签 算法 的 一 种 实现 。 首 先 ， 我 们 观察 到 ， 该 算法 仅 在 推送 操作 和 重 贴标签 操作 适用 的 时 候 才 执行 
这 些 操 作 ， 因 为 引 理 26. 29 保证 DISCHARGE 操作 只 在 这 些 操 作 适 用 的 情况 下 才 调 用 它们 。 剩 
下 的 只 需要 证 明 当 前 置 重 贴标签 算法 终止 时 ， 没 有 任何 基本 的 操作 可 以 适用 。 正 确 性 论断 的 剩 
余部 分 依赖 于 下 面 的 循环 不 变 式 : 

在 前 置 重 贴标签 算法 第 6 行 的 测试 中 ， 链 表 荆 是 可 允许 网 络 Gmm 一 (V，Ern) 中 结 点 的 一 个 
拓扑 排序 ， 并 且 在 链表 工 中 位 于 结 点 4 前 面 的 结 点 没有 超额 流量 。 

初始 化 : 执行 INITIALIZE-PREFLOW 操作 后 立即 可 得 ，s.h 二 |V| 并 且 对 于 所 有 的 
vEV— {s}, vh=0. HF |V| >20) V 至 少 包含 源 结 点 s 和 汇 点 1)， 没 有 边 是 许可 边 。 因 此 
E =Ø, FARA V—(s, tt} 中 结 点 之 间 的 任意 次 序 都 是 Gj,, 的 一 个 拓扑 排序 。 
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另外 ， 因 为 在 初始 情况 下 ， 结 点 是 链表 工 的 表 头 ， 它 前 面 没有 其 他 结 点 ， 因 此 在 其 前 面 没 
有 超额 流量 的 结 点 。 

保持 : 要 证 明 while 循环 的 每 次 迭代 都 维持 拓扑 排序 的 次 序 ， 首 先 观察 到 许可 网 络 只 在 推送 
操作 和 重 贴标签 操作 中 发 生 改 变 。 根 据 引 理 26. 27， 推 送 操作 不 能 将 边 改 变 为 许可 边 。 因 此 ， 只 
有 重 贴标签 操作 能 够 创建 许可 边 。 但 是 ， 在 对 一 个 结 点 wu 进行 重 贴标签 操作 后 ， 根 据 引 理 
26. 28， 不 存在 进入 结 点 的 许可 边 ,但 可 能 有 从 结 点 u 发 出 的 许可 边 。 因 此 ， 通 过 将 x 移动 到 
ERL 的 前 端 ， 该 算法 确保 所 有 从 u 发 出 的 许可 边 都 满足 拓扑 排序 的 次 序 。 

为 了 证 明 在 链表 工 中 处 于 结 点 前 面 的 结 点 都 没有 超额 流量 ,我 们 把 下 一 个 次 迭代 中 将 
作为 结 点 4 的 结 点 标记 为 。 在 下 一 次 迭代 中 位 于 结 点 w 之 前 的 结 点 包括 当前 的 结 点 u( 因 
为 算法 第 11 行 )， 以 及 要 么 没有 其 他 结 点 (如 果 结 点 xz 执行 了 重 贴标签 操作 ) 要 么 与 原来 相同 
的 结 点 (如 果 结 点 x 没有 执行 重 贴标签 操作 ) 。 当 对 结 点 u 进行 释放 时 ， 结 点 x 在 此 操作 之 后 
将 没有 超额 流量 。 因 此 ， 如 果 结 点 x 在 释放 过 程 中 执行 了 重 贴标签 操作 ， 则 所 有 位 于 结 点 w 
之 前 的 结 点 都 没有 超额 流量 。 如 果 结 点 x 在 释放 过 程 中 没有 执行 重 贴标签 操作 ， 则 链表 中 位 
于 该 结 点 之 前 的 结 点 中 没有 任何 结 点 在 该 次 释放 操作 中 获得 多 余 的 流量 ， 因 为 链表 工 在 释放 
操作 的 整个 过 程 中 都 维持 着 拓扑 排序 的 次 序 ( 正 如 前 面 已 经 指出 的 ， 许 可 边 只 能 由 重 贴标签 
操作 创建 ， 而 不 能 由 推送 操作 创建 )， 因 此 每 次 推送 操作 所 导致 的 超额 流量 只 能 往 链表 后 面 
的 结 点 ( 结 点 或 已 上 移动 。 再 一 次 ， 位 于 结 点 u 之 前 的 结 点 中 没有 超额 流量 。 

终止 : 当 循环 终止 时 ， 结 点 x 刚 刚 超过 了 链表 工 的 末尾 ， 因 此 ， 循 环 不 变 式 确 保 每 个 结 
点 的 超额 流量 为 0。 因 此 ， 没 有 基本 操作 可 以 应 用 。 

前 置 重 贴标签 算法 的 分 析 

我 们 现在 来 证 明 前 置 重 贴 标签 算法 在 任何 流 网 络 G 二 (VV，E) 上 的 运行 时 间 为 OCV). WA 
该 算法 是 通用 推送 - 重 贴标签 算法 的 一 种 实现 ， 我 们 将 充分 利用 推论 26. 21 的 结论 。 该 推论 告诉 
我 们 ， 每 个 结 点 的 重 贴标签 操作 次 数 不 会 超过 O(V)， 而 所 有 结 点 的 重 贴标签 操作 的 总 次 数 不 会 
超过 OC(V*)。 上 此外， 练习 26. 4-3 告诉 我 们 ， 算法 花 在 重 贴 标签 操作 上 的 总 时 间 不 会 超过 OCVE)， 
而 引 理 26. 22 则 告诉 我 们 ， 饱 和 推送 操作 的 总 次 数 为 OCVE ) 。 

定理 26.30 前 置 重 贴标签 算法 在 任何 流 网 络 G 二 (V，EF) 上 的 运行 时 间 为 O(V?)。 

证 明 考虑 前 置 重 贴标签 算法 中 两 次 相 邻 的 重 贴标签 操作 之 间 的 “区 段 *。 这 样 的 区 段 一 共 
有 O(V2? ) 个 ， 因 为 一 共有 OV ) 个 重 贴标签 操作 。 每 个 区 段 由 最 多 |V| 次 DISCHARGE 调用 所 
组 成 。 如 果 DISCHARGE 操作 不 执行 重 贴标签 操作 ， 则 下 一 次 对 DISCHARGE 的 调用 针对 的 将 
是 链表 工 中 更 往 后 的 结 点 ， 而 链表 工 的 长 度 少 于 |V| 。 如 果 DISCHARGE 执行 了 重 贴标签 操作 ， 
下 一 次 对 DISCHARGE 的 调用 将 属于 一 个 不 同 的 区 段 。 由 于 每 个 区 段 至 多 包含 1V| 次 对 
DISCHARGE 的 调用 ， 而 一 共 只 有 O(V? ) 个 区 段 ， 因 此 ， 算 法 RELABEL-TO-FRONT 第 8 行 的 
DISCHARGE 被 调用 的 总 次 数 为 O0(Ww)。 因 此 ， 算 法 RELABEL-TO-FRONT 中 while 循环 所 执 
行 的 总 工作 ， 除 掉 DISCHARGE 中 所 执行 的 工作 后 ， 最 多 为 OV). 

现在 必须 对 算法 执行 过 程 中 DISCHARGE 中 的 工作 进行 限定 。DISCHARGE 操作 中 的 
while 循环 的 每 次 迭代 执行 三 种 操作 中 的 一 种 。 下 面 将 对 执行 每 种 操作 的 总 工作 量 分 别 进行 
分 析 。 

首先 来 分 析 重 贴标签 操作 (算法 的 第 4 一 5 行 )。 练 习 26. 4-3 为 所 有 OCV?) 个 重 贴标签 操作 的 
运行 时 间 提供 一 个 OC(VE) 的 上 界 。 

现在 ,假定 算法 第 8 行 的 DISCHARGE 操作 对 指针 u. current 指针 进行 了 更 新 。 在 每 次 对 一 
个 结 点 进行 重 贴 标签 操作 时 ， 更 新 操作 将 发 生 O(Cdegree(z) ) 次 ， 对 于 所 有 结 点 来 说 ， 这 种 操作 
一 共 发 生 OV + degree(zx)) 次 。 因 此 ， 根 据 握手 引 理 (练习 B. 4-1) ， 对 于 所 有 的 结 点 ， 将 指针 在 
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邻接 链表 中 往 前 推进 的 总 工作 量 为 O(VE)。 

DISCHARGE 所 执行 的 第 三 种 操作 是 推送 操作 (算法 第 7 行 )。 我 们 已 经 知道 饱和 推送 操作 的 
总 次 数 为 OC(VE)。 注 意 观 察 ， 如 果 算 法 执行 一 个 非 饱 和 推送 操作 ，DISCHARGE 将 立即 返回 ， 
因为 推送 操作 会 将 超额 流量 缩减 到 0。 因 此 ， 在 每 次 DISCHARGE 调用 中 最 多 只 能 有 一 次 非 饱 和 
推送 操作 。 正 如 我 们 已 经 看 到 的 ，DISCHARGE 被 调用 的 次 数 为 OC(V*)， 因 此 ， 用 于 执行 非 饱 和 


推送 操作 的 总 时 间 成 本 为 OV). 

因此 ， 前 置 重 贴标签 算法 的 总 运行 时 间 为 OV 十 VE)， 也 就 是 OV). a 
练习 
26.5-1 请 以 图 26-10 所 示 的 方式 ， 在 图 26-1(a) 所 示 的 流 网 络 上 演示 前 置 重 贴标签 算法 的 执行 


*26. 5-2 


思考 题 
(逃逸 问题 ) nXn 的 网 格 是 由 行 和 n 列 结 点 所 构成 的 无 向 图 ， 如 图 26-11 所 示 。 我 们 将 
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过 程 。 假 设 链表 工 中 结 点 的 最 初 顺序 是 (w， ww， ，v，);， 并 且 各 个 邻接 链表 的 内 
容 如 下 : 

u. N= (5502503) 

w. N= (55U; 9 V3 9%) 

W. N= (ww 9% st) 

u. N= (ww ,vw 5t) 
我 们 希望 以 如 下 方式 来 实现 推送 - 重 贴 标签 算法 : 在 算法 中 维持 一 个 先进 先 出 的 队列 ， 
用 来 存放 溢出 结 点 。 算 法 重复 将 队列 头 部 的 结 点 进行 释放 ， 任 何在 释放 前 没有 溢出 但 在 
释放 后 出 现 溢出 的 结 点 均 被 放置 在 队列 的 末尾 。 在 队列 头 部 的 结 点 被 释放 后 ， 该 结 点 即 
被 删除 。 当 队列 为 空 时 ， 算法 终止 。 说 明 如 何 实现 该 算法 ， 以 便 在 OV ) 时 间 内 计算 出 
一 个 最 大 流 。 
证 明 : 如 果 RELABEL 操作 对 u. h 的 更 新 只 是 简单 地 计算 wu.h 二 wu.h 十 1， 通 用 算法 仍然 
能 够 正确 工作 。 另 外 ， 请 说 明 该 变化 对 前 置 重 贴标签 算法 的 分 析 会 有 何 种 影响 ? 
证 明 : 如 果 总 是 释放 高 度 最 高 的 溢出 结 点 ， 则 可 以 使 推送 - 重 贴标签 算法 在 OC(V?) 时 间 
内 完成 。 
假定 在 推送 - 重 贴标签 算法 执行 过 程 中 的 某 个 时 刻 ， 存 在 一 个 整数 0 一 tE 委 |V| 一 1,， 使 
得 没有 任何 一 个 结 点 的 高 度 为 &( 即 不 存在 结 点 v， 使 得 v.h 二 &)。 证 明 : 所 有 高 度 大 于 
& 的 结 点 都 位 于 某 个 最 小 切割 的 源 结 点 这 一 边 。 如 果 这 样 一 个 & 存 在 ， 则 跨越 式 启发 
(gap heuristic) XE v. h>k 的 结 点 vEV 一 {s) 进 行 更 新 ， Kueh BEA max(v.h, 
1V| 十 1)。 证 明 : 结果 属性 是 一 个 高 度 函 数 。( 在 实际 中 ， 跨 越 式 启发 对 于 高 效率 地 
实现 推送 - 重 贴 标签 算法 起 着 关键 作用 .) 


位 于 第 i 行 和 第 j 列 的 结 点 表示 为 (i，j)。 除 了 位 于 边界 的 结 点 外 ， 网 络 中 其 他 所 有 结 点 
都 有 刚好 4 个 邻 结 点 。 边 界 结 点 指 的 是 满足 i 二 1、i 二 n、j 二 1 或 j 二 nn 的 结 点 (i, j). 

在 这 样 的 网 格 里 给 定 mr? 个 起 始 结 点 (zi ， 2)，(z，y%)，…，(z，ym)， 和 逃逸 问题 要 
做 的 事情 是 判断 是 否 存在 从 这 些 起 始 结 点 到 任意 m 个 不同 的 边界 结 点 之 间 的 m 条 结 点 分 
离 的 路 径 ( 每 条 路 径 之 间 没 有 共同 结 点 )。 例 如 ， 在 图 26-11(a) 所 示 的 网 格 中 有 一 个 逃逸 线 
路 ,但 图 26-11(b) 的 网 格 则 没有 逃逸 线路 。 
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图 26-11 用 于 逃逸 问题 的 网 格 。 黑 色 的 点 为 起 始 结 点 ， 其 他 结 点 为 白色 。(a) 有 逃逸 
线路 的 网 格 ， 逃 逸 线路 上 都 加 了 阴影 。(b) 没 有 逃逸 线路 的 网 格 
a. 考虑 一 个 结 点 和 边 都 有 容量 限制 的 流 网 络 。 也 就 是 说 ， 进 入 任何 给 定 结 点 的 正 流 都 要 
受到 容量 的 限制 。 证 明 : 在 一 个 结 点 和 边 都 有 容量 的 流 网 络 中 确定 最 大 流 的 问题 可 以 
归 约 为 同等 规模 流 网 络 中 的 普通 最 大 流 问题 。 
b. 给 出 一 个 有 效 的 算法 来 解决 逃逸 问题 ， 并 分 析 算 法 的 运行 时 间 。 
(最 小 路 径 履 盖 问 题 ) 有 问 图 G 二 (V，E) 的 一 个 路 径 覆 盖 是 指 一 个 结 点 不 相交 的 路 径 集 
合 P， 使 得 集合 V 中 的 每 个 结 点 恰好 在 的 一 条 路 径 上 出 现 。 路 径 的 起 始 结 点 和 终结 点 
可 以 是 任意 结 点 ， 也 可 以 有 任意 的 长 度 ， 包 括 0 长度。 图 G 的 一 个 最 小 路 径 覆盖 是 一 个 包 
含 路 径 条 数 最 少 的 路 径 覆 盖 。 
a 给 出 一 个 有 效 算法 来 找到 有 向 无 环 图 G= 二 (V，E) 的 一 个 最 小 路 径 履 盖 。( 提 示 : 假定 
V={1, 2, =, n}, REWER G'=(V', E’), Hp 
V'S {Losi sts Ln} U {yost In} 
E'= {(xo,2;):i € V} U {Ois y) iE V} U (Cry): Gj) € E) 
然后 在 图 G' 上 运行 最 大 流 算法 .) 
b. 你 的 算法 是 否 适用 于 带 环 路 的 有 向 图 ， 请 详细 解释 。 
(算法 咨询 ) Gore 教授 希望 创办 一 家 算法 咨询 公司 。 教 授 选 出 了 算法 中 的 nn 个 重要 子 领 
域 ( 大 概 相当 于 本 书 的 每 个 不 同 部 分 )， 并 用 集合 A 二 {Al，A,，…，A,) 予 以 表示 。 在 每 
个 子 领域 A;， 教 授 可 以 用 c 美元 聘请 该 领域 的 一 位 专家 。 咨 询 公 司 已 经 列 出 了 一 个 潜在 
工作 的 集合 J 二 {J ，J。，…，J，}。 为 了 完成 工作 J;， 公 司 需 要 在 子 领域 的 子 集合 RCA 
中 聘请 专家 。 每 位 专家 可 以 同时 从 事 多 项 工作 。 如 果 公 司 选 择 接受 工作 J;， 则 公司 必须 
在 集合 R 中 的 所 有 子 领域 中 聘请 专家 ， 同 时 ,公司 从 该 项 目 中 可 以 收入 的 营业 额 
为 p; 美元 。 
Gore 教授 的 工作 是 决定 聘请 哪些 子 领域 的 专家 ， 接 受 哪 些 工 作 ， 以 便 使 公司 的 净 营 业 额 
达到 最 高 ， 这 里 净 营 业 额 指 的 是 从 工作 中 获得 的 总 输入 减 去 聘请 专家 的 总 成 本 的 差额 。 
考虑 下 面 的 流 网 络 G。 该 网 络 包含 一 个 源 结 点 s A Ao, Ao o An AA Si» 
Jos ts Jms 以 及 一 个 汇 点 t+。 对 于 二 1]，2，…，n， 流 网 络 包 含 一 条 边 (s，A,)， 其 容 
量 为 c(s，A,) 二 0， 而 对 于 i 二 1]，2，…，m,， 流 网 络 包 含 一 条 边 (J;，t)， 容 量 为 
cJis Spis MFR=1, 2, =, nMli=1, 2, =, m MRAECR, WAGHAW 
(Ay, Ji); 其 容量 为 c(A,, J;)=00, 
a. 证 明 : 如 果 对 于 一 个 有 限 容 量 的 切割 (S，T) ， 有 J;E T， 则 对 于 每 个 结 点 AvER， 有 
AET., 
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b. 请 说 明 如 何 从 图 G 的 一 个 最 小 切割 的 容量 和 给 定 的 p; 值 中 计算 公司 的 最 大 净 收 入 。 

c. 请 给 出 一 个 有 效 算法 来 判断 哪些 工作 应 该 接受 ， 哪 些 专家 应 该 聘请 。 分 析 算 法 的 运行 
时 间 ， 并 以 m、n 和 7 二 多 |R;| 来 予以 表示 。 

(最 大 流 的 更 新 ) 设 G=(V，E) 是 一 个 源 结 点 为 s EAR t 的 流 网 络 ， 其 容量 全 部 为 整数 

值 。 假 定 我 们 已 经 给 定 G 的 一 个 最 大 流 。 

a 如 果 将 单条 边 (u，v) EE 的 容量 增加 1 个 单位 ， 请 给 出 一 个 O(V 十 E) 时 间 的 算法 来 对 
最 大 流 进行 更 新 。 

b. 如 果 将 单条 边 (u，wv) EE 的 容量 减少 1 个 单位 ， 请 给 出 一 个 O(V 十 E) 时 间 的 算法 来 对 
最 大 流 进行 更 新 。 

(使 用 伸缩 操作 来 计算 最 大 流 ) 设 G=(V，E) 为 一 个 源 结 点 为 ; 汇 点 为 1 的 流 网 络 ， 对 于 

每 条 边 (u，v) EE， 其 容量 c(u，wv) 为 整数 值 。 设 C= maxc (u, Vo 

a. WEH: 图 G 的 一 个 最 小 切割 的 容量 最 多 为 CIE|。 

b. 对 于 给 定数 值 K， 说 明 如 何在 O(E) 时 间 内 找到 一 条 容量 至 少 为 K 的 增 广 路 径 ， 假 如 这 
样 的 路 径 存 在 。 

使 用 下 面 的 经 过 修改 的 FORD-FULKERSON-METHOD 来 计算 图 G 的 最 大 流 : 


MAX-FLOW-BY-SCALING(G, s,t) 
1 C=maxw.verc (u,v) 
2 initialize flow f to 0 
3 K=" 
4 while K>1 
5 while there exists an augmenting path p of capacity at least K 
6 augment flow f along p 
7 K=K/2 
8 return f 
c 证 明 : 算法 MAX-FLOW-BY-SCALIING 返回 的 是 一 个 最 大 流 。 
d. 证 明 : 每 次 在 算法 第 4 行 被 执行 时 ， 残 存 网 络 Cr 的 一 个 最 小 切割 的 容量 最 多 为 2K|E|。 
e. WEH: 对 于 每 个 数值 K, SE 5 一 6 行 的 内 部 while 循环 执行 的 次 数 为 OEK. 
f. 证明: 算法 MAX-FLOW-BY-SCALING 可 以 在 OCE lgC) 时 间 内 实现 。 
(Hopcroft-Karp 二 分 匹配 算法 ) 在 本 题 中 ， 为 了 找到 一 个 二 分 图 的 最 大 匹配 ， 我 们 将 描 
述 一 个 由 Hopcroft 和 Karp 提出 的 更 快速 算法 。 算 法 的 运行 时 间 为 OOVVE)。 给 定 一 个 无 
向 二 分 图 G 二 (V，E)， 其 中 V 二 LUR 并 且 所 有 的 边 都 恰好 有 一 个 端点 在 集合 工 中 。 设 M 
为 图 C 的 一 个 匹配 。 对 于 图 C 中 的 一 条 简单 路 径 PP， 如果 该 路 径 的 起 点 是 工 中 一 个 未 匹 
配 的 结 点 ， 终 结 点 是 集合 尺 中 一 个 未 匹配 的 结 点 ， 而 路 径 上 的 边 交替 属于 M Al E—M, 
则 称 路 径 己 是 一 条 相对 于 M 的 增 广 路 径 ( 该 增 广 路 径 的 定义 与 流 网 络 中 的 增 广 路 径 相 关 ， 
但 并 不 相同 ) 。 在 本 题 中 ， 我 们 将 一 条 路 径 看 做 是 一 系列 的 边 ， 而 不 是 一 系列 的 结 点 。 一 
条 关于 匹配 M 的 最 短 增 广 路 径 是 一 条 包含 最 少 边 数 的 增 广 路 径 。 
给 定 两 个 集合 A 和 B， 对 称 差 ADB 定义 为 (A 一 B)U(B 一 A)， 即 仅 在 一 个 集合 中 出 

现 的 元 素 。 
a. 证 明 : WR MERG 的 一 个 匹配 ， 书 是 一 条 关于 M 的 增 广 路 径 ， 则 对 称 差 MOP 也 是 

一 个 匹配 并 且 | MP|==|M| 十 1。 另外， 证明: 如果 Pi, Pos, s P, 为 关于 M 的 结 

点 分 离 的 增 广 路 径 ， 则 对 称 差 MDOP, UP: U…UP4) 是 一 个 基数 为 | M| 十 的 匹配 。 
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下 面 是 Hopcroft-Karp 二 分 匹配 算法 的 一 般 结构 : 
HOPCROFT-KARP(G) 
1 M=% 
2 repeat 
3 let P= {P,P,…,P,}be a maximal set of vertex-disjoint 
shortest augmenting paths with respect to M 
4 M= MO(P1U PU:…UP) 
5 until P== 
6 return M 
该 问题 的 剩余 部 分 要 求 读者 分 析 上 述 算法 的 迭代 次 数 ( 即 repeat 循环 的 迭代 次 数 ) 并 给 
出 算法 第 3 行 的 一 种 实现 。 

b. 给 定 图 G 的 两 个 匹配 M AM, WH: AIG'=CV, MDM ) 中 的 每 个 结 点 的 度数 最 多 
为 2。 同 时 证 明 图 G' 是 由 一 些 不 相交 的 简单 路 径 或 环 路 组 成 。 另 外 ， 试 说 明 每 条 这 样 
的 简单 路 径 或 环 中 的 边 交 替 属 于 M 和 M" o 证明 : 如 果 |M| 三 |M" |， 则 MOM 至 少 
包含 | M" | 一 |M| 条 关于 M 的 结 点 不 相交 的 增 广 路 径 。 

设 /为 关于 匹配 M WRR MIRKE, Pis Pos s Pe 为 关于 M 的 长 度 为 / 
的 结 点 不 相交 增 广 路 径 的 最 大 集合 。 设 M' 二 MD(P1U PU…UP),， 并 且 假 定 P 是 相 
对 于 M 的 一 条 最 短 增 广 路 径 。 

c 证明: 如果 路 径 忆 与 路 径 Pi, Pas eeo P, 之 间 没 有 共同 结 点 ， 则 路 径 已 有 多 于 LRA. 

d. 现在 假定 路 径 P 与 路 径 Pis Pos e005: Py 之 间 存 在 共同 结 点 。 设 A Aid (MQM')@P 
的 集合 。 证 明 : A=(P,UP,U…UP)@P 并 且 |A| 宇 (k 十 1)1。 同 时 证 明 ; BRE P ta 
含 的 边 多 于 条。 

e WH: 如 果 关 于 M 的 一 条 最 短 增 广 路 径 有 7 条 边 ， 则 最 大 匹配 的 规模 至 多 
为 |MI 十 |V1/( 十 1)。 

f. 证明: Hopcroft-Karp 二 分 匹配 算法 中 repeat 循环 的 迭代 次 数 至 多 为 2 VV。( 提 示 : 在 
第 VV 次 迭代 后 ，M 能 增长 多 少 ?) 

g 给 出 一 个 O(E) 时 间 复 杂 性 的 算法 ， 可 以 找到 一 个 关于 给 定 匹配 M 的 结 点 不 相交 最 短 
增 广 路 径 P, Pas ees Pi 的 最 大 集合 。 证 明 : 算法 HOPCROFT-KARP 的 总 运行 时 间 
为 OOVVE)。 


本 章 注 记 

Ahuja, Magnanti 和 Orlin[7], Even[103], Lawler[224], Papadimitriou 和 Steiglitz[271] 和 
TarjanL330j] 都 是 网 络 流 及 相关 算法 方面 的 很 好 的 参考 资料 。Goldberg、Tardos 和 Tarjan[139 ] xt 
网 络 流 问题 的 各 种 算法 进行 了 概括 ，Schrijver[L304] 则 是 一 篇 有 趣 的 关于 网 络 流 领 域 的 历史 发 展 

Ford-Fulkerson 方法 是 由 Ford 和 Fulkerson[ 109] 提 出 的 ， 他 们 首次 形式 化 地 研究 了 网 络 流 领 
域 中 的 诸多 问题 ， 包 括 最 大 流 问题 和 二 分 匹配 问题 。Ford-Fulkerson 方法 的 许多 早期 实现 都 使 用 
了 广度 优先 搜索 来 寻找 增 广 路 径 。Edmonds 和 Karp[102]、DinicL89] 则 相互 独立 地 证 明了 这 种 策 
略 是 一 种 多 项 式 时 间 算 法 。 一 个 与 此 相关 的 使 用 块 流 (blocking flow) 的 思路 也 是 由 DinicL89] 首 先 
提出 的 。KarzanovL202] 则 首先 提出 了 预 流 的 概念 。 推 送 - 重 贴 标签 方法 则 归功 于 Goldberg[136]、 
Goldberg 和 Tarjan[ 140]。Goldberg 和 Tarjan 给 出 了 一 个 时 间 复 杂 度 为 O(Vi) 的 算法 ， 该 算法 使 
用 一 个 队列 来 维持 一 个 溢出 结 点 的 集合 ， 他 们 同时 还 给 出 了 一 个 使 用 动态 树 的 算法 ， 其 运行 时 
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间 为 OC(VE lg(V?/E 二 2))。 其 他 一 些 研 究 人 员 则 发 明了 基于 推送 - 重 贴标签 操作 的 最 大 流 算法 。 
Ahuja 和 Orlin[9] 和 Ahuja, Orlin 和 Tarjan[10] 给 出 了 使 用 伸缩 操作 来 计算 最 大 流 的 算法 。 
Cheriyan 和 Maheshwari[62] 提 出 了 将 高 度 最 大 的 溢出 结 点 的 流量 推送 出 来 的 思想 。Cheriyan 和 
Hagerup[61] 提 出 了 对 邻接 链表 进行 随机 排列 的 想法 ， 一 些 研究 者 L[14，204，276] 则 基于 这 一 思 
想 开 发 了 更 为 聪明 的 去 随机 化 操作 ， 从 而 获得 一 系列 更 快 的 算法 。King、Rao 和 Tarjan[204 ] fit 
描述 的 算法 是 这 种 算法 中 最 快 的 ， 其 运行 时 间 为 OOVElogevemV) 。 

到 目前 为 止 ， 在 渐 近 意义 上 表现 最 快 的 最 大 流 问 题 算法 由 Goldberg 和 RaoL138] 所 提出 ， 其 
运行 时 间 为 OOmin(V23 ，E2 )Elg(V*/E+2)lgC), XE C= maxc(x，z)。 该 算法 不 使 用 推送 - 
重 贴标签 方法 ， 而 是 基于 对 块 流 的 寻找 。 以 前 所 有 的 最 大 流 算法 ， 包 括 本 章 所 讨论 的 算法 ， 都 使 
用 了 距离 的 概念 (推送 - 重 贴 标签 算法 使 用 了 一 个 类 似 概念 : 高 度 ) ， 在 这 些 算法 中 ,每 条 边 的 隐 
含 长 度 都 为 1。 而 Goldberg 和 Rao[L138j 所 提出 的 新 算法 采取 了 一 种 不 同 的 思路 ， 将 高 容量 边 的 
长 度 赋予 0 值 ， 将 低 容量 边 的 长 度 赋予 1 值 。 非 形式 化 地 ， 根 据 这 些 长 度 ， 从 源 结 点 到 汇 点 的 最 
短路 径 更 可 能 拥有 高 容量 ， 这 意味 着 算法 需要 执行 的 迭代 次 数 将 较 少 。 

在 实际 情况 中 ， 在 基于 增 广 路 径 或 线性 规划 的 最 大 流 问题 的 解 中 ， 推 送 - 重 贴标签 算法 占据 
了 主导 地 位 。Cherkassky 和 Goldberg[L63] 给 出 的 研究 说 明了 在 实现 推送 - 重 贴标签 算法 时 使 用 启 
发 式 操 作 的 重要 性 。 该 文章 提 到 了 两 种 启发 式 操作 : 第 一 个 启发 式 操 作 是 在 残存 网 络 中 周期 性 
地 执行 广度 优先 搜索 来 获取 更 加 精确 的 高 度 值 ， 第 二 个 启发 式 操作 是 所 谓 的 跨越 式 启 发 ， 该 启 
发 式 操作 在 练习 26. 5-5 中 进行 了 描述 。Cherkassky 和 Goldberg 断定 ， 最 好 的 推送 - 重 贴标签 算法 
的 变 体 是 每 次 都 选择 释放 高 度 值 最 大 的 溢出 结 点 。 

到 目前 为 止 ， 最 好 的 解决 最 大 二 分 匹配 问题 的 算法 是 由 Hopcroft 和 Karp[176] 所 发 现 ， 其 运 
行 时 间 为 OOVVYE) ， 该 算法 在 思考 题 26-6 中 有 描述 。Lovdsz 和 Plummer[239] 则 是 匹配 问题 方面 
非常 好 的 参考 书 。 
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这 一 部 分 中 包含 了 一 些 选 编 的 算法 问题 ， 扩 展 和 补充 了 本 书 中 前 
面 介绍 的 内 容 。 一 些 章节 介绍 新 的 计算 模型 ， 如 电路 或 者 并 行 计算 机 。 
其 他 的 一 些 章节 讨论 一 些 特殊 的 领域 ， 如 计算 几何 学 或 者 数论 。 最 后 
两 章 讨论 设计 高 效 算法 的 一 些 已 知 的 局 限 ， 并 介绍 一 些 应 对 这 些 局 限 
的 方法 。 

第 27 章 给 出 一 种 基于 动态 多 线程 的 并 行 计算 模型 。 该 章 首 先 介 绍 
该 模型 的 基本 理论 ， 展 示 如 何 通 过 工作 量 和 持续 时 间 来 量化 并 行 性 。 
然后 讨论 了 几 种 非常 有 趣 的 多 线程 算法 ,包括 和 矩阵 相 屠 和 归并 排序 。 

第 28 章 研究 矩阵 上 操作 的 高 效 算法 。 该 章 中 展示 两 种 一 般 的 方 
法 一 一 LU 分 解 和 LUP 分 解 一 一 通过 高 斯 消 元 法 在 O(n ) 时 间 内 求解 线性 
方程 组 。 此 外 ， 还 证 明和 矩阵 求 逆 、 甜 阵 乘 法 可 以 在 同样 的 时 间 复 杂 度 内 完 
成 。 该 章 最 后 说 明 当 一 个 线性 方程 组 没有 精确 解 时 ， 如 何 计算 最 小 二 乘 的 
近似 解 。 

第 29 章 研究 线性 规划 ， 其 中 在 给 定 有 限 资源 和 竞争 约束 的 前 提 下 ， 
我 们 希望 能 够 最 大 化 或 者 最 小 化 一 个 目标 。 线 性 规划 问题 产生 于 多 种 实际 
应 用 领域 。 这 一 章 中 涵盖 如 何 形式 化 和 解决 线性 规划 问题 的 内 容 。 介 绍 的 
方法 包括 最 古老 的 线性 规划 算法 一 一 单纯 形 算法 。 和 本 书 中 很 多 算法 不 同 
的 是 ， 单 纯 形 算法 在 最 坏 情形 下 并 不 能 在 多 项 式 时 间 内 完成 ,但 是 在 实践 
中 它 相 当 有 效 并 且 得 到 了 广泛 的 应 用 。 

第 30 章 研究 多 项 式 上 的 操作 ， 并 展示 如 何 采 用 众所周知 的 信号 处 理 
技术 一 一 快速 传 里 叶 变 换 (FFT) 一 一 在 O(nlgn) 时 间 内 完成 两 个 次 数 为 n 
的 多 项 式 的 乘法 。 该 章 中 还 讨论 了 FFT 的 高 效 实现 方法 ， 包 括 并 行 电路 。 

第 31 章 展示 整数 数论 算法 。 在 回顾 了 初等 数论 以 后 ， 本 章 介绍 了 计 
算 最 大 公约 数 的 欧 几 里 得 算法 ， 接 着 给 出 了 求解 模 线 性 方程 和 计算 一 个 整 
数 的 里 模 另 外 一 个 整数 的 算法 。 本 章 还 介绍 了 数论 算法 的 一 个 重要 应 用 : 
RSA 公 钥 加 密 系统 。 这 个 加 密 系统 不 仅 能 够 用 来 加 密 消息 ， 以 使 攻击 者 
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不 能 阅读 消息 ， 而 且 还 能 够 提供 数字 签名 。 接 着 ， 本 章 展 示 了 Miller-Rabin 随机 性 素数 测试 ， 应 
用 它 可 以 非常 高 效 地 找到 大 素数 。 最 后 ， 本 章 介 绍 了 Pollard 提出 的 分 解 整数 的 “rho" 启 发 式 算 
法 ， 并 讨论 了 整数 因子 分 解 研究 的 现状 。 

第 32 章 研 究 了 一 个 在 文本 编辑 程序 中 经 常 出 现 的 问题 : 在 给 定 的 文本 字符 串 中 ， 找 到 一 个 
给 定 模 式 字符 串 的 所 有 出 现 位置 。 在 讨论 朴素 方法 后 ， 本 章 展示 了 Rabin 和 Karp 的 一 种 很 优美 
的 方法 。 然后， 在 考察 了 一 个 基于 有 限 自动 机 的 高 效 解 决 方法 以 后 ,论述 Knuth-Morris-Pratt 算 
法 ， 它 通过 巧妙 的 预先 处 理 模式 ， 修 改 了 基于 自动 机 的 算法 以 节省 空间 。 

第 33 章 讨论 计算 几何 中 的 一 些 问题 。 在 讨论 了 计算 几何 的 基本 性 质 后 ， 本 章 展示 了 如 何 采 
用 一 种 “扫除 ”方法 来 高 效 判断 一 组 线段 是 否 有 交点 。 两 种 找到 一 些 点 集合 凸 包 的 非常 聪明 的 算 
法 (Graham 扫描 算法 和 Jarvis 步 进 算法 ) 也 都 说 明了 扫除 方法 的 作用 。 本 章 最 后 ， 介 绍 了 从 平面 
中 一 些 给 定点 集合 中 找到 最 邻近 点 对 的 有 效 算法 。 

第 34 章 讨论 NP 完全 问题 。 很 多 有 趣 的 计算 问题 都 是 NP 完全 的 ,但 是 至 今 还 没有 解决 这 一 
问题 的 多 项 式 时 间 算 法 。 本 章 展 示 了 判别 一 个 问题 是 NP 完全 的 问题 技术 。 许 多 经 典 的 问题 被 证 
明 是 NP 完 全 的 : 判别 一 个 图 是 否 有 一 个 哈密 顿 环 ， 判 别 一 个 布尔 表达 式 是 否 是 可 满足 的 ， 以 及 
判别 一 个 给 定 的 整数 集合 是 否 存在 一 个 子 集 ， 其 元 素 之 和 等 于 给 定 的 目标 值 。 本 章 还 证 明了 著 
名 的 旅行 商 问题 是 NP 完全 的 。 

第 35 章 说 明 如 何 运用 近似 算法 有 效 地 找到 NP 完全 问题 的 近似 解 。 对 于 一 些 NP 完全 问题 ， 
接近 最 优 解 的 近似 解 很 容易 找到 ， 但 是 对 于 其 他 一 些 NP 完全 问题 ， 即 使 使 用 已 知 的 最 好 的 近似 

770] ”算法 ， 其 性 能 也 随 着 问题 规模 的 增加 而 明显 降低 。 本 章 介绍 了 这 样 一 种 可 能 性 : 对 于 一 些 问 题 ， 
我 们 增加 计算 时 间 ， 就 可 能 获得 更 好 的 近似 解 。 本 章 通 过 讨论 顶点 覆盖 问题 (有 权重 和 没有 权重 
的 情形 )、3-CNF 可 满足 性 的 一 个 优化 版 本 、 旅 行商 问题 、 集 合 覆 盖 问 题 ， 以 及 子 集 和 问题 ， 阅 
述 了 这 种 可 能 性 。 
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本 书 中 绝 大 多 数 算法 都 是 适合 单 处 理 器 计算 机 上 运行 的 串 行 算法 (serial algorithm) ， 即 在 任 
一 时 刻 仅 有 一 条 指令 被 执行 。 本 章 我 们 将 扩展 算法 模型 ， 讨 论 并 行 算法 (parallel algorithm)。 并 
行 算法 能 够 在 多 处 理 器 计算 机 上 运行 ， 并 且 人 允许 多 条 指令 同时 执行 。 特 别 地 ， 我 们 将 探讨 动态 多 
线程 算法 的 完美 模型 ， 它 适合 算法 的 设计 和 分 析 ， 并 且 能 在 实际 应 用 中 有 效 实现 。 

并 行 计算 机 ( 即 拥有 多 个 处 理 单元 的 计算 机 ) 已 经 越 来 越 普遍 ， 它 们 的 价格 和 性 能 差异 非常 
大 。 相 对 便宜 的 台式 机 和 笔记 本 电脑 中 的 片上 多 处 理 器 (chip multiprocessor) 都 包含 一 块 多 核 
(multicore) 的 集成 电路 芯片 ， 该 芯片 上 装 有 多 个 处 理 “ 核 >"， 每 个 核 是 一 个 完整 的 处 理 器 并 能 访问 
共同 的 存储 器 。 性 价 比 适中 的 是 一 些 单 计 算 机 (常常 是 一 些 简易 的 PC 类 机 器 ) 构 成 的 集群 ， 它 们 
使 用 特定 网 络 互 连 起 来 。 价 格 最 高 的 是 超级 计算 机 ， 它 们 大 多 使 用 定制 的 体系 结构 和 定制 的 网 
络 来 提供 高 性 能 (每 秒 运行 的 指令 条 数 )。 

多 处 理 器 计算 机 已 经 以 各 种 形式 出 现 了 数 十 年 。 在 计算 机 科学 发 展 的 早期 ， 虽然 计算 界 为 
串 行 计算 建立 了 随机 存 取 的 机 器 模型 ， 然 而 对 于 并 行 计算 ， 却 没有 任何 单一 模型 被 广泛 认可 。 主 
要 原因 是 ， 各 个 供应 商 在 并 行 计算 机 的 体系 结构 模型 上 还 没有 一 致 的 意见 。 例 如 ， 一 些 并 行 计算 
机 具有 共享 存储 (shared memory) 的 特征 ， 其 中 每 个 处 理 器 都 可 以 直接 访问 存储 器 的 任何 位 置 。 
另 一 些 并 行 计算 机 则 采用 分 布 式 存储 (distributed memory) ， 此 时 每 个 处 理 器 的 存储 器 是 私有 的 ， 
为 了 使 一 个 处 理 器 能 访问 另 一 个 处 理 器 的 存储 器 ， 必 须 在 处 理 器 间 发 送 一 条 显 式 消息 。 但 随 着 
多 核 技 术 的 出 现 ， 现 在 每 台新 的 笔记 本 电脑 和 台式 机 器 都 是 一 个 共享 存储 的 并 行 计 算 机 ， 看 起 
来 似乎 朝 共享 存储 的 多 处 理 器 方向 发 展 。 尽 管 这 尚 需 一 些 时 间 来 验证 ， 但 在 本 章 中 ， 我 们 介绍 这 
种 技术 。 

片上 多 处 理 器 和 其 他 共享 存储 并 行 计算 机 的 编程 都 有 一 个 共同 之 处 ， 就 是 使 用 静态 线程 
(static threading) 。 静 态 线程 提供 了 一 个 “虚拟 处 理 器 ”的 软件 抽象 ， 即 线程 (thread)， 这 些 线 程 
共享 一 个 相同 的 存储 器 。 每 个 线程 维护 一 个 关联 的 程序 计数 器 ， 并 能 与 其 他 线程 相互 独立 地 执 
行 代码 。 操 作 系 统 加 载 一 个 线程 到 处 理 器 上 执行 ， 并 且 在 其 他 的 线程 需要 运行 时 再 把 它 交换 出 
来 。 虽 然 操 作 系统 允许 程序 员 去 创建 和 销毁 线程 ， 但 这 些 操作 相对 较 慢 。 因 此 ， 对 于 大 多 数 应 
用 ， 线 程 在 计算 期 间 都 维持 着 ， 这 是 称 之 为 “静态 的 ?原因 。 

遗憾 的 是 ， 共 享 存储 并 行 计算 机 上 直接 使 用 静态 线程 编程 比较 困难 并 且 容 易 出 错 。 其 中 一 
个 原因 是 ， 在 线程 间 动 态 地 划分 任务 使 得 每 个 线程 接受 大 致 相同 的 负载 ， 这 已 成 为 一 项 较为 复 
杂 的 工作 。 除 了 最 简单 的 应 用 之 外 ， 程 序 员 必 须 使 用 复杂 的 通信 协议 来 实现 一 个 任务 的 负载 平 
衡 调度 。 这 种 状况 促使 了 并 发 平台 (concurrency Platform) 的 产生 ， 它 提供 一 个 软件 层 来 协调 、 调 
度 和 管理 这 些 并 行 计 算 资 源 。 一 些 并 发 平台 作为 运行 时 库 来 建立 ， 而 另 一 些 则 提供 带 有 编译 器 
和 和 运行 时 支持 的 完整 的 并 行 语言 。 

动态 多 线程 编程 

动态 多 线程 (dynamic multithreading) 是 一 类 重要 的 并 发 平台 ， 也 是 本 章 将 采用 的 模型 。 在 动 
态 多 线程 中 ， 程 序 员 只 需 描述 应 用 中 的 并 行 性 ， 不 必 关 心 通信 协议 、 负 载 平 衡 和 静态 线程 编程 的 
其 他 各 种 问题 。 这 种 并 发 平台 包含 一 个 调度 器 ， 它 能 自动 地 进行 负载 平衡 计算 ， 大 大 减轻 了 程序 
员 的 负担 。 虽 然 动 态 多 线程 领域 仍 在 发 展 ， 但 它们 几乎 都 支持 两 个 特征 : REESE TT ALE TT OR 
环 。 媒 套 并 行 允 许 派 生 一 个 子 过 程 ， 且 人 允许 派生 的 子 过 程 在 计算 自己 结果 的 同时 调用 者 继续 执 
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行 。 并 行 循环 如 同 普通 的 for 循环 一 样 ， 只 是 因 循 环 中 的 迭代 可 以 并 发 执行 而 有 所 不 同 。 
这 两 个 特征 形成 了 本 章 将 介绍 的 动态 多 线程 模型 的 基础 。 这 个 模型 的 一 个 关键 方面 是 ， 程 


序 员 只 需 指定 计算 中 的 逻辑 并 行 、 基 础 并 发 平台 上 的 线程 调度 和 线程 间 计 算 的 负载 平衡 。 我 们 


将 探讨 该 模型 上 的 多 线程 算法 ， 以 及 基础 并 发 平台 如 何 有 效 地 调度 计算 。 

动态 多 线程 模型 具有 如 下 几 个 重要 的 优点 : 

。 它 是 串 行 编程 模型 的 一 个 简单 扩展 。 通 过 在 伪 代 码 中 加 入 三 个 “并 发 ”关键 词 parallel, 
spawn 和 sync) 来 描述 一 个 多 线程 算法 。 此 外 ， 如 果 从 多 线程 伪 代 码 中 删除 这 些 并 发 关键 
词 ， 剩 下 的 文本 就 是 原 问 题 的 串 行 伪 代码 ， 我 们 称 之 为 多 线程 算法 的 “ 串 行 化 ”。 

它 从 理论 上 提供 了 一 种 基于 “工作 量 ” 和 “持续 时 间 ” 概 念 的 简洁 方式 来 量化 并 行 性 。 

许多 涉及 骨 套 并 行 的 多 线程 算法 都 比较 自然 地 服从 分 治 模式 。 此 外 ， 正 如 串 行 分 治 算法 
通过 求解 递归 式 来 分 析 那 样 ， 这 类 多 线程 算法 的 分 析 也 是 如 此 。 

该 模型 符合 并 行 计 算 发 展 的 实际 情况 。 越 来 越 多 的 并 发 平台 支持 动态 多 线程 的 一 种 形式 
或 其 他 形式 ， 包 括 Cilk[51，118]、Cilk 十 十 [71]、OpenMP[59]、Task Parallel Library 
[230]， 以 及 Threading Building Blocks[ 292]. 

27.1 节 介 绍 动态 多 线程 模型 ， 并 提出 工作 量 、 持 续 时 间 和 并 行 度 的 度量 标准 ， 它 们 将 用 于 
分 析 多 线程 算法 。27. 2 节 探 讨 如 何 使 用 多 线程 进行 矩阵 相 乘 。27. 3 节 讨 论 稍 难 些 的 多 线程 归并 
排序 问题 。 


27.1 动态 多 线程 基础 


以 递归 计算 斐 波 那 契 数 为 例 ， 开 始 对 动态 多 线程 的 探讨 。 回 想 一 下 ， 斐 波 那 契 数 是 由 递归 式 
(3. 22) 来 定义 的 : 


F, =0 
F, =1 
F,=FitFa, i22 
这 是 一 个 简单 的 、 递 归 的 串 行 算法 ， 用 于 计算 第 ”个 斐 波 那 契 数 : 


FIB(n) 
l ifn<l 


2 return n 

3 else x=FIB(n—1) 
4 y=FIB(n—2) 
5 return x+y 


读者 应 该 并 不 想 使 用 这 种 方法 来 计算 较 大 的 斐 波 那 契 数 ， 因 为 这 种 方法 做 了 很 多 重复 的 工 
作 。 图 27-1 展示 了 计算 Fs 时 的 递归 过 程 实例 树 。 例 如 ， 对 FIB(6) 的 调用 会 递归 调用 FIB(5)， 
然后 再 调用 FIB(4)。 但 是 ， 调 用 FIB(5) 又 导致 对 FIB(4) 的 调用 。 两 个 FIB(4) 实 例 都 返回 相同 的 
计算 结果 (F, 二 3)。 因 为 FIB 调用 过 程 并 不 做 保存 ， 第 二 次 FIB(4) 的 调用 重复 做 了 第 一 次 调用 的 
TAE: 

设 T(n) 表 示 FIB(z) 的 运行 时 间 。 因 为 FIB(z) 包 含 两 个 递归 调用 ， 再 加 一 项 常数 时 间 的 其 他 
工作 ， 于 是 得 到 递归 式 : 

TQ) = Tin— 1) + Tin— 2) + 01) 

用 替代 法 得 到 ， 递 归 式 的 解 T(n) =OCF,). FIRB, Tin)<aF,—6, Hp a>1, b>0 
且 都 是 常数 。 代 入 后 ， 得 到 : 

Tn) <(aF,. — b) + (aF n2 — b) +00) = al F,., + F,2) — 26+ 0(1) 
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=aF, —b—(b—@(1)) SaF, —6 
Boek, KF 8(1) 所 决定 的 常数 。 再 取 一 个 足够 大 的 a， 满足 初始 条 件 。 于 是 ， 由 公 
式 (3. 25) 得 到 分 析 界 
T(n) = @(#) (27. 1) 
这 里 d= (1 十 V5)/2 是 黄金 分 割 率 。 由 于 F, Un 指数 增长 ， 这 个 过 程 用 来 计算 斐 波 那 契 数 是 个 相 
当 慢 的 方法 。( 更 快 的 方法 见 思 考题 31-3。) 





图 27-1 计算 FIB(6) 时 递归 计算 过 程 的 实例 树 。 每 个 有 相同 参数 的 FIB 实 例 ， 都 做 一 样 的 工作 并 产 
生 一 样 的 结果 ， 这 是 一 个 低 效 但 有 趣 的 计算 斐 波 那 契 数 的 方法 


尽管 FIB 过 程 不 是 一 个 计算 斐 波 那 契 数 的 好 方法 ， 却 是 在 多 线程 算法 分 析 中 说 明 关 键 概念 的 
一 个 好 例子 。 注 意 到 FIB(n) 中 ,第 3 行 和 第 4 行 分 别 调用 了 两 个 递归 函数 FIB(n 一 1) 和 FIB(n 一 2)， 
这 两 个 递归 函数 是 彼此 独立 的 : 它们 能 以 两 种 次 序 中 的 一 种 被 调用 ， 并且 调用 进行 的 计算 并 不 
会 影响 到 另 一 个 。 因 此 ， 这 两 个 递归 调用 可 以 并 行 执行 。 

通过 在 伪 代 码 中 加 入 并 发 关键 字 spawn 和 sync 来 表示 并 行 性 。 下 面 说 明 如 何 使 用 动态 多 线 
程 来 重 写 FIB 过 程 : 

P-FIB(n) 

l ifn<l 

2 return n 

3 else r=spawn P-FIB(n—1) 

4 y=P-FIB(n—2) 

5 syne 

6 return z+ y 
注意 到 ， 如 果 从 P-FIB 中 去 掉 并 发 关键 字 spawn 和 syne， 得 到 的 伪 代 码 和 FIB 完全 相同 (除了 开 
头 的 函数 名 和 两 个 递归 调用 需 重 命名 外 )。 定 义 一 个 多 线程 算法 的 串 行 化 (serialization) 为 去 除 掉 
多 线程 关键 字 spawn, sync 和 并 行 循环 的 parallel 后 的 串 行 部 分 。 实 际 上 ， 多 线程 伪 代 码 具 有 很 
好 的 特性 ， 其 串 行 化 总 是 求解 原 问题 的 普通 串 行 伪 代 码 。 

如 在 第 3 行 中 ， 当 关键 字 spawn 执行 一 个 过 程 调 用 时 ， 就 出 现 了 谱 套 并 行 。spawn 的 语义 不 
同 于 传统 的 过 程 调用 ， 执 行 调用 spawn 的 过 程 ( 即 父 进 程 ) 可 以 与 派生 子 过 程 ( 即 子 进程 ) 并 行 执 
行 ， 而 不 是 像 串 行 执行 一 样 等 待 子 过 程 计算 完 。 这 种 情况 下 ， 派 生子 进程 计算 P-FIB(n 一 1) 的 同 
时 ， 父 进程 以 并 行 方式 可 以 继续 计算 第 4 行 中 的 P-FIB(n 一 2)。 因 为 PFIB 过 程 是 递归 的 ， 这 两 
个 子 过 程 调用 自己 又 产生 了 苦 套 并 行 ， 它 们 派生 的 子 过 程 也 是 如 此 ， 因 此 产生 了 一 个 潜在 的 、 非 
常 大 的 子 计算 树 ， 所 有 计算 都 能 并 行 执行 。 
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但 是 ， 关 键 字 spawn 并 不 意味 着 一 个 过 程 调用 必须 要 与 其 派生 子 过 程 同 时 执行 ， 这 里 只 是 允 
许 这 样 。 并 发 关键 字 表 达 了 计算 的 逻辑 并 行 (logical parallelism)， 说 明了 计算 中 哪些 部 分 可 以 并 
行 处 理 。 运 行 时 由 一 个 调度 器 (scheduler) 负 责 ， 随 着 计算 的 展开 决定 哪些 子 计 算 实 际 并 发 执行 ， 
并 将 它们 分 配 到 可 用 的 处 理 器 上 。 接 下 来 ,我们 将 讨论 调度 器 背后 的 知识 。 

直到 执行 了 syne 同步 语句 ( 见 第 5 行 )， 一 个 过 程 才能 安全 地 使 用 其 派生 子 过 程 的 返回 值 。 
关键 字 sync 表明 ， 过 程 在 执行 sync 后 面 的 语句 前 ， 必 须 等 到 它 的 所 有 派生 子 过程 计 算 完成 。 在 
P-FIB 过 程 中 ， 在 第 6 行 return 语句 前 需要 有 一 个 syne 语句 来 避免 不 正常 情况 的 出 现 ， 比 如 ， 在 
工 被 计算 出 来 前 就 开始 计算 z 与 y 的 和 。 除 了 使 用 syne 语句 进行 显 式 同步 外 ， 每 个 过 程 在 返回 前 
都 隐 式 地 执行 一 个 syne 语句 ， 以 此 确保 其 所 有 的 子 过 程 均 结束 运行 。 

多 线程 执行 的 模型 

将 多 线程 计算 (可 由 处 理 器 执行 的 运行 时 指令 的 集合 ， 代 表 多 线程 程序 ) 看 成 一 个 有 向 无 环 
图 G 二 (V，E)， 又 称 为 计算 有 向 无 环 图 (computation dag)， 是 非常 有 帮助 的 。 例 如 ， 图 27-2 展 
示 了 对 应 于 P-FIB(4) 的 计算 有 向 无 环 图 。 从 概念 上 讲 ，V 中 的 顶点 代表 指令 ，E 中 的 边 代表 指 
令 间 的 依赖 关系 ， 其 中 (u，wv) EE 表示 指令 “必须 在 v 之 前 执行 。 然 而 为 了 方便 起 见 ， 如 果 一 
段 指令 中 不 包含 并 行 控制 ( 即 没有 spawn, syne 和 来 自 派生 进程 的 retum， 这 种 return 是 显 式 
return 语句 ， 或 是 程序 执行 完毕 后 隐 式 执行 的 retumn) ， 可 以 将 它们 串 成 一 个 链 (strand) ， 这 样 每 
个 链 可 以 代表 一 个 或 者 更 多 的 指令 。 涉 及 并 行 控制 的 指令 并 不 包含 在 链 中 ， 但 它们 会 在 有 向 无 
环 图 中 被 表示 出 来 。 例 如 ， 如 果 一 个 链 有 两 个 后 继 ， 则 其 中 一 个 肯定 是 派生 的 ;如 果 一 个 链 有 
多 个 前 驱 ， 就 表明 由 于 有 sync 语句 而 将 这 些 前 驱 汇合 在 一 起 。 因 此 ， 在 一 般 情况 下 ， 集合 V 就 
是 链 的 集合 ， 有 向 边 集 合 已 是 由 并 行 控制 产生 的 链 之 间 的 关联 。 如 果 G 有 一 条 从 链 xv 到 链 v 的 
有 向 路 径 ， 我 们 称 这 两 个 链 是 (逻辑 上 ) 串 联 的 (in series), I, 4 u 和 链 v 是 (逻辑 上 ) 并 联 的 
(in parallel), 





图 27-2 一 个 表示 P-FIB(4) 计 算 的 有 向 无 环 图 。 每 个 圈 代 表 一 个 链 ， 黑 圈 代 表 基 础 情形 或 
是 到 第 3 行 P-FIB(n 一 1) 派 生 语句 前 的 部 分 程序 (实例 ); 灰 圈 代表 第 4 行 调用 P-FIB 
(n 一 2) 到 第 5 行 syne 前 的 部 分 程序 ， 它 执行 完 后 一 直 要 等 待 派生 P-FIB(n 一 1) 的 返 
E; 白 圈 代表 sync 指令 之 后 的 程序 ， 也 就 是 zx My 求 和 直到 返回 结果 那 部 分 。 属 于 
同一 过 程 的 一 组 链 用 圆 角 和 矩形 圈 起 来 ， 浅 色 阴 影 代 表 派 生 的 过 程 ， 深 色 阴 影 代 表 调 
用 的 过 程 。 派 生 边 和 调用 边 指 向 下 ， 连 接 边 水 平 指向 右 ， 返 回 边 指 向 上 。 假 设 每 条 
链 的 执行 是 1 个 单位 时 间 ， 整 个 工作 需要 17 个 单位 时 间 ， 因 为 这 里 有 17 个 链 。 持 续 
时 间 是 8 个 单位 时 间 ， 因 为 关键 路 径 ( 使 用 阴影 标 出 的 边 ) 包 含 了 8 个 链 


O ”基础 情形 也 就 是 问题 实例 的 边界 情形 ， 如 问题 规模 为 0 或 1 时 。 一 一 译 者 注 
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能 将 多 线程 计算 画 成 一 个 由 链 构成 的 有 向 图 ， 并 髋 入 到 一 棵 过 程 实例 树 中 。 例 如 ， 图 27-1 
显示 了 P-FIB(6) 的 一 棵 过 程 实例 树 ， 其 图 中 并 没有 显示 链 的 详细 结构 。 图 27-2 对 树 中 的 结 点 部 
分 进行 了 放大 ， 显 示 了 链 中 各 个 过 程 的 组 成 。 所 有 连接 链 的 有 向 边 或 者 在 一 个 过 程 内 执行 ， 或 者 
沿 着 过 程 树 的 无 向 边 执行 。 

我 们 能 对 一 个 计算 有 向 无 环 图 中 的 边 进行 分 类 ， 来 表示 不 同 链 之 间 的 依赖 关系 类 型 。 图 27-2 
中 水 平 画 出 的 一 条 连接 边 (continuation edge) (u, u Hit u 连接 到 它 的 后 继 x 上 ， 它 们 在 同一 个 
过 程 实例 内 。 当 链 wu 派生 链 v 时 ， 有 向 无 环 图 包含 一 条 派生 边 (spawn edge)(u, v), EER PH 
向 下 。 调 用 边 (call edge) 代 表 正 常 的 过 程 调用 ， 其 也 指向 下 。 链 * 派生 链 * 与 链 x 调用 链 v 不 同 ， 
因为 派生 导出 一 条 从 zx 到 链 x ' 的 水 平 连 接 边 ， 意 味 着 wu 可 以 和 wv 同时 执行 ， 然 而 一 个 函数 调用 
却 没有 这 条 边 。 当 一 个 链 妈 返回 到 它 的 调用 函数 时 ， 在 函数 调用 过 程 中 , GE x SEA BATE syne 之 
后 的 链 ， 计 算 有 向 无 环 图 中 包含 返回 边 (return edge)(x，z) ， 它 的 方向 是 向 上 的 。 计 算 开 始 于 初 
始 链 (initial strand) (图 27-2 中 标 为 PFIB(4) 的 黑色 顶点 )， 且 终止 于 结束 链 (final strand) (图 27-2 
中 标 为 P-FIB(4) 的 白色 顶点 ) 。 

我 们 将 会 在 一 个 理想 并 行 计算 机 上 研究 多 线程 算法 的 执行 ， 它 包含 一 组 处 理 器 和 串 行 一 致 
(sequentially consistent) 的 共享 存储 器 。 串 行 一 致意 味 着 共享 存储 器 可 能 在 实际 中 同时 执行 多 条 
处 理 器 的 读 和 写 指令 ， 执 行 的 结果 与 每 一 步 中 只 有 一 个 处 理 器 的 一 条 指令 被 执行 的 结果 一 样 。 
也 就 是 说 ， 存 储 器 的 行为 就 好 像 每 条 指令 按照 某 种 全 局 的 线性 次 序 以 串 行 方式 被 执行 ， 这 种 全 
局 次 序 维护 着 每 个 处 理 器 产生 的 自身 指令 的 次 序 。 对 于 动态 多 线程 计算 ， 它 是 由 并 发 平台 自动 
将 指令 调度 到 各 个 处 理 器 上 的 。 共 享 存储 器 的 行为 像 是 把 多 线程 计算 的 指令 交错 地 产生 一 个 线 
性 次 序 ， 来 实现 计算 有 向 无 环 图 的 一 个 偏 序 。 程 序 的 一 次 执行 次 序 可 以 不 同 于 另 一 次 的 执行 次 
序 ， 这 取决 于 调度 。 但 是 通过 假定 执行 的 某 种 线性 次 序 与 计算 有 向 无 环 图 一 致 ， 可 以 理解 任意 一 
次 执行 的 行为 。 

除了 引入 关于 语义 的 假设 ， 理 想 并 行 计 算 机 模型 还 引入 了 一 些 性 能 假设 。 特 别 地 ， 要 假设 这 
种 并 行 机 中 的 每 个 处 理 器 拥有 同等 的 计算 能 力 ， 并 且 忽 略 调度 的 开销 。 尽 管 最 后 一 个 假设 听 起 
来 过 于 乐观 ， 实 际 上 对 于 拥有 充分 的 “并 行 度 ”( 随 后 给 出 这 个 术语 的 精确 定义 ) 的 算法 ， 任 务 调度 
的 开销 是 十 分 小 的 。 

性 能 度量 

可 以 使 用 两 种 衡量 标准 来 度量 多 线程 算法 的 理论 效率 : 工作 量 (work) 和 持续 时 间 (span) 。 多 
线程 计算 的 工作 量 是 指 在 一 个 处 理 器 上 执行 整个 计算 的 总 时 间 。 换 句 话 说， 工作 量 就 是 每 个 链 
消耗 时 间 的 总 和 。 如 果 计 算 有 向 无 环 图 中 的 每 个 链 耗费 单 位 时 间 ， 那 么 工作 量 正 是 图 中 的 顶点 
数 。 持 续 时 间 则 是 计算 有 向 无 环 图 中 沿 着 任意 一 条 路 径 链 的 最 长 执行 时 间 。 同 样 ， 如 果 计 算 有 向 
无 环 图 中 每 个 链 耗 费 单位 时 间 ， 持 续 时 间 就 是 图 中 最 长 的 路 径 或 关键 路 径 中 的 顶点 数 。( 回 想 在 
24. 2 节 中 ， 可 以 在 B@(V 十 E) 时 间 内 在 图 G= 二 (V，E) 中 找到 一 条 关键 路 径 。) 例 如 ， 图 27-2 计算 有 
向 无 环 图 中 ， 总 共有 17 个 顶点 且 关 键 路 径 上 有 8 个 顶点 ， 如 果 每 个 链 耗费 单位 时 间 ， 则 工作 量 
是 17 个 单位 时 间 ， 持 续 时 间 是 8 个 单位 时 间 。 

一 个 多 线程 计算 的 实际 运行 时 间 不 仅 取决 于 其 工作 量 和 持续 时 间 ， 也 取决 于 有 多 少 可 用 的 
处 理 器 数 以 及 调度 器 如 何 对 链 进行 处 理 器 分 配 。 为 了 表示 多 线程 计算 在 已 个 处 理 器 上 的 运行 时 
E, 我们 将 用 PP 作 下 标 。 例 如 ， 我 们 用 Tp 表示 一 个 算法 在 P 个 处 理 器 上 的 运行 时 间 。 工 作 量 是 
单个 处 理 器 上 的 运行 时 间 ， 即 T, 。 如 果 每 个 链 都 拥有 自己 的 处 理 器 ( 换 句 话说 ， 也 就 是 有 无 限 多 
的 处 理 器 )， 此 时 的 运行 时 间 就 是 持续 时 间 。 于 是 用 T., 来 表示 持续 时 间 。 

工作 量 和 持续 时 间 为 已 个 处 理 器 上 的 一 个 多 线程 计算 提供 了 下 界 : 

。 对 于 一 个 计算 步 ， 一 台 有 P 了 个 处 理 器 的 理想 并 行 计算 机 最 多 能 做 P 个 单位 工作 量 ， 所 以 
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在 Tp 时 间 内 最 多 能 做 PT 的 工作 量 。 因 为 要 做 的 总 工作 量 是 T, FRA PTPST,. W 
边 都 除 以 已 后 ， 就 得 到 工作 量 定律 (work law): 
Tp > T,/P (27. 2) 

。 一 台 有 书 个 处 理 器 的 理想 并 行 计算 机 不 可 能 快 于 一 台 有 无 限 个 处 理 器 的 机 器 。 从 另 一 种 

方式 看 ， 一 台 有 无 限 个 处 理 器 的 机 器 可 以 只 使 用 其 中 的 书 个 处 理 器 来 模拟 一 台 有 书 个 处 
理 器 的 计算 机 。 因 此 ， 得 到 下 面 的 持续 时 间 定 律 (span law): 
Ts Les (27. 3) 

FAT, /Tp 来 定义 在 P 个 处 理 器 上 进行 计算 的 加 速 比 (speedup)， 它 表明 在 PP 个 处 理 器 上 进行 
计算 比 在 1 个 处 理 器 上 快 了 多 少 倍 。 根 据 工作 量 定律 ， 有 Tp>T,/P, B) T,/Te<P. Ask, P 
个 处 理 器 上 的 加 速 比 至 多 为 P。 当 加 速 比 随 着 处 理 器 的 数目 线性 增长 ( 即 T,/Tp=@CP)) BY, if 
算 表现 为 线性 加 速 (linear speedup)。 当 T,/Tp =P 时， 就 是 完美 线性 加 速 (perfect linear 
speedup), 

工作 量 与 持续 时 间 之 比 也/T- 给 出 了 多 线程 计算 的 并 行 度 (Parallelism) 。 我 们 可 以 从 三 个 角 
度 来 诠释 并 行 度 。 作 为 一 个 比值 ， 并 行 度 表 示 沿 着 关键 路 径 每 一 步 可 被 并 行 执行 的 平均 合计 工 
作 量 。 作 为 一 个 上 界 ， 并 行 度 给 出 了 最 大 的 可 能 加 速 比 ， 这 是 在 任何 数目 的 处 理 器 上 所 能 达到 
的 。 最 后 ， 也 许 是 最 重要 的 ， 并 行 度 给 出 了 获得 完美 线性 加 速 的 一 个 限制 。 具 体 地 讲 ， 一 旦 处 理 
器 数目 超过 了 并 行 度 ， 计 算 就 不 可 能 达到 完美 线性 加 速 。 为 了 明白 最 后 一 点 ， 假 设 P>T,/T.., 
此 时 由 持续 时 间 定 律 可 以 推 得 ， 加 速 比 满足 区 /Tp 硅 TI/T, 二 P。 上 此外， 如 果 理 想 计算 机 中 的 处 
理 器 数 P 远 远 超过 了 并 行 度 ， 即 P>T\/T... BARA /TP， 所 以 加 速 比 会 远 小 于 处 理 器 
的 数目 。 换 句 话 说 ， 我 们 使 用 超出 并 行 度 越 多 的 处 理 器 数目 ， 加 速 比 就 会 越 不 完美 。 

作为 一 个 例子 ， 考 虑 图 27-2 中 的 P-FIB(4) 计 算 ， 假 设 每 个 链 耗 费 单位 时 间 。 工 作 量 为 T= 
17， 持 续 时 间 为 T., 二 8， 并 行 度 是 T,/T..=17/8=2.125. MI, AICS DARE, BETA 
到 加 速 比 的 翻番 及 更 多 都 是 不 可 能 的 。 然 而 ， 对 于 更 大 的 输入 规模 ， 我 们 将 会 看 到 PFIB(z) 展 示 
出 更 大 的 并 行 度 。 

对 于 一 台 有 P 个 处 理 器 的 理想 计算 机 上 执行 的 一 个 多 线程 计算 ,定义 (并 行 ) 松 弛 度 
(slackness) 为 (Ti/T.,)/P 二 区 /(PT.,)， 这 是 一 个 有 关 计 算 并 行 度 超出 机 器 中 处 理 器 数目 的 因 
子 。 因 此 ， 如 果 松 弛 度 小 于 1， 就 得 不 到 完美 线性 加 速 ， 这 是 因为 TI/(PT.,) 二 1， 且 由 持续 时 间 
定律 知 ，P 个 处 理 器 上 的 加 速 比 满足 T/Tp 三 T/T 二 P。 实 际 上 ， 随 着 松弛 度 从 1 降 到 0， 加 
速 比 越 来 越 远离 完美 线性 加 速 。 然 而 ， 如 果 松 弛 度 大 于 1， 每 个 处 理 器 就 有 工作 量 方面 的 要 求 。 
后 面 我 们 将 看 到 ， 随 着 松弛 度 从 1 开始 继续 增加 ， 一 个 好 的 调度 器 可 以 使 算法 的 加 速 比 越 来 越 接 
近 完 美 线性 加 速 。 

调度 

好 的 性 能 并 不 仅仅 取决 于 减少 工作 量 和 持续 时 间 ， 还 有 其 他 更 多 因素 。 链 也 要 被 有 效 地 调 
度 到 并 行 机 的 各 个 处 理 器 上 。 多 线程 编程 模型 并 没有 指定 链 到 哪些 处 理 器 上 执行 。 然 而 ， 可 以 依 
靠 并 发 平台 的 调度 器 动态 地 将 展开 的 计算 映射 到 各 个 处 理 器 上 。 在 实际 操作 中 ， 调 度 器 将 这 些 
链 映射 为 一 些 静态 线程 ， 操 作 系统 再 调度 这 些 线程 到 各 个 处 理 器 上 执行 ， 但 对 于 调度 的 理解 可 
以 不 考虑 这 一 额外 的 间接 层面 。 我 们 可 以 认为 并 发 平台 的 调度 器 直接 将 这 些 链 映射 到 处 理 器 上 。 

多 线程 调度 器 必须 在 事先 不 知道 何 时 链 被 派生 和 结束 的 情况 下 来 进行 调度 计算 ， 它 必须 是 
在 线 (on-line) 的 。 此 外 ， 一 个 好 的 调度 器 能 以 分 布 式 方式 工作 ， 其 中 实现 调度 器 的 线程 协助 计算 
中 的 负载 平衡 。 已 有 一 些 好 的 在 线 分 布 式 调度 器 ,但 分 析 它 们 十 分 复杂 。 

然而 ， 为 了 使 分 析 简 单 些 ， 我 们 将 探讨 一 个 在 线 集中 式 (centralized) 调 度 器 ， 它 知道 任何 给 
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定时 刻 计算 的 全 局 状态 。 特 别 地 ， 我 们 要 分 析 贪 心 调度 器 (greedy scheduler) ， 它 们 在 每 个 时 间 步 
内 尽 可 能 地 分 配 更 多 的 链 到 处 理 器 上 。 如 果 在 一 个 时 间 步 内 有 至 少 已 个 链 准备 执行 ， 我 们 称 该 
时 间 步 为 完全 步 (complete step) ， 贪 心 调 度 器 就 是 分 配 任何 准备 好 的 书 个 链 到 处 理 器 上 。 如 果 少 
于 忆 个 链 准备 执行 ， 此 时 称 该 时 间 步 是 一 个 非 完 全 步 (incomplete step)， 并 且 调 度 器 将 每 个 准备 
好 的 链 分 配 到 其 所 在 的 处 理 器 上 。 

由 工作 量 定律 ， 在 已 个 处 理 器 上 希望 的 最 优 运行 时 间 是 To 一 们 /P。 再 由 持续 时 间 定 律 ， 希 
望 的 最 好 运行 时 间 是 Te 王侯。 下 面 的 定理 证 明了 贪心 调度 是 好 的 ， 其 得 到 的 运行 时 间 上 界 是 这 
两 个 下 界 的 和 。 

定理 27.1 在 有 P 个 处 理 器 的 理想 计算 机 上 ， 贪心 调 度 器 执行 一 个 工作 量 为 Ti 和 持续 时 间 
为 T, 的 多 线程 计算 的 运行 时 间 为 : 

Tp <S T,/P+ T» (27.4) 

证 明 从 完全 步 开 始 考 虑 。 在 每 个 完全 步 中 ，P 个 处 理 器 合计 要 执行 P 个 工作 量 。 现 在 用 
反 证 法 ， 假 设 完全 步 数 严格 大 于 LT /Pj。 那 么 ， 这 些 完全 步 的 总 工作 量 至 少 为 : 

P-(LT,/PJ+1) =P|T,/PJ+P 
=T, — (T, modP)+P (根据 公式 (3. 8)) 
>T (根据 不 等 式 (3. 9)) 
因此 ，P 个 处 理 器 的 工作 量 超过 了 计算 需要 的 工作 量 ， 产生 矛盾 。 于 是 得 到 完全 步 数 至 多 为 
L/P 的 结论 。 

现在 ， 考 虑 非 完全 步 。 用 G 代 表 整 个 计算 的 有 向 无 环 图 ， 不 失 一 般 性 ， 假 设 每 个 链 耗 费 单 
位 时 间 。( 可 以 用 一 串 单位 时 间 的 链 来 替代 每 个 较 长 时 间 的 链 。) 用 G 代表 在 非 完 全 步 开 始 时 仍 要 
执行 的 G 的 子 图 ，G" 代 表 在 非 完 全 步 结束 后 其 余 要 执行 的 子 图 。 一 条 有 向 无 环 图 中 的 最 长 路 径 
必须 是 从 一 个 人 度 为 0 的 顶点 开始 的 。 由 于 贪心 调度 器 中 的 非 完全 步 执行 了 图 G "中 所 有 人 度 为 0 
的 链 ，G“ 中 的 最 长 路 径 长 度 一 定 比 G“ 中 的 最 长 路 径 长 度 小 1。 换 句 话 说， 一 个 非 完 全 步 使 未 执行 
的 有 向 无 环 图 的 持续 时 间 减 小 了 1。 因此 非 完 全 步 的 数目 至 多 为 To. 

因为 每 个 时 间 步 或 是 完全 的 或 是 非 完全 的 ， 所 以 定理 成 立 。 a 

以 下 是 从 定理 27. 1 得 到 的 推论 ， 表 明 贪 心 调度 器 的 性 能 总 是 很 好 。 

推论 27.2 对 于 一 台 有 P 忆 个 处 理 器 的 理想 并 行 计算 机 ， 使 用 贪心 调度 器 调度 的 任何 多 线程 
计算 的 运行 时 间 Tp 都 在 最 优 时 间 的 2 倍 以 内 。 

证 明 设 Ts 是 一 个 由 最 优 调度 器 在 P 个 处 理 器 的 计算 机 上 产生 的 最 短 时 间 ，T 和 工分 别 
是 工作 量 和 持续 时 间 。 根 据 工作 量 和 持续 时 间 定 律 ， 即 不 等 式 (27.2) 和 (27. 3)， 可 以 得 到 Tp > 
max(T,/P, T..), xe HH 27. 1 HE, 

Tp <T,/P+T.. <2 ° max(T,/P,T..) <2T} = 

事实 上 ， 接 下 来 的 一 个 推论 表明 ， 随 着 松弛 度 的 增长 ， 对 于 任何 多 线程 计算 ， 贪心 调度 器 可 
以 达到 近 完 美 线性 加 速 。 

推论 27.3 设 T 是 一 个 贪心 调度 器 在 P 个 处 理 器 的 理想 并 行 计算 机 上 调度 多 线程 计算 所 产 
生 的 运行 时 间 ，T， 和 T- 分 别 是 计算 的 工作 量 和 持续 时 间 。 如 果 P<(T,/T..), MAH Tp~T,/P, 
或 等 价 地 ， 一 个 接近 P 84 Aik te, 

证 明 如 果 假 设 P<T/T,,， 那么 也 有 T..<T,/P, 因此 根据 定理 27.1 可 以 得 到 T< 
T,/P+T..%T,/P. Meh CPE RE FE C27. 2) 得 出 Tp>T,/P, Abt, 我们 有 结论 TsT/P, 或 
等 价 地 ， 加 速 比 是 T,/Tp~P. = 

符号 “<<” 意 为 “ 远 小 于 ”， 但“ 远 小 于 ”是 小 多 少 呢 ? 根据 经 验 ， 松 弛 度 10 以 上 ( 即 并 行 工 作 量 
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10 倍 于 处 理 器 数 及 以 上 ) 一 般 可 以 达到 好 的 加 速 比 。 此 外 ， 不 等 式 (27. 4) 的 贪心 界 中 持续 时 间 项 
小 于 每 个 处 理 器 工作 量 的 10% ， 这 适用 于 大 多 数 应 用 场合 。 例 如 ， 如 果 一 个 计算 只 运行 在 10 个 
或 者 100 个 处 理 器 上 ， 说 并 行 度 1 000 000 大 于 10 000 甚至 是 100 的 倍数 差异 ， 都 是 没有 什么 意 
义 的 。 正 如 思考 题 27-2 所 示 ， 有 时 候 通 过 降低 过 度 并 行 度 的 方法 ， 可 以 得 到 考虑 其 他 因素 的 更 
好 算法 ， 在 合理 数量 的 处 理 器 上 有 较 好 的 加 速 性 能 。 

多 线程 算法 的 分 析 

现在 有 了 多 线程 算法 分 析 需 要 的 所 有 工具 ， 并 有 了 不 同 处 理 器 数目 上 的 一 些 好 的 时 间 界 。 
工作 量 的 分 析 相 对 直观 ， 因 为 它 并 不 比分 析 一 个 普通 的 串 行 算法 (即将 多 线程 算法 串 行 化 ) 运 行 
时 间 多 做 些 什么 ， 读 者 应 该 已 经 很 熟悉 了 ， 因 为 本 书 大 部 分 内 容 都 是 关于 这 些 内 容 的 ! 分 析 持 续 
时 间 更 有 趣 些 ， 但 是 只 要 你 掌握 了 ， 一 般 就 不 太 难 。 下 面 用 P-FIB 程序 来 探讨 该 基本 思想 。 

分 析 P-FIB(n) 的 工作 量 五 (2 没有 任何 困难 ， 因 为 前 面 已 经 做 过 这 个 工作 。P-FIB 的 源 程序 
本 质 上 就 是 FIB 的 串 行 化 版 本 ， 所 以 由 等 式 (27. 1) ， 得 到 T, MSTS"), 

图 27-3 展示 了 如 何 分 析 持 续 时 间 。 如 果 两 个 子 计 算是 串 行 连接 的 ， 它 们 的 持续 时 间 相 加 就 
形成 了 混合 计算 的 持续 时 间 ; 而 如 果 它 们 是 并 行 连接 的 ， 混 合计 算 的 持续 时 间 就 是 这 两 个 子 计 
算 中 持续 时 间 最 大 的 。 对 于 P-FIB(Cn), 第 3 行 中 的 派生 调用 P-FIB(n 一 1) 与 第 4 行 中 的 调用 
P-FIB(n 一 2) 并 行 执 行 。 因 此 ， 可 以 将 P-FIB(n) 的 持续 时 间 表 示 为 

T(n) =max(T.. (n— 1), T.. (n— 2)) + @Q1) 
=T..(n—1)+@(1) 
解 之 可 得 To (n) =O(n) 。 


可 


工作 量 : T,(AU B)=T,(A)+T(B) TFH: T\(A UB)=T,(A)+T\(B) 
持续 时 间 : T-(4UB)=7-(4)+7T-(B) 持续 时 间 : 7T-(4UB)=max(T-(4),7-(B)) 
(a) (b) 


图 27-3 ”混合 子 计算 的 工作 量 和 持续 时 间 。(a) 当 两 个 子 计算 串 行 连接 时 ， 混 合 
计算 的 工作 量 就 是 它们 的 工作 量 之 和 ， 持 续 时 间 是 它们 的 持续 时 间 之 
和 。(b) 当 两 个 子 计 算 并 行 连接 时 ， 混 合计 算 的 工作 量 虽 是 它们 的 工作 
量 之 和 ， 但 持续 时 间 只 是 它们 持续 时 间 的 最 大 值 


P-FIB(n) 的 并 行 度 是 T, (n)/T.. (CD 王 B( 风 /2 ， 随 着 婚变 大 ， 它 增加 得 非常 快 。 因 此 ， 即 使 
在 一 个 最 大 规模 的 并 行 计 算 机 上 ， 一 个 适当 的 交 对 于 P-FIB(n) 计 算 足 以 提供 接近 完美 的 线性 加 
速 ， 因 为 这 个 程序 有 着 可 观 的 并 行 松弛 度 。 

并 行 循环 

许多 算法 都 包含 循环 ， 循 环 中 的 所 有 和 迭代 能 被 并 行 执行 。 后 面 将 会 看 到 ， 使 用 spawn 和 sync 
关键 字 并 行 化 这 些 循环 ， 可 以 很 方便 地 直接 标注 使 得 这 些 循环 并 发 执行 的 迭代 。 利 用 parellel 并 
发 关键 字 ， 伪 代码 通过 在 for 循环 语句 的 for 关键 词 前 添加 parallel 来 实现 这 个 功能 。 

作为 一 个 例子 ， 考 虑 一 个 nXn 阶 的 矩 阵 A 二 (a; ) 乘 以 一 个 nn 维 向 量 x== (x,)， 结果 nn 维 向 量 
y 一 () 可 用 下 式 得 到 : 


yi = Jazi =l, 25s 
并 行 计算 y HBAS RSs BEI REA AEA 具体 如 下 : 
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MAT-VEC(A, x) 

1 n=A. rows 

2 let y be a new vector of length n 
3 parallel for i=1 to n 
4 y=0 

5 parallel for i=1 to n 
6 for j=l ton 

4 Way taijt; 
8 return y 


在 这 段 代码 中 ,第 3 行 和 第 5 行 中 关键 字 parallel for 表示 各 自 循环 的 每 个 迭代 都 可 以 并 发 执行 。 
编译 器 可 以 像 分 治 子 程序 一 样 ， 使 用 嵌 套 并 行 来 实现 每 个 parallel for 循环 。 例如， 第 5 一 ?7 行 中 


的 parallel for 循环 可 以 调用 MAT-VEC-MAIN-LOOP(A, x, y, n, 1, nn) 来 实现 ， 其 中 编译 器 
产生 如 下 的 辅助 子 过 程 MAT-VEC-MAIN-LOOP: 


MAT-VEC -MAIN -LOOP(A, x, y, n, i, i’) 

1 ifi==i' 

2 for j=] ton 

3 N= t+ayjxz; 

4 else mid=|(i+i')/2| 

5 spawn MAT-VEC -MAIN -LOOP(A, x, ys n, i, mid) 
6 MAT-VEC -MAIN -LOOP(A, x, y, n, mid+1, i’) 
7 syne 


TAR Sh OR E BEA OA BY EAN. DIET RTT a REIN, RAT — + 
sync, SA iG t—#RIT— RA, POTS IE MOC WME 27-4 所 示 。 





图 27-4 一 个 有 向 无 环 图 表示 MAT-VEC-MAIN-LOOP(A, x, y, 8, 1, SMIRK, +A 
角 和 矩形 中 的 两 个 数字 是 过 程 调用 (派生 调用 或 普通 调用 ) 中 最 后 两 个 参数 的 值 (程序 头 中 
的 i 和 i')。 黑 圈 代 表 链 ， 这 些 链 对 应 的 或 是 基础 情形 或 是 直到 第 5 行 中 派生 过 程 
MAT-VEC-MAIN-LOOP 的 程序 段 ; 灰 圈 代表 链 ， 这 些 链 对 应 的 是 从 第 6 行 中 的 调用 
MAT-VEC-MAIN-LOOP 直到 第 7 行 中 的 syne 关键 字 前 的 那 一 部 分 程序 ， 它 们 在 第 5 
行 中 派生 子 进程 返回 前 都 处 于 悬挂 状态 ; 白 圈 代 表 链 ， 这 些 链 对 应 的 是 关键 字 syne 后 
直到 程序 返回 前 的 那 一 部 分 程序 ， 这 部 分 很 少 ， 可 以 忽略 


为 了 计算 nxn 阶 和 矩阵 上 MAT-VEC 的 工作 量 T,(n)， 只 需 简单 地 计算 它 的 串 行 化 的 运行 时 
间 ， 串 行 化 版 本 可 用 普通 for 循环 替代 parallel for 循环 得 到 。 因 此 ， 有 Ti(n) 二 B(mw)， 因 为 第 
5 一 7 行 的 双重 嵌 套 循环 是 二 次 的 执行 时 间 。 然 而 ， 前 面 的 分 析 似 乎 忽略 了 实现 并 行 循环 时 递归 派 |LZ86 
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生 的 开销 。 实 际 上 ， 与 原 串 行程 序 相 比 ， 递 归 派 生 的 开销 确实 增加 了 并 行 循环 的 工作 量 ， 但 并 没 
有 改变 工作 量 的 渐 近 式 。 要 知道 什么 原因 ， 注 意 到 由 于 递归 过 程 实例 树 是 一 棵 满 的 二 叉 树 ， 内 部 
结 点 的 数目 比 叶 结 点 的 数目 少 1( 参 见 练习 B. 5-3) 。 每 个 内 部 结 点 划分 递归 范围 耗费 常数 工作 量 ， 
且 每 个 叶 结 点 对 应 于 循环 的 一 次 迭代 ， 这 种 情况 消耗 8(n) 时 间 。 因 此 ， 我 们 可 以 将 递归 派生 的 
开销 挫 还 到 循环 的 每 一 个 迭代 上 ， 所 以 最 多 将 整个 工作 量 增加 一 个 常数 因子 。 

作为 一 个 实际 问题 ， 动 态 多 线程 并 发 平台 有 时 候 可 以 自动 或 者 采用 程序 员 控 制 的 方式 ， 用 
单个 叶 结 点 中 执行 多 次 而 不 是 一 次 迭代 的 方法 使 得 一 个 递归 叶子 变 粗 (coaren) ， 从 而 减少 递归 派 
生 的 开销 。 这 种 减少 开销 的 方法 是 以 减少 并 行 度 为 代价 的 ， 但 是 如 果 计 算 有 充分 的 并 行 松 弛 度 ， 
依然 可 以 达到 近 完 美 线性 加 速 。 

分 析 一 个 并 行 循环 结构 的 持续 时 间 ， 也 必须 要 考虑 递归 调用 的 开销 。 因 为 递归 调用 的 深度 
是 迭代 数 的 对 数 函 数 ， 对 于 一 个 有 次 迭代 且 第 i 次 迭代 的 持续 时 间 是 itero (让 的 并 行 循 环 ， 整 
个 持续 时 间 是 : 

T..(n) = OC lgn) + max iter. (i) 

例如 ， 对 于 nXn 阶 矩阵 的 MAT-VEC, 第 3~4 行 中 的 初始 化 并 行 循环 的 持续 时 间 为 Ogn), 
因为 该 递归 派生 中 每 次 迭代 为 常数 时 间 的 工作 量 。 第 5 一 ?7 行 中 的 双重 嵌 套 循环 的 持续 时 间 是 
B(n)， 这 是 因为 外 层 parallel for 循环 的 每 次 迭代 包含 内 层 for 循环 的 nn 次 迭代 。 所 以 过 程 中 余下 
的 代码 的 持续 时 间 是 常数 ， 因 此 整个 过 程 的 持续 时 间 由 双重 垦 套 循环 决定 ， 于 是 整个 持续 时 间 
是 9(z) 。 因 为 工作 量 是 OG"), HUDF OG" )/O(n) =O), (AR 27. 1-6 要 求 读者 给 出 
一 个 有 更 高 并 行 度 的 实现 。) 

竞争 条 件 

一 个 多 线程 算法 是 确定 的 (deterministic) ， 如 果 在 同样 的 输入 情况 下 总 是 做 相同 的 事 ， 且 无 
论 指令 在 多 核 计算 机 上 如 何 被 调度 也 是 如 此 。 一 个 多 线程 算法 是 非 确 定 的 (nondeterministic) ， 如 
果 每 次 执行 它 做 的 事情 有 所 不 同 。 一 个 多 线程 算法 意图 确定 地 做 一 些 事情 ， 但 常常 会 失败 ， 究 其 
原因 是 算法 中 包含 了 “确定 性 竞争 ”。 

竞争 条 件 是 并 发 的 祸根 。 比 较 著 名 的 竞争 错误 有 ， 导 致 3 人 死亡 和 多 人 重伤 的 Therac-25 放 
射 治疗 仪 事件 ， 以 及 使 得 超过 5 000 万 人 失去 了 电力 供应 的 2003 年 北美 大 停电 事件 。 这 些 致命 
的 错误 非常 难以 察觉 。 你 可 能 一 直 在 实验 室 测试 了 数 天 都 没有 找到 一 个 错误 ， 却 发 现 你 的 软件 
在 现场 偶然 发 生 崩 溃 。 

当 两 个 逻辑 上 并 行 指令 访问 存储 器 同一 位 置 且 至 少 有 一 个 指令 执行 写 操作 的 时 候 ， 便 会 发 
生 确 定性 竞争 (determinacy race) 。 以 下 程序 描述 了 一 个 竞争 条 件 : 

RACE-EXAMPLE() 

1 z=0 

2 parallel for i=1 to 2 

3 z=2z+1 


4 print x 


在 第 1 行 中 将 zx 初 始 化 为 0 后 ，RACE-EXAMPLE 产生 两 个 并 行 链 ， 它 们 都 执行 第 3 行 的 对 
工 加 1 的 操作 。 似 乎 RACE-EXAMPLE 应 总 是 输出 2( 对 应 的 串 行 化 版 本 一 定 如 此 )， 然 而 并 行 执 
行 可 能 输出 1。 我 们 来 看 一 下 这 个 异常 是 如 何 发 生 的 。 

当 一 个 处 理 器 对 工 进行 加 1 操作 时 ， 该 操作 不 是 不 可 分 的 ， 而 是 由 一 系列 指令 组 成 : 

1. 从 存储 器 中 读 取 并 的 值 到 处 理 器 的 寄存 器 中 。 

2. 对 寄存 器 中 的 值 加 1。 

3. 将 寄存 器 中 的 值 写 回 到 存储 器 中 的 z。 
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图 27-5(a) 展 示 了 代表 RACE-EXAMPLE 执行 的 一 个 计算 有 向 无 环 图 ， 其 中 链 已 细 分 为 各 个 
指令 。 注 意 到 ， 由 于 理想 并 行 计算 机 支持 顺序 执行 的 一 致 性 ， 因 此 我 们 能 视 一 个 多 线程 算法 的 某 
次 并 行 执行 为 一 组 交错 指令 ， 该 交错 指令 满足 计算 有 向 无 环 图 中 的 关联 。 图 27-5(b) 显 示 了 产生 
异常 结果 的 一 次 计算 执行 。z 的 值 存放 在 存储 器 中 ，r, A r 是 处 理 器 的 寄存 器 。 在 步骤 1 中 ， 
一 个 处 理 器 将 x 的 值 置 为 0。 在 步骤 2 和 3 中 ,处理 器 1 从 存储 器 中 读 取 工 存 人 它 的 寄存 器 盖 
中 ,并且 对 它 加 1， 此 时 x 的 值 为 1。 此 时 ， 处 理 器 2 也 正在 运行 指令 4 一 6。 处 理 器 2 从 存储 器 
中 读 取 工 存 人 它 的 寄存 器 六 中 ， 并 且 对 它 加 1， 此 时 r 的 值 为 1， 然 后 将 这 个 值 存 人 zz 中 ,zz 的 
值 为 1。 现在， 处 理 器 1 继续 步骤 7， 将 7 中 的 1 存 人 xz， 这 并 未 使 得 z 的 值 改变 。 因 此 ， 步 又 8 
输出 值 1 而 不 是 2， 后 者 是 串 行 化 程序 所 期 望 的 输出 结果 。 





_- = OOO 6 6] 
aa oO | ft | le 


SN Du ff DD 
一 一 一 一 一 号 


(a) (b) 


图 27-5 RACE-EXAMPLE 中 确定 性 竞争 的 例子 。(a) 计 算 有 向 无 环 图 显示 了 各 个 指令 间 的 关 
RHE. r Are 为 处 理 器 中 的 寄存 器 。 一 些 与 竞争 无 关 的 指令 被 省 略 了 ， 比 如 循环 控制 
实现 的 指令 。(b) 一 个 引起 错误 的 执行 序列 ， 图 中 显示 了 执行 序列 每 一 步 存储 器 中 z 
的 值 ， 以 及 寄存 器 ri 和 T2 的 值 


我 们 能 明白 上 面 发 生 的 情况 。 如 果 一 个 并 行 执行 要 求 处 理 器 1 在 处 理 器 2 之 前 执行 完 它 的 全 
部 指令 ， 则 应 该 输出 数值 2。 反 之 ， 如 果 一 个 并 行 执行 要 求 处理 器 2 在 处 理 器 1 之 前 执行 完 它 的 
全 部 指令 ， 则 输出 依然 为 2。 然而， 两 个 处 理 器 同时 执行 各 自 的 指令 ， 有 可 能 如 图 中 的 例子 ， 对 
工 的 一 个 更 新 便 丢 失 了 。 

当然 ， 许 多 执行 并 不 导致 这 种 错误 。 例 如 ， 如 果 执 行 顺序 是 (1，2，3，7，4，5，6，8) 或 者 
(1，4，5，6，2，3，7，8)， 则 均 能 得 到 正确 的 结果 。 这 是 一 个 确定 性 竞争 问题 。 一 般 来 说 ， 大 
多 数 次 序 都 产生 正确 的 结果 ， 比 如 任何 左边 的 指令 都 比 右边 的 指令 先 执行 ， 反 之 也 一 样 。 但 是 一 
些 指令 交错 的 次 序 会 产生 错误 结果 。 所 以 一 些 竞争 特别 难以 检 出 。 你 可 能 测试 了 数 天 都 没有 发 
现 错误 ， 而 在 最 后 关键 时 刻 现 场 体 验 了 灾难 性 的 系统 崩溃 。 

虽然 处 理 竞 争 有 各 种 不 同方 法 ， 包 括 使 用 互 斥 锁 和 其 他 的 同步 方法 ， 但 是 对 我 们 而 言 ， 简 单 
的 做 法 是 确保 并 行 运行 的 链 是 独立 的 : 使 它们 之 间 不 存在 确定 性 竞争 。 因 此 ， 在 一 个 parallel for 
结构 中 ， 所 有 迭代 应 该 是 独立 的 。 在 spawn 和 对 应 的 syne 之 间 ， 派 生子 过 程 的 代码 应 该 与 父 过 
程 ( 包 括 其 他 派生 过 程 和 直接 调用 的 程序 ) 的 代码 相互 独立 。 要 注意 的 是 传 给 派生 子 过 程 的 参数 
应 该 在 实际 派生 发 生前 在 父 过 程 中 被 计算 出 来 ， 因 而 对 于 任何 要 访问 那些 派生 子 过 程 涉及 的 参 
数 ， 都 要 在 派生 子 过 程 执 行 完 后 再 顺序 地 被 访问 。 

下 面 的 例子 说 明代 码 中 十 分 容易 出 现 竞争 。 这 是 一 个 多 线程 矩阵 和 向 量 相 乘 的 错误 实现 ， 
它 是 通过 对 内 层 for 循环 并 行 化 得 到 的 ， 持 续 时 间 是 Ogn). 

MAT-VEC -WRONG (A, z) 


l n=A.rows 


2 let y be a new vector of length n 
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3 parallel for i=1 ton 

4 y=0 

5 parallel for i=1 to n 

6 parallel for /一 1 to n 
7 y= tax; 
8 


return y 


遗憾 的 是 ， 该 过 程 是 错误 的 ， 因 为 其 第 7 行 中 更 新 y 导致 了 竞争 ， 这 里 对 j 的 所 有 个 值 都 并 发 
执行 。 练 习 27. 1-6 要 求 给 出 一 个 持续 时 间 为 6(lgn) 的 正确 实现 。 

有 竞争 的 多 线程 算法 有 些 时 候 是 正确 的 。 例 如 ， 两 个 并 行 的 线程 要 存储 相同 的 值 到 一 个 共 
享 变量 中 ， 谁 先 写 人 都 是 一 样 的 。 但 是 总 体 上 来 说 ， 存 在 竞争 的 代码 是 非法 的 。 

国际 象棋 

用 一 个 真实 的 故事 来 结束 本 节 ， 该 事件 出 现在 世界 级 多 线程 象棋 博弈 程序 的 发 展期 间 ( 友 
Socrates[80]) 。 以 下 为 了 阐述 方便 ， 对 于 程序 的 计时 分 析 做 了 简化 。 这 个 程序 的 原型 是 运行 在 一 
台 32 个 处 理 器 的 计算 机 上 的 ， 但 最 终 运行 在 一 台 512 个 处 理 器 的 超级 计算 机 上 。 那 时 ， 开 发 者 
在 一 个 重要 的 测试 平台 上 对 程序 进行 了 优化 ， 使 它 在 32 个 处 理 器 的 计算 机 上 运行 时 间 从 Ta = 65 
秒 减 少 到 了 T's =40 秒 。 然 而 ， 开 发 人 员 使 用 工作 量 和 持续 时 间 的 性 能 度量 来 给 优化 版 本 下 结 
论 。 在 32 个 处 理 器 的 计算 机 上 运行 时 间 要 快 些 ， 而 在 512 个 处 理 器 的 计算 机 上 实际 运行 比 原版 
本 要 慢 。 所 以 ， 他 们 放弃 了 这 个 “优化 ”。 

这 里 是 他 们 的 分 析 。 原 版 本 程序 的 工作 量 OT, =2 048 秒 ， 持 续 时 间 To =1 秒 。 如 果 将 不 等 
式 (27.4) 看 做 一 个 等 式 Tp 二 TT/P 十 T.,。， 并 用 它 作 为 P 个 处 理 器 上 运行 时 间 的 一 个 近似 ， 于 是 
得 到 Ty, =2 048/32 十 1 二 65。 对 于 优化 版 本 ， 工 作 量 为 T! =1024 秒 ， 持 续 时 间 变 成 了 T' =8 
秒 。 再 次 使 用 近似 方法 ， 得 到 Ts =1 024/32 十 8 一 40。 

但 是 ,在 512 个 处 理 器 的 计算 机 上 测试 时 ， 两 个 版 本 的 速度 大 小 对 换 了 。 具 体 来 说 ,我 们 有 
Ts 二 2 048/512+1=5 秒 ，T 和 二 1 024/512 十 8 二 10 秒 。 这 个 在 32 个 处 理 器 上 可 以 加 速 的 优化 
方法 ， 在 512 个 处 理 器 上 却 比 原 程序 慢 了 1 倍 。 优 化 版 本 的 持续 时 间 是 8， 不 是 32 个 处 理 器 上 运 
行 时 间 的 决定 项 ,但 在 512 个 处 理 器 上 却 变 成 了 决定 项 ， 抵 消 了 使 用 更 多 处 理 器 带 来 的 优势 。 

这 个 故事 说 明 ， 工 作 量 和 持续 时 间 可 以 作为 一 个 推断 性 能 的 好 工具 ， 比 实际 测量 运行 时 间 
要 好 。 


练习 


27.1-1 假设 P-FIB 中 第 4 行 派生 调用 P-FIB(n 一 2)， 而 不 是 像 原 程序 中 使 用 普通 调用 的 方法 ， 
则 渐 近 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 

27. 1-2 ”请 画 出 运行 P-FIB(5) 的 计算 有 向 无 环 图 。 假 设计 算 中 的 每 个 链 消耗 单位 时 间 ， 则 该 计算 
的 工作 量 、 持 续 时间 和 并 行 度 各 是 多 少 ? 如 何在 3 个 处 理 器 上 调度 这 个 计算 有 向 无 环 
图 ， 要 求 使 用 贪心 调度 并 用 执行 中 的 时 间 步 给 每 个 链 做 标记 。 

27. 1-3 WEH: 贪心 调度 可 以 达到 下 面 的 时 间 界 ， 该 时 间 界 稍微 强 于 定理 27. 1 给 出 的 界 : 


Ts a Ti Sf: 


27.1-4 ”构造 一 个 计算 有 向 无 环 图 ， 使 得 在 相同 数目 的 处 理 器 上 ， 一 个 贪心 调度 器 的 一 次 执行 时 
间 是 某 个 贪心 调度 器 的 另 一 次 执行 时 间 的 几乎 2 倍 。 描 述 这 两 种 执行 是 如 何 进行 的 。 

27.1-5 Karan 教授 在 处 理 器 数 为 4、10 和 64 的 理想 并 行 计算 机 上 ， 使 用 一 个 贪心 调度 器 分 别 测 
试 了 她 的 确定 多 线程 算法 ， 她 的 三 次 运行 结果 分 别 为 T, =80 BL Tio =42 秒 和 Ta 一 10 





a Be (27.5) 
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秒 。 说 明 该 教授 是 在 说 谎 ， 还 是 实验 不 合适 。( 提 示 : 使 用 工作 量 定律 (27. 2) 、 持 续 时 
间 定 律 (27. 3) ， 以 及 从 练习 27. 1-3 得 到 的 不 等 式 (27. 5) 。) 

27.1-6 请 给 出 一 个 计算 nXn 阶 矩阵 和 维 向 量 相 乘 的 多 线程 算法 ， 要 求 并 行 度 为 O(n’ /lgn)， 
THERA OG’). 

27.1-7 考虑 下 面 原 地 完成 2Xz 阶 和 矩阵 转 置 的 多 线程 伪 代 码 : 


P-TRANSPOSE(A) 

1 n=A.rows 

2 parallel for j=2 ton 

3 parallel for i=1 to j—1 


4 exchange a,, with aji 


试 分 析 这 个 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.1-8 假设 将 PTRANSPOSE( 见 练习 27. 1-7) 中 第 3 行 的 parallel for 循环 替换 成 普通 的 for 循 
环 。 试 分 析 改 变 后 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.1-9 假定 Tp 二 T/P 十 T,,， 在 多 少 个 处 理 器 的 并 行 机 上 才能 使 国际 象棋 程序 的 两 个 版 本 的 运 
行 速度 一 样 快 ? 


27.2 多 线程 矩阵 乘法 

在 本 节 中 ， 我 们 讨论 如 何 进行 多 线程 矩阵 乘法 ， 该 问题 的 串 行 运行 时 间 在 4. 2 节 已 经 介绍 
了 。 下 面 的 多 线程 算法 是 基于 标准 的 三 重 供 套 算法 及 分 治 算法 而 得 到 的 。 

矩阵 乘法 的 多 线程 算法 

我 们 讨论 的 第 一 个 算法 是 一 个 直接 得 到 的 算法 ， 它 是 基于 对 4. 2 节 的 SQUARE-MATRIX- 
MULTIPLY 过 程 中 的 循环 进行 并 行 化 的 。 

P-SQUARE-MATRIX-MULTIPLY(A, B) 


l n=A. rows 
2 let C be a new nXn matrix 
3 parallel for ¿=1 to n 


4 parallel for j=] to n 

5 cy =0 

6 for k=] ton 

7 cy = cy tau * by 
8 return C 


为 了 分 析 这 个 算法 ， 注 意 到 其 串 行 化 版 本 就 是 SQUARE-MATRIX-MULTIPLY， 因 此 容易 
得 到 它 的 工作 量 T (a=), FH SQUARE-MATRIX-MULTIPLY 的 运行 时 间 相 同 。 持 续 时 间 
是 To (Co 三 9(z)， 因 为 它 对 应 的 是 第 3 行 开 始 的 paralle for 循环 构成 的 递归 树 中 的 一 条 向 下 路 
径 ， 然 后 第 4 行 开始 的 paralle for 循环 构成 的 递归 树 向 下 ， 再 执行 第 6 行 开始 的 普通 for 循环 的 
所 有 nn 次 迭代 ， 结 果 整 个 持续 时 间 为 8(lg) 十 8(lgnn) 十 B(n) 二 BC(n)。 所 以 并 行 度 为 O )/OQ(n) = 
O(n’), HAJ 27. 2-3 要 求 读者 并 行 化 内 层 循环 并 得 到 并 行 度 为 O /lgn)， 这 里 不 能 直接 使 用 
parallel for， 因 为 这 样 会 导致 数据 竞争 。 

矩阵 乘法 的 分 治 多 线程 算法 

由 于 在 4. 2 节 中 已 学 习 过 ， 用 Strassen 的 分 治 策略 可 以 在 Oan) =OG*™ ) 时 间 内 完成 zzXz 
阶 和 矩阵 乘法 ， 这 促使 我 们 将 目光 转向 多 线程 。 如 同 在 4. 2 节 中 做 的 那样 ， 以 对 一 个 简单 的 分 治 算 
法 进行 多 线程 处 理 来 开始 。 

回想 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 ， 它 将 两 个 zzXz 和 矩阵 A 和 B 相 FE 
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48 Bl) n Xn 矩阵 C， 方 法 是 将 这 三 个 矩阵 都 划分 成 4 个 n/2Xn/2 的 子 和 矩阵 : 
An Ar Bı Bx Cu Ciz 
oe. Fa ra ai E ni. e be s 
然后 ， 我 们 重 写 矩 阵 乘积 为 : 
Cu Cr An Aj By By 
Fs el 区 eae a 
as be | ees Ay o 
An By An By Azz Bz Az By 
因此 ， 做 两 个 nXn 和 矩阵 相 乘 ， 要 执行 8 次 n/2Xn/2 FERMENTED. PA PATRAS Ba ESE SE 
现 了 这 个 分 治 策略 。 与 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 不 同 ，P-MATRIX- 
MULTIPLY-RECUREIVE 过 程 将 输出 矩阵 作为 一 个 参数 以 避免 不 必要 的 矩阵 分 配 。 
P-MATRIX-MULTIPLY-RECURSIVE(C, A, B) 


(27. 6) 


l n=A. rows 
2 ifn==1 
3 Cn Sandbu 
4 else let T be a new nXn matrix 
5 partition A, B, C, and T into n/2Xn/2 submatrices 
An» Aiz» Azn» Arz; Bıı ’ Biz» Bza» Bz; Cn» Ciz» Ca 9 Cz: 
and Tus Tizs Tns Tz; respectively 
6 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,;, An» Bu) 
7 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,;, Au» Biz) 
8 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,, , Azn, Bn) 
9 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,,, An» Biz) 
10 spawn P-MATRIX -MULTIPLY-RECURSIVE(T}; , Aiz» Ba) 
ll spawn P-MATRIX -MULTIPLY-RECURSIVE(T;;, A, Bz) 
12 spawn P-MATRIX -MULTIPLY-RECURSIVE(T?, , Az, Ba) 
13 P-MATRIX -MULTIPLY-RECURSIVE(T,,, Az, Bz) 
14 sync 
15 parallel for i=1 to n 
16 parallel for j=1 to n 
17 Cy Hey Hy 


第 3 行 是 基础 情形 ， 进 行 的 是 1X1 和 矩阵 相 乘 。 第 4 一 17 行 处 理 的 是 递归 情况 。 在 第 4 
分 配 了 一 个 临时 矩阵 TT 并 且 第 5 行将 矩阵 A、B、C 和 T 耳 划分 成 n/2Xn/2 的 子 矩 阵 ( 与 4. 2 节 
中 的 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 一 样 ， 忽 略 使 用 下 标 来 表示 和 矩阵 中 的 子 
矩阵 而 产生 的 小 问题 ) 。 第 6 行 中 的 递归 调用 置 Ci AF RARE Ay Bl， 使 得 Cu 等 于 式 (27. 6) 
中 和 的 两 项 中 的 第 一 项 。 类 似 地 ， 第 7 一 9 ITE C, CaM Cz 等 于 式 (27.6) 中 和 的 两 项 中 的 第 一 
项 。 第 10 行 置 子 矩阵 Ti WFR ALB, HE 等 于 形成 CO 和 的 两 项 中 的 第 二 项 。 第 
11 一 13 行 分 别 置 Tr ` Ta 和 Tx ATE Cp ` Qa 与 Cz 和 的 两 项 中 的 第 二 项 。 前 面 的 7 个 递归 都 是 派 
生 的 ， 最 后 一 个 在 主 链 中 执行 。 第 14 行 中 的 syne 语句 保证 了 第 6 一 13 行 中 的 所 有 子 矩 阵 乘积 都 被 
WH, 之 后 在 第 15 一 17 FF AWAKE parallel for 循环 将 T 的 乘积 加 入 到 C 中 。 

我 们 首先 分 析 P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 工作 量 M (a), 与 它 的 原版 本 
SQUARE-MATRIXMULTIPLY-RECURSIVE 的 串 行 运行 时 间 分 析 相 同 。 在 递归 情况 下 ， 划 分 
时 间 为 86(1)， 执 行 8 个 递归 的 n/2Xn/2 矩阵 相 乘 ， 最 后 执行 工作 量 为 OHRA nX n 矩阵 的 
相 加 。 因 此 ， 根 据 主 定理 的 情况 1， 工 作 量 M (zx) 的 递归 式 是 : 
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M, (n) = 8M, (n/2) + OG") = O(n) 
换 句 话说 ， 多 线程 算法 的 工作 量 渐 近 地 与 4. 2 节 中 的 SQUARE-MATRIX-MULTIPLY 过 程 的 运 
行 时 间 一 样 ， 它 们 都 使 用 了 三 重 媒 套 循 环 。 

为 了 得 到 P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 持续 时 间 M- (n)， 首 先 注 意 到 划分 
时 间 是 8(1)， 这 是 由 第 15 一 17 HF PAM BRKE parallel for 循环 的 8@(lgn) 持 续 时 间 决 定 的 。 由 
于 8 个 并 行 递 归 调 用 都 是 在 相同 规模 的 矩阵 上 运行 ， 因 此 递归 调用 的 最 大 持续 时 间 只 是 其 中 任 
何 一 个 的 持续 时 间 。 于 是 P-MATRIX-MULTIPLY-RECURSIVE 的 持续 时 间 M Ca) 的 递归 
AE: 

M...(n) = M» (n/2) + Ogn) (27.7) 
对 于 这 个 递归 式 的 求解 ， 前 面 主 定理 的 任何 情况 都 不 适用 ， 但 它 满足 练习 4. 6-2 的 条 件 。 因 此 由 
练习 4. 6-2， 递 归 式 (27. 7) 的 解 是 Mo (nr) =O(lg’n). 

现在 已 经 得 到 P-MATRIX-MULTIPLY-RECUREIVE 的 工作 量 和 持续 时 间 ， 我 们 可 以 计算 
出 它 的 并 行 度 M, (n)/M.. (n) = @(n' /Ig’n) ， 这 个 值 非常 大 。 

多 线程 Strassen 算法 

实现 多 线程 Strassen 算法 的 思路 同 4. 2 节 中 的 Strassen WAAKSE, MUERE T: 

1. 与 等 式 (27. 6) 中 的 一 样 ， 将 输入 矩阵 A MB 以 及 输出 矩阵 C 划分 成 z/2XzV/2 子 矩阵 。 这 
一 步 使 用 下 标 计 算 ， 消 耗 了 8(1) 的 工作 量 和 持续 时 间 。 

2. 产生 10 个 矩阵 S, ’ Sr» ee Sto» 它们 都 是 n/2Xn/2 FA, 并 且 是 第 1 步 中 两 个 矩阵 
的 和 或 差 。 通 过 使 用 双重 嵌 套 parallel for 循环 ， 用 O) THEA @(lgz) 持 续 时 间 可 以 产生 所 有 
的 10 个 和 矩阵。 

3. 使 用 第 1 步 中 产生 的 子 和 矩阵 和 第 2 步 中 产生 的 10 个 和 矩阵， 递归 地 派生 计算 7 个 n/2Xn/2 
矩阵 Pis P2, sty Py 的 乘积 。 

4. 再 次 使 用 双重 嵌 套 parallel for 循环 ， 对 P; 矩阵 进行 加 和 减 的 各 种 组 合 ， 计 算 结 果 和 矩阵 C 
HP ig Se FBR Cy. Cz, Car Co. PILATE LEY B() 和 持续 时 间 为 9(lgn) 内 ， 计 算得 到 
全 部 的 4 个 子 矩 阵 。 

为 了 分 析 这 个 算法 ， 首 先 注意 到 串 行 化 后 的 程序 就 是 原 串 行程 序 ， 工 作 量 就 是 串 行 化 程序 
的 运行 时 间 ， 即 OC). X} F P-MATRIX-MULTIPLY-RECURSIVE， 可 以 得 到 持续 时 间 的 一 
个 递归 式 。 在 这 种 情况 下 ，? 个 递归 调用 是 并 行 执行 的 ， 然 而 由 于 它们 都 是 在 同样 大 小 的 矩阵 上 
进行 的 运算 ， 因 此 如 同 PMATRIXMULTIPLY-RECURSIVE 所 做 的 那样 ， 得 到 一 样 的 递归 式 
(27.7)， 其 解 为 Gl(lgn)。 所 以 ， 多 线程 Strassen 方法 的 并 行 度 是 On /lgn)， 这 个 数字 仍然 很 
K, 但 比 P-MATRIX-MULTIPLY-RECURSIVE 的 并 行 度 要 小 一 些 。 


练习 


27.2-1 请 画 出 在 2X2 矩阵 上 计算 PSQUARE-MATRIX-MULTIPLY 的 计算 有 向 无 环 图 ， 并 在 
图 中 标 出 与 算法 执行 中 的 链 相对 应 的 所 有 顶点。 使 用 习惯 表示 法 : 派生 调用 和 普通 调用 
的 边 指向 下 ， 连 接 边 水 平 指向 右 ， 返 回 边 指向 上 。 假 设 每 个 链 消耗 单位 时 间 ， 试 分 析 该 
计算 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.2-2 对 P-MATRIX-MULTIPLY-RECURSIVE 过 程 ， 重 做 一 遍 练 习 27. 2-1。 

27.2-3 WAM OPERA OG’), MRAM A 8(lgz) 的 两 个 nX n EER HEREA EH 
代码 ， 并 分 析 该 算法 。 

27.2-4 请 给 出 如 Xq 和 矩阵 和 9Xr 抢 阵 相 乘 的 一 个 有 效 多 线程 算法 的 伪 代 码 。 即 使 任何 畏 、g 或 > 
为 1， 你 的 算法 也 要 有 好 的 并 行 性 能 。 分 析 该 算法 。 


468 + 第 七 部 分 算法 问题 选编 


27.2-5 请 给 出 原 地 转 置 nXn 矩阵 的 一 个 有 效 的 多 线程 算法 伪 代 码 ， 使 用 分 治 法 原 地 将 X n HE 
阵 递归 地 划分 为 4 个 n/2Xn/2 子 矩阵 。 分 析 该 算法 。 

27.2-6 请 给 出 Floyd-Warshall 算法 ( 见 25. 2 节 ) 的 一 个 有 效 多 线程 实现 的 伪 代 码 ， 该 算法 在 带 
权 图 上 计算 所 有 点 对 间 的 最 短路 径 。 分 析 该 算法 。 


27.3 多 线程 归并 排序 


首先 ， 在 2. 3. 1 节 中 ,我们 已 学 过 串 行 的 归并 排序 ， 并 在 2. 3. 2 节 中 分 析 过 它 的 运行 时 间 为 
Bnlgn)。 由 于 归并 排序 应 用 了 分 治 模 式 ， 于 是 使 用 嵌 套 并 行 似乎 不 是 多 线程 化 的 一 个 好 的 候选 
方法 。 可 以 简单 地 修改 原 伪 代码 ， 改 第 一 个 递归 调用 为 派生 的 : 

MERGE-SORT (A, p, 7) 

1 ifp<r 

2 q=|(ptr)/2] 
spawn MERGE-SORT (A, p, q) 

MERGE-SORT'(A, q+1, r) 

sync 

MERGE(A, p, q» r) 

与 它 对 应 的 串 行 算法 一 样 ，MERGE-SORT 对 子 数组 ACD. . rj 进行 排序 。 完 成 第 3 行 和 第 4 行 的 
两 个 递归 子 程序 ， 这 是 使 用 第 5 行 的 syne 语句 来 保证 的 ， 然 后 MERGE-SORT 与 本 书 中 2. 3 节 
中 的 一 样 调用 MERGE 过 程 。 

现在 来 分 析 MERGE-SORT'。 为 此 ， 先 要 分 析 MERGE。 前 面 介绍 过 它 合 并 n FICK WY BT 
运行 时 间 是 O(n). HA MERGE 是 串 行 的 ， 它 的 工作 量 和 持续 时 间 都 是 8(n)。 于 是 ， 下 面 的 递 
归 式 刻画 了 MERGE-SORT' 在 n 个 元素 上 的 工作 量 MS | (n) : 

MS (n) = 2MS | (n/2) + O(n) = Qnlgn) 
它 与 归并 排序 的 串 行 运行 时 间 相 同 。 由 于 MERGE-SORT 中 的 两 个 递归 调用 可 以 并 行 执 行 ， 持 
续 时 间 MS- 可 由 如 下 递归 式 给 出 : 
MS $ (n) = MS L (n/2) + 0n) = O(n) 
FÆ, MERGE-SORT’ 的 并 行 度 就 是 MSi (mmDVMS.- (n) = O(lgn), TIFT ERE. Bild, 
要 排 1000 万 个 元 素 ， 在 数量 不 多 的 处 理 器 上 可 以 达到 线性 加 速 ， 但 是 在 几 百 个 处 理 器 上 加 速 不 
能 得 到 有 效 的 保持 。 

读者 可 能 已 经 发 现 上 面 的 多 线程 归并 排序 的 并 行 性 瓶颈 在 于 : 串 行 MERGE 过 程 。 虽 然 归 
并 初 看 起 来 像 是 天 生 串 行 的 ， 但 实际 上 可 以 用 赃 套 并 行 来 形成 一 个 它 的 多 线程 版 本 。 

用 于 多 线程 合并 的 分 治 策略 是 运用 于 数组 了 的 子 数组 上 的 ， 如 图 27-6 所 示 。 假 设 长 度 为 
mn =n— p+] 的 有 序 子 数组 T h.. ri] 和 长 度 为 no 二 7 一 ps 十 1 的 有 序 子 数组 TLpo.. rj] 合并 为 
另 一 个 长 度 为 ns 二 7 一 pp 十 1 二 nn 十 ns 的 子 数组 ALps3. .7;]。 不 失 一 般 性 ， 可 以 简单 假设 m Sn. 

首先 ， 找 出 子 数 组 TUA.. n ] 的 中 间 元 素 z= Tian], HP a=lp+n)/2). BFF RAE 
AFR, zi Th.. nJ PAR: 数组 TLp..q 一 1] 中 的 每 个 元 素 都 不 大 于 x, HARA 
Tla +1. .x J 中 的 每 个 元 素 都 不 小 于 zx。 然后 ， 使 用 二 分 查找 方法 找 子 数组 To. .7x;] 中 的 下 标 
q:， 使 得 如 果 将 插入 到 T[g, 一 1] 和 TLg;, ] 之 间 ， 子 数组 仍然 有 序 。 

下 一 步 ， 将 子 数组 Tipis . n JA T[p;. . rzj 合 并 成 数组 ALp;. ara] RAUT: 

1. 取 9 一 名 十 (q p) tla pr). 

2. H r AHA AL]. 

3. BIA Th.. a —1]5 TLp.… gq 一 1] 合 并 ， 并 将 合并 结果 存放 到 子 数组 AL.. q; 一 1]。 

4. 递归 地 将 TLgi 十 1.. 7] 与 TLgs. .rj] 合 并， 并 将 合并 结果 存放 到 子 数组 Alg +1.. r]. 


an Aa uw 
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27-6 ”将 两 个 有 序 子 数组 Tp.. rn ]A TL. .rsj 并 成 子 数组 ALps. .rj 的 多 线程 合并 思 
想 。 假设 z= 二 TLgi dé TL.. rn JP, qo 为 TLpz. .rj 中 的 一 个 位 置 ， 使 得 z 落 
在 T[gz 一 1j] 和 TLgj 之 间 ， 子 数组 T[p. .gq 一 1] 和 T[p2.. gz 一 1]( 浅 阴影 部 分 ) 中 
的 每 个 元 素 都 小 于 或 等 于 x， 并 且 子 数组 Tla t1.. ri JA Tig +1.. rs]( 深 阴影 部 
分 ) 中 的 每 个 元 素 都 大 于 或 等 于 zx。 为 了 合并 ,计算 下 标 gs， 使 得 zx 属于 
Albs.-rs], 将 zz 复 制 到 A[Lg;]， 然 后 递归 地 将 TLA.. qa 11A TE.. gq 一 1] 合 并 
到 AL ps..qs—1], 将 TLgi 十 1. .rij] 和 T[gz. .rz] 合 并 到 A[gs 十 1.. r] 


当 计 算 q3 Wy, 2% qı — Pp 是 子 数 组 TL[Lp..g = 1] 中 的 元 素数 目 ， 差 Q — pr 是 子 数 组 
TLps.. q; 一 1 中 的 元 素数 目 。 因 此 ， 它 们 的 和 是 子 数组 ALp;. .7;] 中 xz 加 入 前 的 元 素数 目 。 

4n =n, =0 时 为 基础 情况 ， 此 时 合并 两 个 空子 数组 无 需 做 什么 。 由 于 已 经 假设 子 数组 
TLp. .rj 的 长 度 不 短 于 Tp... r], B nay 宇 n,。， 因 此 只 要 检查 nm 二 0， 就 能 判别 是 否 是 基础 情 
况 。 同 样 ， 当 两 个 子 数组 中 仅 一 个 为 空 时 ， 必 须 确保 递归 仍 能 正确 处 理 。 根 据 假 设 m,n, KS 
空 数组 肯定 是 TLp;. . re 

现在 ， 将 这 些 想 法 用 伪 代 码 实 现 。 以 二 分 查找 开始 ， 用 串 行 算 法 表示 。 过 程 BINARY- 
SEARCH(x，T，p，7) 接 受 一 个 关键 字 zx 和 一 个 子 数 组 T[p..r]， 并 返回 下 面 的 一 个 结果 : 

。 WR TLp.. rH (r<p), REFER po 

。 WR xz 二 TL[p]， 因 此 小 于 或 等 于 TLp. . 门 中 的 任何 元 素 ， 则 返回 下 标 po 

。 WR >T], WEHE p<g<r 十 1 中 满足 T[g 一 1]<z 的 最 大 下 标 z。 

伪 代 码 如 下 : 


BINARY-SEARCH(z, T, p, r) 
1 low=p 

2 high=max(p, r+1) 

3 while low < high 

4 mid=|(low+high)/2| 
5 if z<<T[ mid] 

6 high=mid 

7 else low=mid+1 

8 return high 


调用 BINARY-SEARCH(2, T, p, 7) 最 坏 情 况 下 需要 9(lgz) 的 串 行 执行 时 间 ， 这 里 n=r— pt 
1 是 执行 时 子 数组 的 大 小 。( 见 练习 2. 3-5。) 由 于 BINARY-SEARCH 是 一 个 串 行 过 程 ， 因 此 最 坏 
情况 下 其 工作 量 和 持续 时 间 都 是 Ogn). 

现在 ， 准 备 写 多 线程 归并 过 程 的 伪 代 码 。 与 2.3 节 中 的 MERGE 过 程 一 样 ，P-MERGE 过 程 
也 要 求 将 两 个 子 数组 合并 到 同一 个 数组 内 。 然 而 不 像 MERGE，P-MERGE 并 不 要 求 两 个 要 合并 
子 数组 在 合并 后 的 数组 中 是 相 邻 的 。( 即 P-MERGE 并 不 需要 p =r, +1.) MERGE 和 P-MERGE 
间 的 另 一 个 差别 是 ，P-MERGE 把 一 个 输入 参数 作为 输出 子 数组 A 中 存储 合并 结果 的 位 置 值 。 调 
H P-MERGEC(T, pis ris brns A, ps PARE IF RA TCh.. r JM Tope. .rsj 合并 到 子 数组 
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AL p. . rs 中， 其 中 = 办 十 (ni 一 加 十 十 (rz 一 pz 十 1) 一 1==ps 十 (ni 一 pi) 十 (rs 一 p2) 十 1 并 不 作 
为 一 个 输入 参数 提供 。 


P-MERGE(T, Pio Tis Pz» Tes A, ps) 


1 m=r— p +1 

2 m=rz—prtl 

3 ifm<m // ensure that n =n: 

4 exchange p, with pz 

5 exchange r, with rz 

6 exchange n, with nz 

7 ifn==0 // both empty? 

8 return 

9 else qi =[(p:-+r:)/2] 
10 q2=BINARY-SEARCH(T[q, ], T, pos r2) 
11 gs 一 加 十 (qi 一 加 ) 十 (gz 一 轧 ) 
12 Alg ]=TLa] 
13 spawn P-MERGE(T, pi, g:—1+ pz» q:—1, A, ps) 
14 P-MERGE(T, qi +1, ris qr;, A, Qs +1) 
15 sync 


P-MERGE 工作 过 程 如 下 。 第 1 一 2 行 分 别 计算 子 数 组 TEA.. n] TC.. rj] 的 长 度 。 第 
3 一 6 行使 得 假设 mn Sm, 成 立 。 第 7 行 检测 问题 的 基础 情形 ， 使 得 子 数组 Tp... Jet, 
TU: n HWS, FR RAT A KR. A 9 一 15 行 实现 分 治 策略 。 第 9 行 计算 TLpi. .rj 的 中 
间 下 标 ; 第 10 行 找到 T[p. .rj 中 的 点 q;， 使 得 TLp,.. q; 一 1] 中 的 所 有 元 素 都 小 于 Tha ]( 这 是 
AAS x (EFF A Toes pj 中 的 所 有 元 素 都 至 少 大 于 Thal. Bll 行 计算 将 输出 子 数组 
A[ps. 。 rj 划分 为 ALp;. . qs 一 1 和 ALa +1. . 六 ] 的 元 素 的 下 标 93， 然后 在 第 12 行 直接 将 Tig ] 复 
制 到 ALg;j。 

接 下 来 ， 使 用 柑 套 并 行进 行 递归 。 第 13 行 派生 第 一 个 子 问题 ， 并 在 第 14 行 并 行 调 用 第 二 个 
子 问题 。 第 15 行 中 的 syne 语句 确保 在 主 过 程 返回 之 前 所 有 子 问题 都 完成 。( 由 于 每 个 过 程 在 返 
回 前 都 隐 含 地 执行 一 个 sync， 因 此 可 以 省 略 第 15 行 中 的 syne 语句 ， 但 是 为 了 养 成 一 个 好 的 编程 
习惯 ， 应 该 加 上 它 。) 这 里 有 一 些 使 代码 在 子 数组 Th pe. IASI AEE MITT HR. BU 
归 调 用 时 的 工作 方式 是 ， 将 TLp. .rj 的 中 位 数 置 人 输出 子 数组 中 ， 直 到 TA.. ri] 自身 变 为 空 ， 
即 触及 问题 的 基础 情形 。 

多 线程 归并 的 分 析 

首先 ， 推 导 P-MERGE 的 持续 时 间 PM. (n) 的 递归 式 ， 这 里 两 个 子 数组 包含 全 部 n= +n, 
个 元 素 。 由 于 第 13 行 中 的 派生 调用 和 第 14 行 中 的 普通 调用 逻辑 上 是 并 行 的， 因此 只 需 检 查 两 个 
调用 中 代价 较 大 的 一 个 。 关 键 是 要 了 解 最 坏 情况 下 ， 任 何 一 个 递归 调用 中 涉及 的 元 素 最 大 数目 至 
多 为 3z/4， 这 可 以 从 看 后 面 的 推导 中 看 出 。 因 为 第 3 一 6 行 保 证 了 m<m, WWE m =2n,/2< 
(nm 十 mw)/2 三 n/2。 在 最 坏 情 况 下 ， 两 个 递归 调用 中 的 一 个 将 TLp..nj 的 Lm/2J 个 元 素 与 
Th Pe. r JIA m 个 元 素 进行 合并 ， 因 此 调用 中 涉及 的 元 素数 目 是 : 

Ln/2]+ m <n, /2+2m,/2+n,/2 = (m +m)/2+n,/2 
<n/2+n/4 = 3n/4 
将 其 与 第 10 47 BINARY-SEARCH 的 调用 成 本 8(lgn) 相 加 ， 得 到 下 面 最 坏 情况 下 持续 时 间 的 递 
JAX: 
PM...(n) = PM... (3n/4) + Ogn) (27. 8) 

(对 于 问题 的 基础 情形 ， 持 续 时 间 是 86(1) ， 因 为 第 1 一 8 行 执行 的 时 间 是 常数 ) 这 个 递归 并 不 符合 
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主 定理 中 任何 一 个 情况 ， 但 它 满足 练习 4. 6-2 的 条 件 。 所 以 ， 递 归 式 (27.8) 的 解 为 PM (n) = 
A(lg’n). 
现在 分 析 个 元 素 上 P-MERGE 的 工作 量 PM, (n), ， 可 以 推 得 是 O(n). AA n 个 元 素 的 每 一 
个 必须 要 从 数组 工 复 制 到 数组 A， 于 是 有 PM, (n) = O(n). Ak, MPH REDE PM, (n) = 
O(n). 
先 推导 出 最 坏 情 况 下 的 工作 量 递归 式 。 第 10 行 中 的 二 分 查找 在 最 坏 情 况 下 需要 Ogn) M 
本 ， 它 由 递归 调用 之 外 的 其 他 工作 决定 。 对 于 递归 调用 ， 注 意 到 虽然 第 13 行 和 第 14 行 中 的 递归 
调用 可 以 归并 不 同 数目 的 元 素 ， 但 这 两 个 递归 调用 合 起 来 最 多 归并 nn 个 元 素 ( 实 际 上 是 nn 一 1 个 元 
素 ， 因 为 Ta ] 不 参与 两 个 递归 调用 )。 此 外 ， 如 前 面 分 析 持 续 时 间 所 介绍 的 ， 一 个 递归 调用 最 
多 操作 3n/4 个 元 素 ， 所 以 可 以 得 到 递归 式 : 
PM, (n) = PM, lan) 十 PM((1 一 a)z) + OUgn) (27. 9) 
其 中 a 的 范围 是 1/4<a 二 3/4， 而 且 对 于 每 层 的 递归 调用 a 可 能 取 不 同 的 值 。 
使 用 替换 法 ， 可 以 求 得 递归 式 (27. 9) 的 解 为 PM (n) 二 O(n)。 假 设 对 于 某 正常 数 ct 和 c 有 
PM, (n) 三 cin 一 cs lgn。 通 过 替换 ， 可 以 得 到 : 
PM, (n) <(can—ce lglan)) + (a A — a) n— c: lg((l—a)n))++ OQ(gn) 
=c la+ (l —a))n— c (gan) + Ig((1 — a@)n)) + Qlgn) 
=cn— & (lga +lgn+ lg — a) + lgn) + OQ(gn) 
=qn— c lgn— (c: (lgn+ lg(a(1 — a))) — @Clgn)) 
<cn— ce lgn 
由 于 可 以 取 c 的 值 足够 大 ， 使 得 c (lgz 十 lg(a(1 一 c))) 大 于 OUgn MH, 进一步， 可 以 取 c 足够 
大 ， 使 之 满足 递归 式 的 基础 情形 。 因 为 P-MERGE 的 工作 量 PM, (z) 既 满足 QCn) 又 满足 O(n), 
所 以 有 PM, (n)=@(n). 
最 后 ，P-MERGE 的 并 行 度 是 PM, (xz)/PM- (n) =@(n/l¢’n). 
多 线程 归并 排序 
既然 已 经 有 一 个 很 好 的 并 行 多 线程 归并 算法 ,我 们 可 以 将 它 合并 到 多 线程 归并 排序 中 。 这 
个 归并 排序 版 本 与 先前 提 到 的 MERGE-SORT 过 程 类 似 ， 但 略 有 不 同 ， 它 使 用 一 个 输入 参数 为 
输出 子 数组 B， 数 组 召 将 存放 已 排 好 序 的 元 素 。 特 别 地 ， 调 用 P-MERGE-SORT(A, p, r, B, s) 
排序 ALA. . 门 中 的 元 素 ， 并 将 排序 结果 存 到 B[s. .* 十 ”一 菇 中 。 


P-MERGE-SORT(A, p, r, B, s) 


l n=r—p+1 

2 ifn==1 

3 B[s]=A[p] 

4 else let T[1. . n]be a new array 

5 q=|(pt+r)/2] 

6 q'=q-ptl 

7 spawn P-MERGE-SORT(A, p, q, T, 1) 
8 P-MERGE-SORT(A, g+1, r, T, qd 十 1) 
9 syne 
10 P-MERGE(T, 1, q', g'+1, n, B, s) 


第 1 行 计 算 了 输入 子 数组 ALp. . 门 的 元 素数 目 z， 当 数组 仅 有 一 个 元 素 时 ， 第 2 一 3 行 处 理 此 时 
的 基础 情形 。 第 4 一 6 行为 第 7 行 派生 递归 和 第 8 行 普 通 调用 做 准备 ， 这 两 个 调用 可 以 并 行 处 
理 。 特 别 地 ， 第 4 行 申 请 了 一 个 元素 的 临时 数组 工 来 存放 递归 归并 排序 的 结果 。 第 5 行 计算 
Alp. .rj 的 下 标 g， 用 于 将 元 素 划分 成 两 个 子 数组 AL. . qj 和 A[g 十 1. .r]， 它 们 将 被 递归 排序 ， 
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然后 第 6 行 继续 计算 出 第 一 个 子 数 组 A[p. .qj 中 的 元 素数 目 49'， 第 8 行使 用 它 来 确定 存放 
A[Lg 十 1. .排序 结果 的 工 的 开始 下 标 。 此 时 ， 派 生 和 递归 调用 都 已 执行 ,后面 紧 接着 的 是 第 9 
行 的 sync 语句 ，syne 语句 迫使 主 过 程 一 直 等 到 派生 过 程 执行 完 为 止 。 最 后 ， 第 10 行 调用 P- 
MERGE 来 归并 存放 在 T[1. .9g'] 和 TLg' 十 1. .nj 中 的 有 序 子 数组 ， 并 将 结果 存放 到 输出 的 子 数组 
B[s. .s+r— p]. 

多 线程 归并 排序 分 析 

从 分 析 P-MERGE-SORT 的 工作 量 PMS, (n) 开始 ， 这 比分 析 P-MERGE 的 工作 量 简单 了 许 
多 。 实 际 上 ， 工 作 量 可 由 下 面 的 递归 式 得 到 : 

PMS, (n) = 2PMS, (n/2) + PM, (n) = 2PMS, (n/2) + O(n) 
这 个 递归 式 与 2. 3. 1 节 中 的 普通 MERGE-SORT 递归 式 (4.4) 相 同 ， 根 据 主 定 理 中 的 情况 2， 解 
为 PMS, (n)=@(nlgn). 

现在 来 分 析 和 推导 最 坏 情 况 下 持续 时 间 PMS. (z) 的 递归 式 。 因 为 第 7 一 8 行 中 的 两 个 递归 调 
用 P-MERGE-SORT 是 逻辑 上 并 行 的 ， 可 以 忽略 其 中 一 个 ， 得 到 递归 式 : 

PMS. (n) = PMS... (n/2) + PM (n) = PMS.. (n/2) + Olg n) (27. 10) 
同 递归 式 (27.8)， 主 定理 也 不 适用 于 递归 式 (27.10)， 但 练习 4.6-2 可 以 。 解 得 PMS- (n) = 
Odg n), HLI P-MERGE-SORT 的 持续 时 间 是 9(lgs n). 

并 行 归并 方法 使 得 PMERGE-SORT 的 并 行 度 比 MERGE-SORT' 显著 好 。 回 想 MERGE- 
SORT 的 并 行 度 ， 它 调用 串 行 MERGE 过 程 ， 其 并 行 度 只 有 8B@(lgn)。 但 对 于 P-MERGE-SORT, 
其 并 行 度 有 : 

PMS, (n)/PMS...(n) = O(nlgn)/Q(lg n) = O(n/lgn) 
这 在 理论 上 和 实践 中 都 好 了 很 多 。 实 际 中 一 个 好 的 实现 是 通过 加 大 基础 情形 规模 以 减少 渐 近 符 
号 中 隐藏 的 常数 因子 ， 尽 管 会 牺牲 一 些 并行 度 。 当 数组 规模 充分 小 时 ， 这 种 加 大 基础 情形 规模 的 
方式 也 可 以 直接 用 到 普通 的 串 行 排序 上 ， 也 许 是 快速 排序 。 


练习 


27.3-1 试 解释 如 何 加 大 P-MERGE 基础 情形 的 规模 。 

27.3-2 与 P-MERGE 在 较 大 数组 中 找 一 个 中 位 数 的 方法 不 同 ， 使 用 练习 9. 3-8 的 结果 ， 请 给 出 
一 个 找 出 两 个 有 序 子 数 组 中 的 所 有 元 素 的 中 位 数 的 替代 方法 。 再 给 出 使 用 这 个 中 位 数 查 
找 方法 的 一 个 有 效 的 多 线程 归并 算法 的 伪 代 码 。 分 析 该 算法 。 

27.3-3 如 ?7.1 节 中 的 PARTITION 过 程 ， 请 给 出 一 个 有 效 的 多 线程 算法 ， 用 划分 元 划分 一 个 数 
组 。 你 不 必 原 地 划分 数组 ; 使 你 的 算法 尽 可 能 多 地 并 行 。 分 析 该 算法 。( 提 示 : 可 能 需 
要 一 个 辅助 数组 ， 并 可 能 需要 对 输入 元 素 做 多 于 一 趟 的 处 理 。) 

27.3-4 请 给 出 30. 2 节 中 的 RECURSIVE-FFT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 行 。 并 
分 析 该 算法 。 

*27.3-5 请 给 出 9. 2 节 中 的 RANDOMIZED-SELECT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 
行 。 分 析 该 算法 。( 提 示 : 使 用 练习 27. 3-3 中 的 划分 算法 。) 

*27.3-6 ”如 何 实 现 9. 3 节 的 多 线程 SELECT 算法 ， 使 实现 尽 可 能 多 地 并 行 。 分 析 该 算法 。 


思考 题 
27-1 《〈 使 用 谈 套 并 行 实现 并 行 循 环 ) ”考虑 下 面 对 两 个 n 个 元 素 的 数组 A[1. .nj 和 BL1.. 站 进行 
相 加 ， 并 将 结果 存放 在 CL1. .nj 中 的 多 线程 算法 。 
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SUM-ARRAYS(A, B, C) 

1 parallel for i=1 to A. length 

2 CliJ=ALi]+ Bi] 

a. 按照 MAT-VEC-MAIN-LOOP 的 样式 , (H JH fe & f íT (spawn 和 syne) 改写 SUM- 
ARRAYS 中 的 并 行 循 环 。 分 析 你 的 实现 的 并 行 度 。 
考虑 下 面 并 行 循环 的 两 种 实现 ， 哪 种 实现 包含 了 一 个 指定 的 grain-size fH: 


SUM-ARRAYS'(A, B, C) 
1 n=A. length 


grain-size=? // to be determined 


for k=0 tor—1 
spawn ADD -SUBARRAY(A, B, C, k* grain-size+1, 


min((k+1) * grain-size,n)) 


2 
3 r= n/grain-size | 
4 
5 


6 syne 


ADD-SUBARRAY(A, B, C, i, j) 

1 for k=i to; 

2 CCk]=A[k]+B[] 

b. 假定 置 grain-size 二 1。 以 上 实现 的 并 行 度 是 多 少 ? 

c 请 给 出 一 个 用 n 和 grain-size 表示 的 SUM-ARRAYS 持续 时 间 公 式 ， 并 求 出 对 应 最 大 并 
行 度 的 最 佳 grain-size 值 。 

(节省 矩阵 乘法 中 的 临时 空间 ) P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 缺点 是 它 需 

要 分 配 一 个 郊 义 妹 的 临时 矩阵 工 不 利于 8 记号 中 的 常数 因子 。 然 而 PMATRIX- 

MULTIPLY-RECURSIVE 过 程 有 很 高 的 并 行 度 。 例 如 ， 如 果 忽 略 符号 @ 中 的 常数 因子 ， 

对 于 1000X1000 的 矩阵 相 乘 ， 其 并 行 度 接近 1000/10 =10, HA lg1 000<z10。 绝 大 多 

数 并 行 计算 机 的 处 理 器 数目 都 远 小 于 1 000 万 。 

a. 描述 一 个 多 线程 算法 ， 该 算法 不 需要 临时 和 矩阵 工 且 持续 时 间 以 8(z) 增 长 。( 提 示 : 模仿 
P-MATRIX-MULTIPLY-RECURSIVE 中 的 一 般 策略 ， 计 算 C=CHAB, 但 可 以 并 行 初 
始 化 C 并 且 要 谨慎 地 在 一 个 合适 地 方 插入 syne 语句 。) 

b. 给 出 并 求解 该 算法 的 工作 量 和 持续 时 间 的 递归 式 。 

c 分 析 该 算法 的 并 行 度 。 忽 略 符 号 © 中 的 常数 因子 ， 估 算 1 000X1 000 和 矩阵 上 的 并 行 度 。 
并 与 P-MATRIX-MULTIPLY-RECURSIVE 的 并 行 度 比较 。 

(多 线程 矩阵 算法 ) 

a. 并 行 化 28. 1 节 中 的 LU-DECOMPOSITION 过 程 ， 给 出 该 算法 的 一 个 多 线程 版 本 的 伪 代 
码 。 使 该 算法 尽 可 能 多 地 并 行 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 

b. 同样 做 28. 1 节 中 的 LUP-DECOMPOSITION 过 程 。 

c 同样 做 28. 1 节 中 的 LUP-SOLVE 过 程 。 

d. 同样 做 基于 等 式 (28. 13) 的 对 称 正定 矩阵 求 逆 的 一 个 多 线程 算法 。 

(多 线程 归 约 和 前 组 计算 ) 一 个 数组 xz[1. .nj 的 的 归 约 (69-reduction) 就 是 y= 二 xz[1]@zx[2] 

C@…C9zLnj 的 值 ， 其 中 是 一 个 结合 操作 符 。 

下 面 的 程序 串 行 计算 了 子 数 组 zli. .让 的 的 归 约 : 

REDUCE(z, i, j) 

1 y=2[i] 

2 for k=i+1 toj 
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3 y=r@z[k] 
4 return y 
a. [FA RSEIE LL — 74> BREA PREDUCE， 以 工作 量 为 86(n)、 持 续 时 间 为 @(lgn) 
的 代价 实现 上 面 同样 的 功能 。 并 分 析 该 算法 。 
另 一 个 相关 问题 是 ， 在 数组 x[1. .nn] 上 求解 一 个 前 缀 计算 (C9-prefix computation) , 
有 时 候 也 称 为 @ 扫 描 (@-scan)， 其 中 名 也 是 一 个 结合 操作 符 。 外 扫描 产生 了 如 下 数 
HH yll. . n]: 
y[1] = [1] 
x2] = [1] Q z[2] 
93] = z[1] Q 2[2] Q [3] 


Iln] = 211] Q 212] Q 213] © @ ala] 
也 就 是 说 ,使 用 操作 符 的 数组 z 的 所 有 前 级 “和 ”。 下 面 的 串 行 SCAN 过 程 计 算 了 一 个 @ 
BUR : 
SCAN(2z) 

n=. length 

let y[1. . n] be a new array 

yl1)=2(1] 

for i=2 ton 

[i]=y[Li—1]@z[i] 

return y 
MRE, LRR SCAN 不 是 直接 可 以 得 到 的 。 例 如 ， 改 for 循环 为 parallel for 循环 
会 产生 竞争 ， 因 为 循环 体 的 每 一 步 迭 代 都 依赖 前 一 个 迭代 。 下 面 的 PSCAN-1 过 程 实现 了 
前 缀 计算 的 并 行 ， 尽 管 十 分 低 效 : 


P-SCAN-1 (x) 
l n=z. length 


ao n A U N- 


2 let y{1..n]be a new array 
3 P-SCAN-1-AUX(z, y, l, n) 
4 return y 


P-SCAN-1-AUX(z, y, i, j) 
1 parallel for [=i to j 
2 yl[l]=P-REDUCE<«, 1, 1) 
b. 分 析 P-SCAN-1 过 程 的 工作 量 、 持 续 时 间 和 并 行 度 。 
使 用 舱 套 并 行 能 得 到 一 个 更 有 效 的 @ 前 缀 计算 ， 其 过 程 如 下 : 
P-SCAN-2(z) 
l n=z. length 
2 let y[l..n] be a new array 
3 P-SCAN-2-AUX(z, y, l, n) 
4 return y 


P-SCAN-2-AUX(zx, y, i, j) 
1 ifi==j 
2 yli]=z[i] 
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3 else k=|(i+j)/2] 
4 spawn P-SCAN-2-AUX(z, y, i, k) 
5 P-SCAN-2-AUX(zx, y, k+1, j) 
6 sync 
7 parallel for /=£+1 to j 
8 yt] =skI@yL1] 
c 论证 P-SCAN-2 是 正确 的 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 
我 们 可 以 通过 在 数据 上 执行 两 趟 不 同 的 g 前 缀 计算 来 改进 PSCAN-1 和 PSCAN-2。 

第 一 趟 ， 收 集 不 同 的 连续 子 数 组 z 的 “和 ?项 ， 存 人 到 一 个 临时 数组 上 中; 第 二 趟 ， 使 用 
中 的 “和 ”项 来 计算 出 最 终 的 结果 y。 下 面 的 伪 代 码 实现 了 这 种 策略 ， 但 其 中 省 去 了 一 些 
表示 

P-SCAN-3(z) 

1 n=z. length 

2 let y[1..n] and ¢[1..n] be new arrays 

3 y[1]=z[1] 

4 ifn>1 
5 P-SCAN-UP(z, t, 2, n) 
6 P-SCAN-DOWN(2z[1], z, t, y, 2, n) 
7 return y 


P-SCAN-UP(z, t, i, j) 
1 ifi==j 
2 return z[i] 


3 
4 k=|Ci+j)/2] 

5 tk ]=spawn P-SCAN-UP(z, t, i, k) 

6 right=P-SCAN-UP(z, t, k+1, j) 

7 sync 

8 return // fill in the blank 


P-SCAN-DOWN(v, zx, t, y, is j) 


1 ifi==j 

2 wi]=z[i] 

3 else 

4 k=[Ci+-j)/2] 

5 spawn P-SCAN-DOWN(_ ss z, t, y, i,k) / fill in the blank 
6 P-SCAN-DOWN(____, z, t, ys k+l, j) // fill in the blank 

7 syne 


d. 对 P-SCAN-UP 3 8 #7, P-SCAN-DOWN 48 5 行 和 第 6 行 中 的 三 个 缺 省 表示 进行 填空 。 
填 完 空 后 ， 论 证 PSCAN-3 是 正确 的 。( 提 示 : 证 明 值 y 传 给 PSCAN-DWON(v，z，t， 
y, i, j), WE v=z11JWz[2]@---Wzli—1].) 

e. 分 析 P-SCAN-3 的 工作 量 、 持 续 时 间 和 并 行 度 。 

(多 线程 一 个 简单 的 模板 计算 ) 计算 科学 中 存在 很 多 这 样 一 类 的 算法 ， 这 类 算法 对 一 个 数 

组 中 的 一 些 单元 进行 填 值 ， 所 填 值 取决 于 已 经 计算 出 的 邻近 单元 值 ， 并 且 计 算 过 程 中 这 些 

信息 一 直 不 变 。 这 种 在 计算 期 间 邻 近 单元 不 发 生 改 变 的 模式 称 为 模板 (stenciD) 计 算 。 例 如 ， 

15.4 节 提供 了 一 个 计算 最 长 公共 子 序列 的 模板 算法 ， 其 中 cli, MMAR RR cli-1, jh 
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c[i,，j 一 1J 和 c[i 一 1，j 一 1] 以 及 两 个 给 定 输入 串 中 的 元 素 zx; 和 y;。 输 入 的 序列 是 固定 不 
变 的 , 但 算法 在 二 维 数组 c 中 填写 ， 使 得 在 三 个 单元 c[i 一 1, jj、cLi,j 一 1] 和 
c[i 一 1，j 一 1j 完 成 后 才 计 算 单 元 cLi, j] 

本 题 中 ， 我 们 探讨 如 何在 一 个 nXn 的 数组 A 上 使 用 嵌 套 并 行 来 实现 一 个 简单 的 模板 
计算 ， 其 中 存 人 单元 A[i， 门 的 值 仅 取决 于 AL’, jl, KREi Si, j'<jGFAMRA IA 
i 或 者 7 ' 关 j)。 换 句 话 说 ,一 个 单元 的 值 只 取决 于 它 的 上 边 值 和 左边 单元 的 值 ， 以 及 一 些 
数组 之 外 的 静态 信息 。 此 外 ， 整 个 过 程 中 假设 ， 一 旦 计算 ALi, 四 时 所 需要 的 单元 都 已 填 
写 完 ， 就 可 以 在 @(1) 的 时 间 内 填 人 ALi, jle (49 15.4 节 中 的 LCS-LENGTH 过 程 一 样 。) 

划分 nXn 的 数组 A 为 4 个 n/2Xn/2 的 子 数组 : 

A= i pod (27. 11) 
An Az 

现在 看 到 ， 可 以 递归 地 填 人 子 数组 Au 中 的 单元 ， 因 为 它 并 不 依赖 其 他 三 个 子 数 组 中 的 单 

元 。 一 旦 4 完成， 可 以 递归 地 并 行 填 人 As 和 An 中 的 单元 ， 这 是 因为 它们 都 依赖 于 Au 

但 彼此 之 间 不 依赖 。 最 后 ， 递 归 地 填 人 Ap 中 的 单元 。 

a. 基于 分 解 式 (27. 11) 和 上 面 的 讨论 ， 给 出 用 分 治 算法 SIMPLE-STENCIL 来 执行 这 个 简 
单 模板 计算 的 多 线程 伪 代 码 。( 不 用 担心 基础 情形 的 处 理 ， 这 取决 于 特定 的 模板 。) 给 出 
并 求解 对 应 规模 n 的 工作 量 和 持续 时 间 的 递归 式 。 并 行 度 又 是 多 少 ? 

b 修改 上 面 题 (a) 的 解答 ， 将 nXn 的 数组 划分 为 9 个 n/3Xn/3 的 子 数组 ， 递 归 下 去 使 得 

尽 可 能 得 到 更 多 的 并 行 性 。 分 析 该 算法 。 该 算法 与 题 Ca) 中 的 算法 相 比 ， 并 行 度 如 何 ? 

对 照 题 (a) 和 (b)， 按 如 下 推广 。 选 择 一 个 整数 6b 三 2。 将 一 个 nXn 数 组 划分 为 6 个 子 数 

组 ， 每 个 大 小 都 为 n/bXn/b， 递 归 下 去 使 得 尽 可 能 得 到 更 多 的 并 行 性 。 关 于 n 和 5， 该 

算法 的 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 使 用 这 种 方法 ,证 明 : 对 任何 选择 的 5 二 2， 

其 并 行 度 一 定 是 oC(n)。( 提 示 : 最 后 一 个 问题 ， 证 明 对 于 任何 选择 的 5 三 2， 并 行 度 是 n 

的 指数 ， 其 指数 严格 小 于 1.) 

d. 给 出 一 个 求解 这 个 简单 模板 问题 的 多 线程 算法 的 伪 代 码 ， 使 得 并 行 度 达 到 8@(n/lgn)。 
使 用 工作 量 和 持续 时 间 概 念 ， 论 证 该 问题 事实 上 有 8(n) 的 固有 并 行 度 。 然 而 ， 我 们 使 
用 分 治 法 的 多 线程 伪 代 码 ， 实 际 上 达 不 到 这 个 最 大 的 并 行 度 。 

(随机 多 线程 算法 ) 正如 使 用 普通 的 串 行 算 法 一 样 ， 有 时 想 要 实现 随机 多 线程 算法 。 本 题 

探讨 如 何 修改 各 种 性 能 度量 来 处 理 这 些 算 法 的 期 望 行为 。 另 外 ， 要 求 设计 并 分 析 一 个 随机 

快速 排序 的 多 线程 算法 。 

a. 用 期 望 的 表示 方法 ， 如 何 修改 工作 量 定律 (27. 2) 、 持 续 时 间 定 律 (27. 3) 和 贪心 调度 界 
(27. 4)， 来 处 理 Tp. Ti 和 人 -都 是 随机 变量 的 情形 。 

b. 考虑 一 个 随机 多 线程 算法 ， 它 在 1% 的 时 间 里 有 T,=10' 和 Tiooo 王 1， 但 在 99% 的 时 间 
里 有 下 二 Tiooo 王 10" 。 说 明 一 个 随机 多 线程 算法 的 加 速 比 应 该 被 定义 为 ELT J/ELTp I, 
而 不 是 ELT /Tp]. 

e 说 明 一 个 随机 多 线程 算法 的 并 行 度 应 该 被 定义 为 ELT]/ELT.]。 

d. 使 用 嵌 套 并 行 ， 多 线程 化 7. 3 节 中 的 RANDOMIZED-QUICKSORT 算法 。( 注 意 不 是 并 
行 化 RANDOMIZED-PARTITION。) 给 出 PPRANDOMIZED-QUICKSORT 的 伪 代 码 。 

e. 分 析 给 出 的 随机 快速 排序 的 多 线程 算法 。( 提 示 : 回顾 9. 2 节 关 于 RANDOMIZED- 
SELECT 的 分 析 。) 


p 


本 章 注 记 


并 行 计算 机 、 用 于 并 行 计算 机 的 模型 ， 以 及 用 于 并 行 编程 的 算法 模型 已 经 以 各 种 形式 出 现 
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好 多 年 了 。 本 书 的 前 一 版 已 包含 了 排序 网 络 和 PRAM( 并 行 随机 访问 计算 机 ) 模 型 。 数 据 并 行 模 
型 [48，168] 是 另 一 个 流行 的 算法 编程 模型 ， 它 以 向 量 和 矩阵 上 的 特别 操作 作为 基本 特征 。 

Graham[ 149] 和 Brent[55] 指 出 了 已 达到 定理 27.1 中 界 的 调度 器 。Eager、Zahorjan 和 
Lazowskal 98] 表 明 任 何 贪心 调度 器 都 可 以 达到 这 个 界 ， 并 提出 了 使 用 工作 量 和 持续 时 间 ( 尽 管 名 
称 与 这 里 不 同 ) 来 分 析 并 行 算法 的 一 般 方法 学 。 针 对 数据 并 行 编程 ，Belloch[ 47] 发 展 了 一 种 基于 
工作 量 和 持续 时 间 ( 他 称 为 计算 “深度 ”) 的 算法 编程 模型 。Blumofe 和 Leiserson[ 52] 为 动态 多 线程 
给 出 了 一 个 分 布 式 调度 算法 ， 这 个 方法 是 基于 随机 “工作 窃取 ”(work stealing) 的 ， 并 证 明了 能 达 
到 界 ELTpJ<T,/P+OCT..). Arora, Bulmofe, Plaxton[19]#l Blelloch, Gibbons, Matias[49] 
对 动态 多 线程 计算 的 调度 ， 也 提出 了 一 个 被 证 明 性 能 是 好 的 算法 。 

多 线程 伪 代 码 和 编程 模型 深 受 MIT 的 Cilk[51，118] 项 目 及 Cilk Arts 公司 贡献 的 Cilk 十 十 
[71J 后 扩展 至 C 十 十 的 影响 。 本 章 中 的 许多 多 线程 算法 来 自 于 C. E. Leiserson 和 H. Prokop 未 公 
开 的 讲义 ， 它们 已 用 Cilk 或 Cilk 十 十 实现 过 了 。 多 线程 归并 排序 算法 的 灵感 来 自 于 Akl[12] 的 一 
个 算法 。 

串 行 一 致 性 的 概念 来 自 于 Lamport[223]。 
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矩阵 运算 


因为 矩阵 运算 在 科学 计算 中 极为 重要 ， 所 以 处 理 和 矩阵 的 高 效 算 法 有 很 多 实际 应 用 。 本 章 重 
点 关注 矩阵 的 乘法 ， 以 及 求解 联 立 线性 方程 组 问题 。 附 录 D 回顾 了 矩阵 的 基本 原理 。 

28. 1 节 介 绍 利用 LUP 分 解 方法 求解 一 组 线性 方程 组 。28. 2 RRE ERA AE ERY H 
切 关 系 。28. 3 节 讨 论 一 类 重要 的 矩阵 ， 即 对 称 正定 矩阵 ， 并 说 明 我 们 如 何 用 它们 求 超 定 线性 方 
程 组 的 最 小 二 乘 解 。 

在 实践 中 产生 的 一 个 重要 问题 是 数值 的 稳定 性 (numerical stability) 。 由 于 在 实际 的 计算 机 中 
浮 点 数 表示 的 精度 有 限 ， 因 此 ， 在 数值 计算 过 程 中 舍 人 误差 可 能 会 被 放大 ， 从 而 导致 不 正确 的 结 
果 ， 我 们 称 这 样 的 计算 是 数值 不 稳定 的 。 在 本 章 中 ， 尽 管 我 们 会 偶尔 提 及 数值 稳定 性 ， 但 不 会 着 
重 讨论 这 个 问题 。 我 们 建议 读者 参考 Golub 和 Van Loan[144]( 一 本 很 好 的 论著 )， 以 全 面 了 解数 
值 稳定 性 方面 的 知识 。 


28.1 求解 线性 方程 组 


很 多 应 用 都 需要 求解 一 组 线性 方程 组 。 我 们 可 以 把 一 个 线性 系统 表示 成 一 个 矩阵 方程 ， 其 
中 每 个 矩阵 或 向 量 元 素 属 于 一 个 域 ， 通 常 是 实数 域 R。 本 节 将 讨论 如 何 运用 LUP 分 解 方法 来 求 
解 线性 方程 组 。 
我 们 先 看 一 组 具有 个 未 知 变量 zx: ，x;，…，x, 的 线性 方程 : 
An X Hant + Fay, = b 
an Ly F ana 十 … + Aa, Ly, = b (28. 1) 





amı Fant 十 … 十 amX, = bn 
同时 满足 式 (28. 1) 中 所 有 方程 的 一 个 关于 t, m2, 0, =, 的 值 的 集合 称 为 方程 组 的 一 个 解 。 在 
本 节 中 ， 我 们 只 讨论 ”个 未 知 变量 ”个 方程 的 情形 。 
为 方便 起 见 ， 我 们 重 写 式 (28. 1) 中 的 方程 为 如 下 矩阵 向 量 等 式 : 


Qn az … an| [x bi 
Qn ax Azn | | X2 Lo bz 
An Am "° Am n 
或 等 价 地 , 设 A=(a;)， zx=(z;) 和 4 二 (6b;)， 记 为 
Ar =b (28. 2) 
如 果 A RETRE, BACRAWA', FE 
pa Arle (28. 3) 


就 是 解 向 量 。 我 们 可 以 证 明 ，z 是 等 式 (28. 2) 的 唯一 解 。 证 明 如 下 : 如 果 存 在 两 个 解 zx 和 zxz'， 那 
么 Az=Az 一 50， 令 工 表示 一 个 单位 矩阵 ， 则 有 
x= Ix = (A'A)z = Al (Ar) = A` (Ax ') = (AT A)r’ = 2 
在 本 节 中 ， 我 们 主要 考虑 A 为 非 奇 异 和 矩阵 的 情况 ， 或 者 等 价 地 (根据 定理 D. 1) ，A 的 秩 等 于 
未 知 变量 的 个 数 >。 然而 对 于 其 他 可 能 的 情形 ， 也 值得 作 简要 讨论 。 如 果 方 程 的 数目 少 于 未 知 变 
RRA n( 或 者 更 一 般 地 ，A 的 秩 小 于 z) ， 那 么 此 线性 方程 组 为 欠 定 的 (underdetermined) 。 一 个 
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欠 定 方程 组 通常 有 无 穷 多 解 ， 但 若 方程 组 不 一 致 ， 则 可 能 无 解 。 如 果 方 程 的 数目 超过 未 知 变量 数 
目 n， 则 该 方程 组 为 超 定 的 (overdetermined)， 且 方程 组 可 能 没有 任何 解 。28. 3 节 讨 论 找 出 超 定 
线性 方程 组 好 的 近似 解 的 重要 问题 。 
现在 我 们 回 到 求解 关于 n 个 等 式 n 个 未 知 变量 的 线性 方程 组 Az 二 5b 上来。 我 们 可 以 计算 出 
A-:， 然 后 利用 等 式 (28. 3)， 用 A“! 乘 以 6， 推 出 z= 二 A “'5b。 这 个 方法 在 实践 中 会 有 数值 不 稳定 的 
问题 。 所 幸 的 是 另 一 种 方法 (LUP 分 解 ) 具 有 数值 稳定 性 ， 且 在 实践 中 运行 速度 要 更 快 一 些 。 
LUP 分 解 综述 
LUP 分 解 背 后 的 思想 就 是 找 出 三 个 nXn 和 矩阵 L、U RIP, 满足 
PA = LU (28. 4) 
其 中 , 工 是 一 个 单位 下 三 角 和 矩阵 ，U 是 一 个 上 三 角 矩 阵 ， 忆 是 一 个 置换 矩阵 。 我 们 称 满足 式 
(28. 4) ARE L, U MP 为 矩阵 A 的 LUP 分 解 。 我 们 将 说 明 每 一 个 非 奇 异 和 矩阵 A 都 会 有 这 样 一 
种 分 解 。 
计算 矩阵 A 的 一 个 LUP 分解 的 优点 是 ， 当 相应 矩阵 (如 和 矩阵 L 和 如) 为 三 角 和 矩阵 时 ， 我 们 会 
更 容易 求解 线性 系统 。 一 旦 我 们 计算 出 A 的 一 个 LUP 分解， 仅 通 过 求解 三 角形 线性 系统 ， 即 可 
求解 等 式 (28. 2)Ar=b, Ar=b 两 边 同 时 乘 以 P， 得 到 等 价 的 方程 PAx 二 Pb， 根据 练习 D. 1-4, 
这 意味 着 对 等 式 (28. 1) 进 行 置换 。 运 用 式 (28. 4) 中 的 分 解 ， 我 们 得 到 
LUx = Pb 
现在 通过 求解 两 个 三 角形 线性 系统 就 可 得 到 该 等 式 的 解 。 定 义 y=Uz ， 其 中 并 就 是 要 求 的 向 量 
解 。 首 先 ， 通过 一 种 称 为 “ 正 向 替换 ”的 方法 求解 下 三 角 系 统 


Ly=Pb (28. 5) 
得 到 未 知 向 量 y。 然 后 ， 通 过 一 种 称 为 “ 反 向 替换 ”的 方法 求解 上 三 角 系 统 
Ur = y (28. 6) 


得 到 未 知 变量 zx。 由 于 置换 矩阵 已 是 可 逆 的 (练习 D. 2-3)， 等 式 (28. 4) 的 两 边 同 时 乘 以 P 推出 
P“"PA=P"'LU, 于 是 


A=P"LU (28. 7) 
因此 ， 向 量 x Bet Az =) 的 解 : 
Ar = P"LUx (根据 等 式 (28. 7)) 
= P Ly (根据 等 式 (28. 6)) 
= P` Pb (根据 等 式 (28. 5)) 


=b 
我 们 下 一 步 将 说 明正 向 替换 与 反 向 替换 如 何 进行 ， 然 后 解决 如 何 计算 LUP 分 解 的 问题 。 
正 向 替换 与 反 向 替换 
已 知 工 、 已 和 2， 正 向 替换 可 在 @(xw ) 的 时 间 内 求解 下 三 角 系 统 (28. 5) 。 为 方便 起 见 ， 我 们 
用 一 个 数组 zll. .nj 简洁 地 表示 置换 P 对 i=l, 2, *, n, TUR nli KR Pixa =l 并 且 对 
JAR Py =0. Ak, PASS i 行 第 7 列 的 元 素 为 esav，P28 的 第 ;i 个 元 素 为 bda 。 因 为 工 是 单 
位 下 三 角 和 矩阵 ， 我 们 可 以 重 写 等 式 (28. 5) 为 : 


yn = bg 
layt » = bt2] 


layı + bee ye + ¥3 = baa) 


layi ley + lays tt Yn = ban 
第 一 个 等 式 告诉 我 们 =bn. RE n 值 后 ， 我 们 把 它 代 和 人 第 二 个 等 式 ， 推 出 
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Jz = baz 一 layı 
现在 ， 我 们 把 y 和 y 的 值 代入 第 三 个 等 式 ， 得 到 
ys = ba 一 (ls + lzy) 
一 般 地 ， 我 们 把 y ses o> yi-1“ 正 向 替换 ”到 第 i 个 等 式 中 ， 就 可 求解 Ji: 
NH = Ogq — 2 Lay; 

已 经 求解 了 y， 我 们 利用 反 向 替换 求解 等 式 (28. 6) 中 的 zx， 与 正 向 替换 类 似 。 这 里 ， 我 们 先 
求解 第 ”个 等 式 ， 然 后 再 反 向 一 直 求 解 到 第 一 个 等 式 。 与 正 向 替换 一 样 ， 这 个 过 程 运行 时 间 为 
Or). AX U REZAR, RITIK RAOS. 6) 为 

unti Furt: H+ Weir t Mette F unre = 
tt eA trta Ua Lei Ut = Ye 


Un—2.n-2Ln-2 F Unn- Ln 十 Um nEn = Yre 
tiai bei Wd = Yel 
UnnEn 一 Yn 
EET AA FARRER £no Enio teto 21 的 解 : 
Da = Yal tbii 
Set = 0 一 


EF ek a a EE | Un-24n-2 


或 者 ,更 一 般 地 ， 
n= (%— Daur) /us 
已 知 P、L、U 和 5b， 过 程 LUP-SOLVE 通过 结合 使 用 正 向 替换 与 反 向 替换 ， 求 出 z 的 解 。 
伪 代 码 中 假定 维 数 n 出 现在 属性 L. rows 中 ， 置 换 矩 阵 P 用 数组 x 表示 。 
LUP-SOLVE(L, U, x, b) 


l n=L. rows 
2 let zx and y be a new vector of length n 
3 for i=1 ton 
it 
4 ee baa — Days 
5 for i=n downto 1 


6 z=( yi — Duz) /us 
7 return x 
过 程 LUP-SOLVE 在 第 3~4 行 中 通过 正 向 替换 求 出 y 的 解 ， 然 后 在 第 5 一 6 行 中 通过 反 向 替换 
求 出 z 的 解 。 因 为 在 每 个 for 循环 的 求 和 内 包括 了 一 个 隐 含 的 循环 ， 所 以 算法 运行 时 间 为 OO). 
作为 这 些 方法 的 应 用 实例 ， 考 虑 下 面 的 线性 方程 组 : 


1. ZO 3 
3 4 4|z 一 | 7 
5 6 3 8 








其 中 
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并 且 我 们 希望 求解 未 知 量 re LUP 分 解 如 下 : 
1 O° 6 5 6 3 001 
L= |0.2 1 | v- [o 0.8 —0.6|, P=|1 0 0 
6.6 Ges) 0 0 2.5 区 1.9 


(你 可 能 想 验证 PA 二 LU.) 采 用 正 向 蔡 换 ， 我 们 对 Ly 王 Pb 求解 y: 


1 0 0 MM 8 
0.2 1 0lly»|= |3 
0.6 0.5: 1 3 7 


通过 先 计 算 Mi» 然后 计算 Xz» 最 后 计算 .ys3， 得 到 


8 
y= |1.4 
1.5 

















利用 反 向 替换 ， 我 们 对 Uz 一 > 求解 工 : 818 
5 6 3 Xl 8 
0 0.8 —0.6 2|- 图 
0 0 2.5 3 1.5 
通过 首先 计算 zs Ran, Ran, 得 到 所 需 解 
—1.4 
r= 2.2 
0.6 








计算 一 个 LU 分 解 

现在 我 们 已 经 证 明 对 于 一 个 非 奇 异 矩 阵 A， 如 果 能 创建 出 其 LUP 分 解 ， 那 么 运用 正 向 替换 
与 反 向 替换 ， 可 求 出 线性 方程 组 Ar=b 的 解 。 下 面 介 绍 如 何 高 效 地 计算 出 矩阵 A 的 一 个 LUP 分 
解 。 我 们 先 考 虑 A fin Xn ERRER, H P 不 予 考 虑 (或 等 价 地 ，P 二 1,)。 在 这 种 情况 下 ， 分 
解 A 二 LU。 我 们 称 这 两 个 矩阵 L 和 U 为 A 的 一 个 LU 分 解 。 

我 们 采用 高 斯 消 元 法 (Gaussian elimination) 来 创建 一 个 LU 分 解 。 首 先 从 其 他 方程 中 减 去 第 
一 个 方程 的 倍数 ， 以 把 那些 方程 中 的 第 一 个 变量 消去 。 然 后 ， 从 第 三 个 及 以 后 的 方程 中 减 去 第 二 
个 方程 的 倍数 ， 以 把 这 些 方程 的 第 一 个 和 第 二 个 变量 都 消去 。 继 续 上 述 过 程 ， 直 到 系统 变 为 一 个 
上 三 角 和 矩阵 形式 ， 实 际 上 此 和 矩阵 就 是 U。 和 矩阵 是 由 消去 变量 所 用 的 行 的 乘 数组 成 。 

采用 递归 算法 实现 这 个 策略 。 我 们 希望 构造 出 一 个 nXn 的 非 奇 异 和 矩阵 A 的 一 个 LU 分 解 。 
如 果 nn 二 1， 则 完成 构造 ， 因 为 我 们 可 以 选择 L 二 I，U 二 A。 对 于 nl, REA 拆 成 4 部分: 


Qil | Giz Ain 





其 中 是 一 个 ?一 1 维 列 向 量 ，w" 是 一 个 n 一 1 维 行 向 量 ，A 是 一 个 (" 一 1) X a DERE, RE. 
利用 和 矩阵 代数 (通过 简单 地 从 头 到 尾 使 用 乘法 来 验证 方程 式 )， 我 们 可 以 把 A 分 解 为 : 


ay w 1 0 ai w 
pea [ 小 [ l | 28.8 
v A v/ay | 0 A’ — vw /an : ‘ 


等 式 (28. 8) 的 第 一 个 矩阵 与 第 二 个 矩阵 中 的 0 分 别 表 示 n 一 1 维 行 向 量 与 n 一 1 维 列 向 量 。 项 
zu/ai 是 一 个 (一 1) X (2 一 1) 和 矩阵 ， 它 是 向 量 wv 与 w 外 积 矩 阵 的 每 一 个 元 素 除 以 aa 所 得 的 矩 
阵 ， 它 与 矩阵 A' 大 小 一 致 。 所 得 (n 一 1) X (n 一 1) 和 矩阵 
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A'— ww" /an (28. 9) 

称 为 矩阵 A 对 于 an 的 舒 尔 补 (Schur complement) o 
我 们 断言 : 如 果 A 是 非 奇 异 的 ， 那 么 舒 尔 补 也 是 非 奇异 的 。 为 什么 ? 假设 (" 一 1)X(z* 一 1) 的 舒 尔 
补 是 奇异 的 ， 则 根据 定理 D. 1， 它 的 行 秩 严格 小 于 "一 1。 因 为 在 矩阵 的 第 一 列 的 底部 "一 1 个 元 素 


ay w 
l 0 | 
全 是 0， 此 和 矩阵 的 底部 一 1 行 的 行 秩 必须 严格 小 于 nn 一 1。 因 此 整个 矩阵 的 行 秩 严 格 小 于 n。 应 用 
练习 D. 2-8 到 式 (28. 8), A 的 行 秩 严格 小 于 n， 且 根据 定理 D. 1， 我 们 导出 A 是 奇异 的 ， 矛盾 。 
因为 舒 尔 补 是 非 奇 异 的 ， 现 在 我 们 可 以 递归 地 找 出 它 的 一 个 LU 分 解 。 我 们 说 
A "一 roT/ai = L'U' 
其 中 二 是 单位 下 三 角 矩 阵 ，U 是 上 三 角 矩 阵 。 然 后， 运用 矩阵 代数 可 得 : 


el PN ota ya a oe 
a v/an Ini 0 A'— vw" /an v/ay Td 0 ET” 


1 0 ‘ies al 
Z : ,|= LU 
oa E 0 U 


因而 找 出 了 我 们 所 需 的 LU 分 解 。( 注 意 到 ， 因 为 二 是 单位 下 三 角 和 矩阵 ， 所 以 工 也 是 单位 下 三 角 
矩阵 ;又 因为 U 是 上 三 角 矩 阵 ， 所 以 也 是 上 三 角 和 矩阵 。) 

当然 ， 如 果 aa 一 0， 这 个 方法 就 不 适用 了 ， 因 为 会 有 除 0 的 问题 。 如 果 舒 尔 补 A' 一 ww/an 
的 左上 角 元 素 为 0， 这 种 方法 也 不 可 行 ， 因 为 在 下 一 次 递归 中 我 们 就 要 除 以 该 元 素 。 在 LUP 分 
解 中 我 们 所 除 的 元 素 称 为 主 元 (pivot) ， 它 们 处 于 矩阵 U 的 对 角 线 上 。 在 LUP 分 解 中 我 们 包含 一 
个 置换 矩阵 已 的 原因 是 为 了 避免 把 0 当做 除数 。 采 用 置换 来 避免 除数 为 0( 或 一 个 很 小 的 数 ， 可 
能 会 引起 数值 不 稳定 性 ?的 操作 称 为 选 主 元 (Pivoting) 。 

保证 LU 分 解 总 能 进行 的 一 类 重要 矩阵 就 是 对 称 正定 矩阵 。 这 一 类 和 矩阵 无 需 选 主 元 ， 因 此 ， 我 们 
可 放心 应 用 上 述 递 归 策略 ， 无 需 担 心 除数 为 0。 我 们 将 在 28. 3 节 中 证 明 这 一 结论 及 其 他 一 些 结论 。 

我 们 对 一 个 矩阵 A 进行 LU 分 解 的 代码 根据 上 述 递归 策略 设计 ， 只 不 过 用 一 个 迭代 循环 取 
代 了 递归 过 程 。( 这 一 转化 是 对 “ 尾 递归 ?过 程 ( 即 最 后 的 操作 为 自身 递归 调用 的 过 程 ) 进 行 标 准 的 
优化 处 理 ， 参 见 思考 题 7-4。) 代 码 假定 属性 A. rows 表示 A 的 维度 。 我 们 初始 化 矩阵 U， 使 得 对 
角 线 以 下 元 素 均 为 0; 以 及 矩阵 工 ， 使 得 对 角 线 元 素 都 是 1， 对 角 线 以 上 元 素 都 是 0。 每 次 迭代 都 
作用 于 一 个 子 方 阵 ， 以 其 左上 角 元 素 为 主 元 来 计算 Al w 向 量 以 及 舒 尔 补 ， 这 样 又 生成 一 个 子 
方 阵 ， 下 次 和 迭代 将 作用 于 这 个 子 方 阵 。 


LU-DECOMPOSITION(A) 
1 n=A. rows 
let L and U be new nXn matrices 
initialize U with Os below the diagonal 
initialize L with 1s on the diagonal and Os above the diagonal 


omonrs ow &§ WwW & 


for k=1 ton 
Un =a 
for i=k+1 ton 
la Saa /um // ax holds v; 
Us; =A: // ay; holds w; 
10 for i=k+1 ton 
ll for j=k+1 ton 


一 
nw 


aij =ay — lauy 


return L and U 


一 
w 
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从 第 5 行 开 始 的 外 层 for 循环 对 每 个 递归 步骤 迭代 一 次 。 在 该 循环 内 ， 第 6 行 确定 出 主 元 为 
Un =u. 4 7~9 TW for ARCH k=n 时 ,该 循环 不 执行 ) 采 用 v 和 w" 向 量 对 L 和 U 进行 更 
新 。 第 8 行 确定 出 向 量 v 的 各 元 素 ， 并 把 w 存放 在 li 中， 第 9 行 计算 出 向 量 w" 的 各 元 素 ， 并 把 
w! 存放 在 uw: 中。 最 后 ,第 10 一 12 行 计算 舒 尔 补 中 的 元 素 ， 并 把 它们 存放 在 矩阵 A 中 。 (我 们 不 
必 在 第 12 GRU cu ， 因 为 我 们 在 第 8 行 中 计算 时 已 经 做 过 了 。) 因 为 第 12 行 语句 在 三 层 榜 套 
之 中 ， 所 以 LU-DECOMPOSITION 运行 时 间 为 O(n’). 

28-1 显示 了 LU-DECOMPOSITION 的 操作 过 程 。 它 展示 了 一 个 标准 的 优化 过 程 ， 其 中 我 
{iE LAU 的 重要 元 素 都 存储 在 矩阵 A 的 合适 位 置 上 。 也 就 是 说 ， 我 们 可 以 在 每 个 元 素 ar Ly 
(> PR u (如 果 过 站 之 间 建 立 某 种 对 应 关系 ， 更 新 矩阵 A， 使 得 此 过 程 结 束 时 ， 和 矩阵 A 
包含 L 和 U。 要 从 上 面 伪 代 码 中 获得 此 优化 的 伪 代 码 ， 只 需 把 上 述 代码 中 每 处 或 x 用 a 取代 即 
可 。 你 很 容易 验证 这 一 转换 方法 保持 正确 性 。 


3: 1S @3 15 2-3: 1.95 231 5 
6 13 5 19 314 2 4 30 2 4 3/4 2 4 
2 19 10 23 1]16 9 18 1 #1 2 1 402 
4 10 11 31 214 9 21 2 7 17 2 1 g3 
(a) (b) (c) (d) 
273 PS 1000 2.3: 1-5 
613 5 9]  |3100 0424 
2 19 10 23] ~ 1410 0012 
4 10 11 31 A Was Ba 0003 
A L U 


Ce) 


图 28-1 LU-DECOMPOSITION 的 运行 过 程 。(a) 和 矩阵 A。(b) 黑 色 圆 圈 内 的 元 素 an =2 是 主 
元 ， 阴 影 列 是 wa ， 阴 影 行 是 w"。 至 此 已 计算 好 的 U 中 元 素 在 水 平 线 之 上 , miL 
的 元 素 在 竖 直 线 的 左边 。 舒 尔 补 矩 阵 A' 一 vw/au 占 据 了 右 下 方 。(c) 现 在 我 们 在 (b) 
部 分 产生 的 和 舒 尔 补 矩 阵 上 操作 。 黑 色 圈 内 的 元 素 az 二 4 是 主 元 ， 阴 影 列 和 阴影 行 分 
别 是 waz 和 w" (在 舒 尔 补 的 划分 中 )。 线 条 将 这 个 矩阵 分 成 目前 已 计算 的 U 的 元 素 
CE), 目前 已 计算 的 工 的 元 素 ( 左 )， 以 及 新 的 舒 尔 补 ( 右 下 )。(d) 下 一 个 步骤 中 ， 和 矩 
阵 A 被 分 解 ( 当 递归 结束 时 ， 新 的 舒 尔 补 中 元 素 3 成 为 U 的 一 部 分 .)(e) 此 分 解 A 
=LU 
计算 一 个 LUP 分 解 
一 般 而 言 ， 为 了 求解 线性 方程 组 Ax 二 6， 我 们 必须 在 A 的 非 对 角 线 元 素 中 选 主 元 以 避免 除 
数 为 0。 除数 为 0 当然 是 灾难 性 的 。 但 是 我 们 也 希望 避免 除数 很 小 (即使 A 是 非 奇 异 的 )， 否 则 会 
产生 数值 不 稳定 。 因 此 ， 我 们 尽 可 能 选 一 个 较 大 的 主 元 。 
LUP 分 解 的 数学 原理 与 LU 分 解 很 类 似 。 回 顾 前 面 的 内 容 ， 已 知 一 个 nXn IER RRA, 
我 们 希望 找 出 一 个 置换 矩阵 已 、 一 个 单位 下 三 角 和 矩阵 工 和 一 个 上 三 角 和 矩阵 U， 满 足 条 件 PA= 
LU, 正如 LU 分 解 中 所 做 的 ， 在 对 和 矩阵 A 进行 划分 之 前 ， 我 们 先 把 一 个 非 零 元 素 ( 比 如 au )， 从 
第 1 列 中 某 个 位 置 移 到 该 矩阵 (1，1) 的 位 置 上 。 为 了 保证 数值 稳定 性 ， 我 们 选择 第 1 列 中 具有 最 
大 绝对 值 的 元 素 为 aa 。( 第 1 列 不 可 能 仅 包 含 0 元素， 否则 A 是 奇异 的 ， 因 为 根据 定理 D. 4 和 
D. 5， 其 行列 式 值 为 0。) 为 了 使 方程 组 仍然 成 立 ， 我 们 把 第 1 行 与 第 & 行 互 换 ， 这 等 价 于 用 一 个 
置换 矩阵 Q 乘 以 A 的 左边 (练习 D. 1-4) 。 因 此 ， 可 以 把 QA 写成 
an w 
we | v val 
其 中 v= (ans, Asis s aad: y RT ai 取代 an; w = (ax, ans "9 An) A' 是 一 个 (n 一 1) X 
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(一 1) 矩 阵 。 因 为 aa 天 0， 现 在 可 以 执行 与 LU 分 解 基本 相同 的 线性 代数 运算 ， 但 现在 能 保证 我 


们 不 会 除 以 0: 
l 
gewa Pe a 


正如 我 们 在 LU 分 解 中 所 看 到 的 ， 如 果 A 是 非 奇异 的 ， 那 么 舒 尔 补 A — vw /an BERR 
的 。 因此， 我 们 可 以 递归 地 找 出 它 的 一 个 LUP 分解， 包括 单位 下 三 角 和 矩阵  、 上 三 角 和 矩阵 UV 和 


置换 矩阵 P'， 满 足 
P'(A'— vw" /an) = Tt 


p-[! "]a 
“Lo ae 


它 是 一 个 置换 矩阵 ， 因 为 它 是 两 个 置换 矩阵 的 乘积 (练习 D. 1-4) 。 现 在 我 们 有 


ol tO ep! l Meets 
See ‘v/an pale A’ ae Sle eee Be bs bie ete 


Slee Ie etal, See ee 
Plas Td bid LU! P'v/ay L'JLo TH 


这 样 推出 了 LUP 分 解 。 因 为 工 是 单位 下 三 角 和 矩阵 ， 所 以 L 也 是 单位 下 三 角 和 矩阵 ; 又 因为 U' 是 上 
三 角 和 矩阵 ， 于 是 可 也 是 上 三 角 和 矩阵 。 

注意 在 上 述 推导 中 ， 与 LU 分 解 不 同 的 是 ， 我 们 必须 把 列 向 量 v/aw MERZ A! 一 zeer/an 都 
乘 以 置换 矩阵 P'。 下 面 是 LUP 分 解 的 伪 代 码 : 

LUP-DECOMPOSITION(A) 


1 n=A. rows 


定义 


2 let xL1..n] be a new array 
3 for i=l ton 


4 x[i]=i 
5 fork=] ton 
6 p=0 
7 for i=k ton 
8 if |as|>p 
9 p= | aa | 
10 k'=i 
11 if p==0 
12 error “singular matrix” 
13 exchange z[k] with z[k’ ] 
14 for i=1 ton 
15 exchange a with as; 
16 for i=k+1 ton 
17 Qi =Gu/an 
18 for ;=k+1 ton 
824 19 Qij =A Anan; 


与 LU-DECOMPOSITION 一 样 ， 我 们 的 LUP-DECOMPOSITION 过 程 也 采用 一 个 循环 迭代 
来 替代 递归 。 作 为 直接 实现 递归 的 一 种 改进 ， 我 们 动态 维护 置换 矩阵 已 作为 一 个 数组 x， 其 中 
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nC BRE P 的 第 行 第 ; 列 元 素 为 1。 我 们 也 实现 了 在 矩阵 A 中 “合适 位 置 "计算 工 和 U 的 
代码 。 因 此 ， 当 该 过 程 停止 时 ， 
j 如 果 i 之 j 
uy i 
28-2 显示 了 LUP-DECOMPOSITION 如 何 对 一 个 矩阵 进行 分 解 。 第 3~4 行 初始 化 数组 x 
来 表示 恒 等 变 换 。 第 5 行 开始 的 外 层 for 循 环 实现 了 该 递归 过 程 。 每 执行 一 次 外 层 循环 ， 第 6~ 
10 行 确定 要 找 出 绝对 值 最 大 的 元 素 ws， 它 在 当前 Cn 一 上 十 1) X (n 一 k 十 矩阵 的 第 一 列 ( 列 如 
中 ， 我 们 正在 寻找 这 个 矩阵 的 LUP 分 解 。 如 果 当 前 第 一 列 中 的 所 有 元 素 都 是 0， 第 11 一 12 行 
报告 该 矩阵 为 奇异 矩阵 。 为 了 选 主 元 ， 我 们 在 第 13 行 用 aL ATSC x[k]， 在 第 14 一 15 行 中 把 
矩阵 A 的 第 & 行 和 第 ' 行 交换 ， 由 此 选 出 了 主 元 wu 。( 要 对 整 行进 行 交换 ， 因 为 在 上 述 方法 的 
推导 中 ， 不 仅 A' 一 www"/an 与 PRR. TE waw 也 如 此 。) 最 后 ,第 16~19 行 计算 舒 尔 补 所 用 
的 方法 与 LU-DECOMPOSITION 中 第 7 一 12 行 的 计算 方法 基本 相同 ， 不 过 这 里 操作 记录 在 A 
中 合适 位 置 。 


Ep E 0.6 3} © 5 4 2 3| @ 5 4 2 
(|2 3 3 4 2 2| Gee 3 4 -2 2| 06] 0 16 -3.2 

3} @ 5 4 2 1| gee 0 2 06 1| 04] -2 04 -02 

4| -=L -2 34 -l 4| Si -2 34 -1 4| 02| -1 42 -0.6 


和 
2| 06| 0 16 -3.2 
1| 04/@ 04 -02 
4| -02| -1 42 -06 


3 

1| 04|@®@ 04 -02 
2 0.6 0416 -3.2 
4| -0.2 05] 4 -0.5 


(d) (f) 





3 Si EA 3 O. 4 2 

1| 04|-2 04 -02 1 0.4 |-2 04 -02 
ap 06 0 116 -3.2 4 -0.2 0.5| © -05 

4| -0.2 0.5|@0 -0.5 2 06 0 044-3 


(g) 





H) 


图 28-2 LUP-DECOMPOSITION 的 操作 过 程 。(a) 输 入 矩阵 A 在 左边 采用 了 行 的 恒 
等 变换 。 算 法 的 第 一 步 确定 在 第 3 行 黑色 圆圈 中 元 素 5 是 第 一 列 的 主 元 。(b) 
第 1 行 与 第 3 行 互 换 ， 并 且 置 换 被 更 新 ， 阴 影 列 和 阴影 行 分 别 表示 vA w. 
(c) 向 量 被 w/5 所 取代 ， 且 矩阵 的 右 下 方 使 用 舒 尔 补 来 更 新 。 线 条 将 矩阵 分 
割 成 3 个 区 域 : U 的 元 素 ( 上 )、L 的 元 素 ( 左 )， 以 及 舒 尔 补 的 元 素 ( 右 下 )。 
(d) 一 (全 第 二 步 。(g) 一 (iD 第 三 步 。 没 有 变化 发 生 在 第 四 (最 后 ) 步 。(j) 此 
LUP 分 解 为 PA 王 LU 


因为 LUP-DECOMPOSITION 的 三 重 循环 结构 ， 所 以 它 的 运行 时 间 为 OOE), 
DECOMPOSITION 运行 时 间 完 全 一 样 。 因 此 ， 选 主 元 至 多 花费 我 们 一 个 常数 因子 时 间 。 


与 LU- 
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练习 
28.1-1 采用 正 向 替换 法 求解 下 面 方程 组 : 


10 0 Tı 3 
4 1 0| |x| =| 14 
—6 5 1 A 一 7 


28.1-2 找到 下 面 矩 阵 的 一 个 LU 分 解 : 


4) 5)" - 36 
人 
2 一 


28.1-3 利用 一 个 LUP 分 解 来 求解 下 面 方程 组 : 


5 4 

z ee 

5 8 2 
28.1-4 请 描述 一 个 对 角 和 矩阵 的 LUP 分 解 。 
28.1-5 请 描述 一 个 置换 矩阵 A 的 LUP 分 解 ， 并 证 明 它 是 唯一 的 。 
28.1-6 WEH: 对 所 有 nn 宇 1， 存 在 一 个 nXn 奇异 矩阵 ， 它 具有 一 个 LU 分 解 。 
28.1-7 在 LU-DECOMPOSITION 中 ， 当 上 =n 时， 是 否 有 必要 执行 最 外 层 的 for 循环 迭代 ? 

LUP-DECOMPOSITION 中 情况 又 如 何 ? 


28.2 和 矩阵 求 逆 


虽然 在 实际 应 用 中 ， 我 们 一 般 不 使 用 逆 和 矩阵 来 求解 线性 方程 组 ， 而 更 倾向 于 运用 一 些 数值 
稳定 性 更 好 的 技术 ， 如 LUP 分 解 ， 但是， 有 时 候 我 们 需要 计算 一 个 矩阵 的 逆 和 矩阵 。 在 本 节 中 ， 
我 们 论述 如 何 利 用 LUP 分 解 来 计算 一 个 矩阵 的 逆 。 我 们 还 将 证 明和 矩阵 乘法 和 计算 逆 和 矩阵 问题 具 
有 相同 难度 ， 因 为 (在 技术 条 件 限制 下 ) 可 以 使 用 一 个 问题 的 算法 在 相同 渐 近 时 间 内 解决 男 外 一 
个 问题 。 因 此 ， 可 以 使 用 用 于 矩阵 乘法 的 Strassen 算法 (参见 4. 2 节 ) 来 求 一 个 矩阵 的 逆 矩 阵 。 事 
KE, Strassen 原始 论文 的 动机 是 表明 有 上 比 普通 方法 更 快 的 求解 线性 方程 组 方法 。 

通过 LUP 分 解 计 算 逆 矩阵 

假设 有 一 个 矩阵 A 的 LUP 分 解 ， 包 括 三 个 矩阵 工 、_U 和 P， 满足 PA 二 LU。 运 用 LUP- 
SOLVE， 可 以 在 B(x ) 时 间 内 求解 一 个 具有 Az 二 5 形式 的 方程 。 因 为 LUP 分 解 取决 于 A 而 
不 是 56， 我 们 能 在 第 二 个 方程 Ar==b' 上 运行 LUP-SOLVE， 额 外 时 间 复 杂 度 为 O), — At 
而 言 ， 一 旦 得 到 A 的 LUP 分 解 ， 就 可 以 在 B(km) 时 间 内 求解 方程 Ax= 二 56, k 的 值 因 65 的 不 同 
而 改变 。 

我 们 可 以 考虑 方程 





12 
9 














AX =I, (28. 10) 
它 以 一 个 含 n 个 方程 (形式 为 A 二 6b) 的 方程 组 方式 定义 了 矩阵 了 X， 即 A 的 逆 矩 阵 。 更 准确 地 说 ， 
& X; 表示 X 的 第 i 列 ， 回 顾 单 位 向 量 e; 是 了 的 第 i 列 。 于 是 可 以 利用 A 的 LUP 分 解 求解 方程 
(28. 10) 中 的 X， 需 分 别 求解 每 一 个 方程 

AX; = e; 
中 的 X;。 一 旦 得 到 LUP 分 解 ， 就 可 以 在 OG? ATA AHH 个 X, 列 中 的 每 一 个 ， 因 此 可 以 在 
O(n’ it fa] ALA A 的 LUP 分 解 计算 X。 既 然 可 以 在 OC ) 时 间 内 确定 A 的 LUP 分 解 ， 我 们 就 可 
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以 在 O(n ) 时 间 内 求 出 矩阵 A GEA 。 

和 矩阵 乘法 和 和 矩阵 求 逆 

现在 我 们 说 明 ， 和 矩阵 乘法 获得 的 理论 上 的 加 速 比 ， 和 矩阵 求 逆 的 运算 同样 可 以 达到 。 实 际 上 ， 
我 们 可 以 证 明 更 强 的 结论 : 从 下 面 描述 的 角度 来 看 ， 和 矩阵 求 逆 运算 等 价 于 矩阵 乘法 运算 。 如 果 
M(z) 表 示 求 两 个 zXz 矩阵 乘积 所 需 时 间 ， 那 么 可 以 在 OCM(n)) 时 间 内 对 一 个 nXn 非 奇异 矩阵 
求 逆 。 此 外 ， 如 果 I(n) 表 示 对 一 个 非 奇 异 的 nXn 和 矩阵 求 逆 所 需 的 时 间 ， 那 么 可 以 在 OCI(n)) 时 
间 内 对 两 个 nXn 甜 阵 求 乘积 。 下 面 分 别 用 两 个 定理 来 证 明 这 些 结论 。 

定理 28. 1( 和 矩阵 乘法 不 比 矩 阵 求 逆 困 难 ) ”如 果 能 在 I(n) 时 间 内 求 出 一 个 nXn BRM, H 
P IMEA) IT(n) 满 足 正则 性 条 件 I(3n) 二 OC(I(n))， 那 么 可 以 在 OC(I(n)) 时 间 内 求 出 两 个 
nXn 和 矩阵 的 乘积 。 

证 明 设 A 和 B 为 两 个 nXn 和 矩阵 ， 我 们 希望 计算 出 其 乘积 C。 定 义 3nX3n 矩阵 了 为， 


L A O 
0 oB 





D WIEREN : 


0 0 I 
因而 可 以 利用 D O AEH nn FRET RAB. 

我 们 能 在 OC? ) 时 间 内 构造 出 矩阵 D， 时 间 复 杂 度 也 是 O(I(n))， 因 为 假设 IC) = 
AU), RE I(n) 的 正则 性 条 件 ， 可 以 在 OAG =OCT(n) 7) 时间 内 转换 D。 因 此 有 MG) = 
OU(n)). a 

注意 到 ， 对 任意 常数 HO 和 d>S0, RE IMA Ign), IMRI E EMERI. 

证 明和 矩阵 求 逆 运 算 不 比 矩 阵 乘 法 运算 更 难 这 一 命题 依赖 于 对 称 正 定 和 矩阵 的 一 些 性 质 ， 这 些 
性 质 我 们 将 在 28. 3 节 中 证 明 。 

定理 28. 2( 和 矩阵 求 逆 运 算 不 比 矩 阵 乘法 运算 更 难 ) ”如 果 能 在 M(n) 时 间 内 计算 出 两 个 nXn 
实数 矩阵 的 乘积 ， 其 中 MMEA) M(n) 满 足 两 个 正则 性 条 件 ， 对 任意 的 (0 三 k 志 n)， 
M(n+k)=OCM(n)) ; 对 某 个 常数 C<1/2, M(n/2)<cM(n), ABA TVA OCM(n)) Bt i A Gt SE 
出 任何 一 个 2X7 非 奇异 实数 矩阵 的 逆 。 

证 明 我们 这 里 对 实数 矩阵 的 情形 证 明定 理 成 立 。 练 习 28. 2-6 要 求 把 证 明 推 广 到 元 素 是 复 
数 的 矩阵 。 

可 以 假设 ”恰好 是 2 的 寡 ， 因 为 对 任意 ROO, RNA 

A 0T A’ 0 

dl a 
因此 ， 通 过 挑选 &， 使 得 z 十 & 为 2 的 寡 ， 扩 大 矩阵 的 规模 到 2 的 下 一 个 整数 次 方 ， 并 从 这 个 规模 
扩大 的 答案 中 得 到 我 们 需要 的 A : 。M(z) 的 第 一 个 规则 性 条 件 保 证 这 一 扩展 对 运行 时 间 的 增长 
不 会 超过 一 个 常数 因子 。 





目前 , 假设 nXn KRM A 是 对 称 正 定 的 。 我 们 把 每 一 个 A 及 其 逆 A “划分 为 4 个 x2XzwV2 的 
THER: 
B07 be SIRAT 
二 | < ap A = be al (28. 11) 


MBA, MRS 
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S=D— CBCT (28. 12) 
是 A 关于 B 的 舒 尔 补 (我 们 将 在 28. 3 节 看 到 更 多 关于 这 种 形式 的 舒 尔 补 )， 我 们 有 


ROT 万 十 BCISTCB 一 五 CS” 
人 h viel _ SCB | (28. 13) 
因为 4 一 一 闷 ， 可 以 用 矩阵 乘法 来 验证 。 因 为 A 是 对 称 正定 和 矩阵， 根据 28. 3 节 中 的 引 理 28. 4 


和 引 理 28.5, BAS 都 是 对 称 正定 的 。 因 此 ， 根 据 28. 3 节 的 引 理 28. 3， 逆 矩阵 BMS 存在， 
并 且 由 练习 D. 2-6，B- 和 S BEM RAN, FEB DTSB P ACS =S., AU, 我们 可 以 
HATERA ' 的 R、T、U 和 V 如 下 ， 其 中 涉及 的 和 矩阵 都 是 wn/2Xn/2 的 : 

1. 构造 A TEEB, C C AID, 

2. 递归 计算 Bw Bo. 

3. 计算 矩阵 乘积 W= 二 CB '， 然 后 计算 其 转 置 矩阵 W"， 它 等 于 BIC (根据 练习 D. 1-2 以 及 
(By? =B"), 

4. 计算 矩阵 乘积 X 一 WCT， 它 等 于 CB-CI， 然 后 计算 矩阵 S=D—X=D—CB'C'. 

5. 递归 计算 S HRS, HHO VAS”. 

6. 计算 矩阵 乘积 Y 一 S“ 凤 ， 它 等 于 SCB- ， 然 后 计算 其 转 置 YY ， 它 等 于 了 CTS (根据 
练习 D. 1-2，(B-1)T 王 B-1 以 及 (S-1)T7 一 S-1)。 设 下 为 一 YT，U 为 一 7。 

7. 计算 矩阵 乘积 Z=W'Y, ESF B'CS'CB', RHB? +Z, 

因此 ， 我 们 可 以 通过 在 步 又 2 和 5 中 对 两 个 n/2Xn/2 的 矩阵 求 逆 来 对 一 个 n Xn 的 对 称 正 定 
和 矩阵 求 逆 ; 在 步骤 3、4、6 和 7 中 ,执行 4 个 zxW2XzyV2 和 矩阵 乘法 ; 外 加 OG? ) 的 额外 时 间 从 和 矩阵 
A 中 提取 子 和 矩阵， 插入 子 矩 阵 到 A-: ， 以 及 在 n/2Xn/2 矩阵 上 执行 常数 数目 的 加 法 、 减 法 和 转 
置 操 作 。 我 们 得 到 递归 式 

IMS 21(n/2) + 4M(n/2) + OC’) = 21(n/2) + @(M(n)) = OCM(n)) 

第 一 个 等 号 成 立 是 因为 由 定理 中 的 第 二 个 正则 性 条 件 推 出 4M(Cxy2) 一 2M(z) ， 以 及 我 们 假设 Mn) = 
90 )。 第 二 个 等 号 成 立 是 因为 定理 的 第 二 个 正则 性 条 件 允 许 我 们 应 用 主 定理 (定理 4. 1) 的 情况 3。 

现在 还 需 证 明 ， 当 A 可 逆 但 不 是 对 称 正 定 矩 阵 时 ， 我 们 对 和 矩阵 的 乘法 运算 也 可 以 达到 和 和 扼 
阵 求 逆 运 算 一 样 的 渐 近 运行 时 间 。 基 本 思想 是 对 任意 的 非 奇 异 矩 阵 A， 和 矩阵 ATA 是 对 称 的 (根据 
练习 D. 1-2) 和 正定 的 (根据 定理 D. 6) 。 然 后 ， 主 要 技巧 在 于 把 求 A 的 逆 矩 阵 问题 转化 成 求 ATA 
的 逆 和 矩阵 问题 。 

这 一 转化 是 基于 下 面 的 观察 : 当 A 为 一 个 nXn 非 奇异 矩阵 时 ， 我 们 有 

A™ = (ATA) AT 

因为 ((AIA) AT)A=(ATA) (ATA) =I, 并且 一 个 矩阵 的 逆 矩 阵 是 唯一 的 。 因 此 ， 我 们 可 以 
这 样 计算 A : 先 把 AT 与 A 相 乘 获得 A"A， 然 后 运用 上 面 的 分 治 算法 求 出 对 称 正定 矩阵 ATA 
的 逆 和 矩阵 ， 最 后 再 把 结果 乘 以 A"。 这 三 步 中 每 一 步 运 行 时 间 为 OC(M(n))， 因 此 可 以 在 OCM(n)) 
时 间 内 求 出 任意 非 奇 异 实数 和 矩阵 的 逆 和 矩阵 。 国 

定理 28. 2 的 证 明 过 程 说 明 ， 只 要 A 是 非 奇 异 矩 阵 ， 就 可 以 通过 LU 分 解 求解 等 式 Ar=b, 
而 无 需 选 主 元 。 我 们 把 等 式 两 边 同 时 乘 以 A"， 推 出 (ATA)zx= 二 ATb。 因 为 AT 是 可 道 的 ， 所 以 这 
一 变换 不 会 影响 解 x， 于 是 可 以 通过 计算 LU 的 一 个 分 解 来 分 解 对 称 正 定 矩 阵 AIA。 然 后 就 可 以 
对 方程 右 端的 AT b 应 用 正 向 替换 和 反 向 替换 来 求解 工 。 尽 管 这 个 方法 在 理论 上 是 正确 的 ， 但 实际 
上 过 程 LUP-DECOMPOSITION 执行 得 更 快 。LUP 分 解 需要 的 算术 运算 次 数 要 少 常 数 倍 ， 并 且 
从 某 种 程度 来 说 ，LUP 分 解 有 更 好 的 数值 性 质 。 


练习 
28.2-1 设 M(n) 是 两 个 nXn 和 矩阵 相 乘 所 需 时 间 ，S(n) 表 示 求 >Xz 和 矩阵 平方 所 需 时 间 。 证 明 : 


$28 和 矩阵 运算 。 489 


求 矩 阵 乘 积 与 求 矩 阵 平 方 实 质 上 难度 相同 ， 即 一 个 M(z) 时 间 的 矩阵 相 乘 算法 意味 着 一 
个 OCM(n) ) 时 间 的 矩阵 平方 算法 ， 一 个 SCz) 时 间 的 矩阵 平方 算法 意味 着 一 个 OC(S(n)) 
时 间 的 矩阵 相 乘 算法 。 

28.2-2 BE M() 是 两 个 nXn 和 矩阵 相 乘 所 需 时 间 ，L(m) 为 计算 一 个 nXn 和 矩阵 的 LUP 分 解 所 需 时 
间 。 证明: 求 矩 阵 乘积 运算 与 计算 矩阵 LUP 分 解 实 质 上 难度 相同 ， 即 一 个 MCn) 时 间 的 
矩阵 相 乘 算法 意味 着 一 个 OCM(n)) 时 间 的 矩阵 LUP 分 解 算法 ,一 个 L(n) 时 间 的 矩阵 
LUP 分 解 算法 意味 着 一 个 O(L(n)) 时 间 的 矩阵 相 乘 算法 。 

28.2-3 B M(n) 是 两 个 nXn 和 矩阵 相 乘 所 需 时 间 ，D(n) 表 示 求 nXn 和 矩阵 行列 式 值 所 需 时 间 。 证 
明 : 求 矩 阵 乘积 运算 与 求 行列 式 值 实 质 上 难度 相同 ， 即 一 个 M(n) 时 间 的 矩阵 相 乘 算法 
意味 着 一 个 OC(M(n)) 时 间 的 行列 式 算法 ,一 个 D(n) 时 间 的 行列 式 算法 意味 着 一 个 
OCD(n)) 时 间 的 矩阵 相 乘 算法 。 

28.2-4 P MMEA nXn 布尔 和 矩阵 相 乘 所 需 时 间 ，TCn) 为 找 出 nXn 布 尔 矩 阵 的 传递 闭 包 所 需 
时 间 ( 见 25.2 节 )。 证 明 : 一 个 MCz) 时 间 的 布尔 矩阵 相 乘 算法 意味 着 一 个 OM) Ig nn) Bt 
间 的 传递 闭 包 算法 ， 一 个 T(n) 时 间 的 传递 闭 包 算法 意味 着 一 个 OC(T(n)) 时 间 的 布尔 矩阵 
相 乘 算法 。 

28.2-5 ” 当 和 矩阵 元 素 属 于 整数 模 2 所 构成 的 域 时 ， 基 于 定理 28. 2 的 矩阵 求 逆 算法 是 否 仍 然 有 效 ? 
请 解释 。 

*28.2-6 推广 定理 28. 2 的 矩阵 求 逆 算法 ， 使 之 能 处 理 复 数 和 矩阵 的 情形 ， 并 证 明 你 所 给 出 的 推广 
是 正确 的 。( 提 示 : 用 A Kees BK (conjugate transpose) A* 来 替代 A 的 转 置 矩 阵 ， 
把 A 中 的 每 个 元 素 用 其 共 恩 复数 来 替代 就 得 到 A"” 。 考 虑 用 埃 尔 米 特 (Hermitian) 矩 阵 来 
替代 对 称 和 矩阵 ， 埃 尔 米 特 矩 阵 就 是 满足 A=A-" 的 矩阵 A。) 
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对 称 正 定 矩 阵 有 许多 有 趣 和 理想 的 性 质 。 例 如 ， 它 们 都 是 非 奇 异 矩 阵 ， 而 且 可 以 对 其 进行 
LU 分 解 ， 而 无 需 担 心 出 现 除数 为 0 的 情形 。 在 本 节 中 ， 我 们 将 证 明 其 他 几 条 关于 对 称 正 定 矩 阵 
的 重要 性 质 ， 并 且 给 出 一 个 用 最 小 二 乘 进行 曲线 拟 合 的 有 趣 应 用 实例 。 

我 们 要 证 明 的 第 一 条 性 质 可 能 是 最 基本 的 。 

引 理 28.3 任何 对 称 正 定 矩 阵 都 是 非 奇 异 矩 阵 。 

证 明 ”假设 矩阵 A 是 奇异 的 ， 那 么 由 推论 D. 3， 存 在 一 个 非 零 向 量 zx， 满 足 Azx 二 0。 因 此 ， 
ZIAz 一 0， 于 是 A 不 可 能 是 正定 矩阵 。 m 

要 证 明 我 们 可 以 对 一 个 对 称 正定 矩阵 A 进行 LU 分 解 而 不 会 出 现 除数 为 0 的 情形 ， 还 需要 涉 
及 其 他 一 些 知 识 。 我们 先 证 明 关 于 A 的 某 些 子 和 矩阵 的 性 质 。 定 义 A 的 第 & 个 主子 矩阵 (leading 
submatrix)A, 为 A 的 前 & 行 和 前 & 列 交叉 元 素 组 成 的 矩阵 。 

引 理 28.4 如 果 A 是 一 个 对 称 正定 矩阵 ， 那 么 A 的 每 一 个 主子 矩阵 都 是 对 称 正 定 的 。 

证 明 每 个 主子 矩阵 A 明显 都 是 对 称 的 。 为 了 证 明 A 是 正定 的 ， 我 们 假设 命题 不 真 ， 然 
后 导出 矛盾 。 如 果 A, 不 是 正定 的 ， 那 么 存在 一 个 & 维 向 量 zx* 夫 0， 使 得 ziAkzki 和 0。 设 A fn Xn 


和 矩阵， 于 是 
A= A (28. 14) 
Boe 
其 中 子 和 矩阵 B 的 大 小 是 (n 一 &) Xk，C 的 大 小 是 (2 一 &) X (nk), UHM nr= 0)", 
其 中 zi 之 后 有 ?一 & 个 0。 然后 有 


A, B"™)/z, A,x 
mena ofS Spec oE- aco 


490 。 第 七 部 分 算法 问题 选编 


这 与 A 是 正定 矩阵 矛盾 。 m 


现在 我 们 考虑 舒 尔 补 的 几 条 基本 性 质 。 设 A 是 一 个 对 称 正定 和 矩阵 ，A 是 A 的 &Xk ETHE 

阵 。 根 据 等 式 (28. 14) 再 次 把 A 划分 。 我 们 推广 式 (28. 9)， 定 义 和 矩阵 A 关于 A WERA 

S = C—BA,'B'* (28. 15) 
(根据 引 理 28.4, A, 是 对 称 正定 的 ; 所 以 根据 引 理 28.3 TJA, A FE, H S 定义 完备 。) 注 意 ， 
设 一 1， 我 们 前 面 对 舒 尔 补 的 定义 (28. 9) 与 等 式 (28. 15) 是 一 致 的 。 

下 面 的 一 个 引 理 说 明 ， 对 称 正定 矩阵 的 舒 尔 补 自身 也 是 对 称 正定 的 。 我 们 在 定理 28. 2 中 用 
到 了 该 结论 ， 并 要 用 其 推论 来 证 明 对 称 正定 和 矩阵 的 LU 分 解 的 正确 性 。 

引 理 28. 5( 舒 尔 补 引 理 ) ”如 果 A 是 一 个 对 称 正 定 和 矩阵 ，A 是 A 的 kXk 主 子 和 矩阵 ， 那 么 A 
KFT A, 的 舒 尔 补 是 对 称 正定 的 。 

证 明 因为 A 是 对 称 的 ， 所 以 子 矩阵 C 也 是 对 称 的 。 根 据 练 习 D. 2-6, RE BA BT 是 对 称 
的 ， 再 根据 练习 D. 1-1，S 是 对 称 的 。 

现在 还 要 说 明 S 是 正定 的 。 考 虑 等 式 (28. 14) 中 对 A 的 划分 。 对 任何 非 零 向 量 z， 根据 A 是 
正定 的 假设 ， 有 zzAz>>0。 我 们 把 工 拆 成 两 个 子 向 量 > 和 z， 分 别 与 A MCHA. AW AL 存 
在 ， 所 以 运用 和 矩阵 运算 的 技巧 ， 我 们 有 

T T 
ZTAz 一 (入 D j rE Cy" AA a y Ay + y'B"z + z"By + z"Cz 
= (y+ A;'Btz)TA, (y +A BT z) +z"(C— BA;'B")z (28. 16) 
〈 用 乘法 从 头 至 尾 验证 。) 最 后 一 个 等 式 发 展 成 二 次 型 的 “完全 平方 ”。( 参 见 练习 28. 3-2.) 
因为 zx"Az>>0 对 任意 非 零 向 量 z 成 立 ， 我 们 可 任意 挑选 一 个 非 零 向 量 >， 然 后 选择 y= 
一 Ar BTz， 这 样 就 把 等 式 (28. 16) 中 第 一 项 消去 ， 剩 下 
z'(C— BA;'B )z=2'& 
作为 表达 式 的 值 。 因 此 对 任意 240, RIJA z"Sz=2z'Ax>0, FHS 是 正定 的 。 回 
推论 28.6 ”一 个 对 称 正定 矩阵 的 LU 分 解 永远 不 会 出 现 除数 为 0 的 情形 。 

证 明 设 A 是 一 个 对 称 正定 和 矩阵。 我们 将 证 明 一 个 比 推论 更 强 的 结论 : 每 个 主 元 都 严格 为 
正 。 第 一 个 主 元 为 aa 。 设 e 是 第 一 个 单位 向 量 ， 由 此 得 到 a, ef Ae >0。 因 为 LU 分 解 的 第 一 
步 产 生 A 关 于 4A,=(an) 的 舒 尔 补 ， 根 据 归 纳 法 ， 由 引 理 28. 5 推出 所 有 的 主 元 都 是 正 值 。 加 

最 小 二 乘 逼近 

对 给 定 一 组 数据 的 点 进行 曲线 拟 合 是 对 称 正 定 矩 阵 的 一 个 重要 应 用 。 假 设 已 知 mr 个 数据 点 

Ci s Yi) o Tz 9 Yo) (Tm Yn) 
其 中 已 知 di 受到 测量 误差 的 影响 。 我 们 希望 确定 一 个 函数 F(z)， 对 三 1，2，…，7， 使 得 近似 
m= Fla) — yi (28. 17) 
AR). PRB 下 的 形式 依赖 于 我 们 碰 到 的 问题 。 这 里 假设 它 的 形式 为 一 个 线性 加 权 和 : 


F(x) = > of ;(x) 
其 中 和 项 的 个 数 上 和 特定 的 基 函 数 (basis function) f; 取决 于 我 们 对 问题 的 先 验 知识 。 一 种 通常 的 
选择 是 方 (z) 一 习 : ， 这 说 明 
F(x) =a tartar +e tcea" 
是 一 个 + 的 n 一 1 次 多 项 式 。 因 此 ， 给 定 m SB Cais y) Cres y)s s Ems Ym) RAI 
希望 计算 出 ?个 系数 cu，c ots Cas 使 得 误差 M» Ree 9 tm 最 小 。 
通过 选择 n 王 m， 在 等 式 (28. 17) 中 ， 我 们 可 以 精确 计算 每 个 y;。 这 样 的 一 个 高 次 函数 下 吻合 
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数据 ， 但 也 “吻合 噪声 ”， 且 当 用 来 从 前 面 未 知 的 z 值 预测 y 时 ， 通 常会 给 出 很 差 的 结果 。 通 常 较 
好 的 做 法 是 选择 比 m 小 很 多 的 n， 寄 希望 通过 选择 系数 ， 我 们 可 以 获得 一 个 函数 下 ， 能 够 发 现 
数据 点 中 的 重要 模式 ， 而 不 过 多 地 受 噪声 影响 。 对 于 选择 n 存在 一 些 理 论 上 的 原则 ， 但 这 超出 了 
本 书 的 范围 。 在 任何 情况 下 ， 一旦 选 定 了 比 m 小 的 n 值 ， 就 得 到 了 我 们 希望 近似 求解 的 一 个 超 
定 方程 组 。 现 在 我 们 来 说 明 如 何 进 行 。 


设 
fi (a) fala) oe AEn] 
ae fil) Fae? hý Saa) 
0 
表示 基 函 数 在 给 定点 值 的 和 矩阵， 即 a; 三 fj(x;)。 设 c 三 (ci) 表示 所 求 系数 组 成 的 n 维 向 量 。 于 是 
fi (a) Se (a) os? Fa (xy) Cy F(2,) 
万 (zz) falx) ose Sn (a2) C2 F(22) 
Ac= 3 3 “。 3 3 = : 
kta) fa O see: AE G F(z,,) 
是 由 y 的 “预测 值 ”组 成 的 m 维 向 量 。 因 此 ， 
We 


是 近似 误差 (approximation error) 的 m 维 向 量 。 
为 了 使 近似 误差 最 小 ， 我 们 选择 使 误差 向 量 7 的 范 数 最 小 ， 这 样 得 出 一 个 最 小 二 乘 解 ， 因 为 


l= (X4) 
又 因为 


n 2 
Ial? = [Ac — yl? = X (X asc; —y,) 
j" 


i=] 


我 们 可 以 通过 对 | pl? 求 关 于 c 的 微分 并 让 结果 为 0， 来 求 出 上川 的 最 小 值 ; 
a -= Zal dave, — yi) = 0 (28. 18) 


对 上 二 1，2，…，n， 式 (28. 18) PH n PERSE SB 
(Ac—y'A=0 
或 等 价 于 (利用 练习 D. 1-2) 
A'™(Ac—y)=0 
这 意味 着 
AIAc = ATy (28. 19) 
在 统计 学 中 ， 该 式 称 为 正规 方程 (normal equation), HA D. 1-2 可 知 ，ATA 是 对 称 和 矩阵 ， 并 且 
HATER. WAHEED. 6 BT, ATA 也 是 正定 矩阵 。 因 此，(ATA) “1! 存在 ,方程 (28. 19) 
的 解 为 
c= ((ATA) 'A™) y= At y (28. 20) 
其 中 矩阵 4 = (CATA) AT) BARRE A 的 伪 逆 矩阵 (pseudoinverse) 。 伪 道 矩 阵 是 逆 矩 阵 概念 在 A 不 是 
方 阵 时 的 自然 推广 。( 请 比较 等 式 (28. 20) 作 为 Ac=y 的 近似 解 ，4 2 作为 Az= 的 精确 解 。) 
作为 最 小 二 乘 拟 合 的 一 个 例子 ， 假 设 有 5 个 数据 点 : 
(215m) = (— 1,2) 
(22592) = (1,1) 
(23593) = (2,1) 
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(245%) = (3,0) 
(zs sys) = (5,3) 
在 图 28-3 中 用 黑 点 表示 。 我 们 希望 用 一 个 二 次 多 项 式 Fa) =a terto 对 这 些 点 进行 拟 合 。 
我 们 首先 给 出 基 函 数值 的 矩阵 


ee ay es 
|e ae pe “8 
A=|1 z j= |1 2 4 
1 te x 1 9 
eet 1 5 25 





F(x) = 1.2 — 0.757x + 0.2142 


图 28-3 对 5 个 数据 点 的 集合 {( 一 1,，2)，(1, 1), (2, 1), (3, 0), (5, 3)} 
用 一 个 二 次 多 项 式 进行 最 小 二 乘 拟 合 。 黑 色 点 是 数据 点 ， 白 点 是 由 多 
MR F(x) 二 1.2 一 0.757z 十 0. 21427 预测 的 估计 值 ， 此 二 次 多 项 式 使 
得 平方 误差 之 和 最 小 。 每 条 阴影 线 表 示 一 个 数据 点 的 误差 


其 伪 逆 和 矩阵 为 


0.388 0.093 0.190 0.193 一 0.088 
0.060 一 0.036 一 0.048 一 0.036 0.060 
> 乘 以 A“， 我 们 得 到 系数 向 量 
1. 200 
c= - 0. i 
0. 214 


F(x) = 1. 200 — 0. 757x+0. 2142” 
在 最 小 二 乘 意义 上 ， 该 式 是 对 给 定数 据 的 最 接近 的 二 次 拟 合 。 
在 实际 应 用 中 ， 我 们 按 如 下 方式 求 正规 方程 (28. 19) 的 解 : 用 > 乘 以 AI， 然 后 找 出 AIA 的 
一 个 LU 分解。 如 果 AWE, AA 可 保证 为 非 奇 异 的 ， 因 为 它 是 对 称 正定 的 。( 参 见 练习 D. 1-2 
和 定理 D. 6.) 


0. 500 0. 300 0. 200 0.100 一 0. 100 
At= |- 


838] CHAF KEMA 


练习 


28. 3-1 


28. 3-2 


28. 3-3 
28. 3-4 
28. 3-5 
28. 3-6 


28. 3-7 
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证 明 :一 个 对 称 正定 算 阵 对 角 线 上 的 每 一 个 元 素 部 是 正 的 
设 A=[《。“] 是 一 个 2X2 的 对 称 正定 甜 阵 。 运 用 类 似 引 理 28. 5 证 明 过 程 中 用 过 的 “ 完 
全 平方 "来 证 明 该 行列 式 的 值 ac — 0 是 正 的 。 
证 明 ， 一 个 对 称 正定 矩阵 中 值 最 大 的 元 素 在 对 角 线 上 。 
证 明 ， 一 个 对 称 正定 敌阵 的 每 一 个 主子 抢 阵 的 行列 式 值 都 是 正 的 。 
BA 表示 对 称 正定 矩阵 A WB k DETERE, 证明， 在 LU 分 解 过 程 中 ，det(A,)/det(A,，) 
是 第 个 主 元 ， 其 中 为 方便 起 见 ，det(A) 二 1， 
找 出 具有 形式 F(z) =o 十 czlgz 十 cuer 的 函数 ， 使 其 为 下 面 数据 点 的 最 优 最 小 二 乘 拟 
#: (1，1)，(2，1)，(3，3)，(4，8)。 839 
请 说 明 伪 着 矩阵 A+ 满足 下 面 4 个 等 式 ， 
AA*A=A 

At AA+ = At 

(AA+ )" = AA+ 

(At A)'= ATA 


思考 题 


28-1 


28-2 


(三 对 角 线 性 方程 组 ) ”考察 三 对 角 和 矩阵 : 

1 “=1 0 0 0 

—1 2 一 1 0 0 

A= ge] 2 0 
0 0 =]1 a =I 

0 0 0 = 2 

a. 求 出 矩阵 A 的 一 个 LU 分 解 。 

b 通过 正 向 替换 与 反 向 替换 求解 方程 Az=(1 1 1 1 1)7。 

c SR A WEE. 

d. 请 说 明 对 任意 的 nXn 对 称 正定 三 对 角 和 矩阵 A 和 任意 n 维 向 量 5， 如 何 通过 运用 一 个 LU 
分 解 可 在 O(n) 时 间 内 求解 方程 Az=%。 论 证 在 最 坏 情 况 下 ， 任 何 基于 求 A 的 方法 在 
渐 近 意义 下 要 花费 更 多 的 时 间 。 

e 请 说 明 对 任意 nXn 非 奇异 的 三 对 角 和 矩阵 A 和 任意 维 向 量 5， 如 何 运 用 一 个 LUP 分 解 
在 O(n) 时 间 内 求解 方程 Az=6b。 

〈 样 条 ) ”把 一 组 点 插值 到 一 条 曲线 中 的 一 种 实用 方法 是 采用 三 次 样 条 (cubic spline). GH 

n 十 1 个 点 值 对 组 成 的 集合 { (zx;，y;): i 二 0，1，…，n}， 其 中 zo 二 zx 二 … 二 x,。 我 们 希望 

拟 合 出 这 些 点 的 分 段 三 次 曲线 ( 样 条 ) f(z)。 也 就 是 说 ， 曲 线 f(z) 由 nn 个 三 次 多 项 式 


fi(z) 二 =a; 十 bx 十 cz 十 dx? (i 二 0，1，*…，n 一 1) 组 成 ， 其 中 如 果 r YEKE Krr, [840 


那么 曲线 的 值 由 f(zx) 二 f(z 一 zi) 给 出 。 把 三 次 多 项 式 “ 粘 和 ”在 一 起 的 点 zi 称 为 结 
(knot) 。 为 了 简单 起 见 ， 假定 对 i=0, 1, s n, 有 zi 一 ti。 
为 了 保证 f(z) 的 连续 性 ， 我 们 要 求 当 i 二 0，1，…， nn 一 1 时 ， 
f(zi)= fiO = y; 
Stim) = fi) = yn 
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为 了 保证 f(z) 足 够 光滑 ， 我 们 还 要 求 当 i 二 0，1，…，n 一 2 时 ， 在 每 个 结 的 一 阶 导数 是 

连续 的 : 

f' Ga) = F/O) = fin) 

a. 假定 当 I=0, 1, «+, nn 时， 我 们 不 仅 知道 点 值 对 {(x;，y;)}， 而 且 知 道 每 个 结 的 一 阶 
导数 D;=f "(zx).。 请 用 值 y;、 itis D; 和 Da RBA FET FEL ais bis Ci 和 d;。 ( 记 住 
Zz; 王 i) 根据 点 值 对 和 一 阶 导数 计算 出 4n 个 系数 需要 多 少时 间 ? 

如 何 选 择 f(z) 在 每 个 结 的 一 阶 导 数 仍然 是 个 问题 。 一 种 方法 是 要 求 当 i 二 0，1，…， 
n 一 2 时 ， 二 阶 导数 在 每 个 结 处 连续 : 
f' Gin) = fF) = fin (0) 
在 第 一 个 结 和 最 后 一 个 结 ， 假 设 "(2d = f O= 以 及 "(a= fr) =0; 这 些 假 
设 使 f(x) 成 为 一 个 自然 三 次 样 条 。 
b. 利用 二 阶 导数 的 连续 性 限制 ， 说 明 当 i 二 1，2，…，n 一 1 时 ， 


D; +4D; + Din = 3Cyin — Yia) (28. 21) 
c 请 说 明 
2D, + D, = 3(yı — yo) (28. 22) 
D,-1 + 2D, = 3(y,— Yn) (28. 23) 
d 重 写 等 式 (28. 21) ~ (28. 23) 为 包含 未 知 量 向 量 DSD, Dis ++, D> WRATH. MR 
所 给 的 方程 中 矩阵 具有 什么 性 质 ? 
e 论证 : 运用 自然 三 次 样 条 可 以 在 O(n) 时 间 内 对 一 组 n+l 个 点 值 对 进行 插值 (参见 思考 
题 28-1)。 


f. 请 说 明 当 zi 不 一 定 等 于 i 时， 如 何 确定 出 一 个 自然 三 次 样 条 对 一 组 十 /个 满足 zx。 一 
Day, 的 点 (xX;，yi) 进 行 插值 。 你 必须 求解 什么 样 的 矩阵 方程 ”你 所 给 出 的 算法 运 
行 速度 有 多 快 ? 


本 章 注 记 

很 多 优秀 的 教科 书 中 ， 对 数值 和 科学 计算 的 描述 都 比 我 们 论述 的 内 容 要 详细 得 多 。 下 面 的 
参考 材料 特别 值得 阅读 : George 和 Liu[132]，Golub 和 Van Loan[144], Press, Teukolsky, 
Vetterling 和 Flannery[283，284]j， 以 及 Strang[323, 324]. 

Golub 和 Van LoanL144] 讨 论 了 数值 稳定 性 。 他 们 说 明 为 什么 det(A) 不 一 定 是 矩阵 A 的 稳定 


性 的 好 指标 ， 提 出 采用 1A| -1A- 1-， 其 中 PAD. = max Lay | 。 他 们 还 讨论 了 如 何 计算 该 


值 而 不 用 实际 计算 A。 

高 斯 消 元 法 是 LU 和 LUP 分 解 的 基础 ， 是 第 一 个 求解 线性 方程 组 的 系统 方法 。 它 也 是 最 早 
的 数值 算法 之 一 。 尽 管 更 早 之 前 人 们 就 知道 这 个 方法 ， 但 它 的 发 现 一 般 归 功 于 C.F. Gauss 
(1777—1855). Strassen 在 他 的 很 有 名 的 文章 [325] 中 ， 展 示 了 可 以 在 On ) 时 间 内 对 一 个 nXn 
矩阵 求 着。WinogradL358] 最 早 证 明和 矩阵 乘法 不 比 矩 阵 求 逆 困 难 ， 反 向 的 证 明 归 功 于 Aho, 
Hopcroft 和 Ullman[5]. 

另外 一 种 重要 的 矩阵 分 解 是 奇异 值 分 解 (Singular Value Decomposition, SVD), SVD 把 一 个 
mXn HEA 分 解 成 A 王 QizQ: ， 其 中 三 是 一 个 只 在 对 角 线 上 有 非 零 元 素 的 mXn H, Q 是 一 
个 列 互相 标准 正 交 的 mXm EE, Q 也 是 一 个 列 互相 标准 正 交 的 nXn 矩阵。 如 果 两 个 向 量 内 积 
为 0 并 且 每 个 向 量 范 数 为 1， 则 它们 是 标准 正 交 的 。Strang 的 著作 [323，324] 以 及 Golub 和 Van 
Loan[144] 中 包含 对 SVD 很 好 的 处 理 。 

Strang[L324] 有 一 个 关于 对 称 正定 矩阵 和 一 般 线性 代数 的 很 好 的 介绍 。 
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线性 规划 


在 给 定 有 限 的 资源 和 竞争 约束 情况 下 ， 很 多 问题 都 可 以 表述 为 最 大 化 或 最 小 化 某 个 目标 。 
如 果 可 以 把 目标 描述 为 某 些 变量 的 一 个 线性 函数 ， 而 且 可 以 将 资源 的 约束 指定 为 这 些 变量 的 等 
式 或 不 等 式 ， 那 么 我 们 得 到 一 个 线性 规划 问题 (linear-programming problem) 。 线 性 规划 出 现在 许 
多 实际 应 用 中 。 我 们 从 研究 一 次 政治 选举 的 应 用 开始 。 

一 个 政治 问题 

假设 你 是 一 位 政治 家 ， 试 图 赢得 一 场 选举 。 你 的 选区 有 三 种 不 同类 型 的 区 域 一 一 市 区 、 郊 区 
和 乡村 。 这 些 区 域 分 别 有 100 000、200 000 和 50 000 个 登记 选民 。 尽 管 不 是 所 有 登记 选民 都 会 去 
投票 站 投票 ， 但 为 了 确保 当选 ， 你 希望 这 三 个 选区 中 每 一 个 选区 都 至 少 有 一 半 登 记 选 民 投票 
给 你 。 

你 是 正直 、 可 敬 的 ， 并 且 从 不 支持 你 不 相信 的 政策 。 然 而 你 意识 到 ， 在 某 些 地 方 ， 某 些 议题 
对 赢 取 选 票 会 更 有 效 。 你 的 首要 议题 是 修筑 更 多 的 道路 、 枪 支管 制 、 农 场 补贴 ， 以 及 增加 汽油 税 
以 改进 公共 交通 。 根 据 你 的 竞选 班子 的 研究 ， 你 可 以 估计 通过 在 每 项 议题 上 花费 1 000 美元 做 广 
告 ， 在 每 个 选区 可 以 赢 取 或 输 掉 多 少 选票 。 图 29-1 的 表格 给 出 这 种 信息 。 在 此 表格 中 ， 每 个 条 
目 表明 通过 花费 1 000 美元 广告 费 支持 某 个 特定 议题 ， 在 市 区 、 郊 区 或 乡村 可 以 赢得 选民 的 千 人 
数 ， 负 数 项 表示 失去 的 选民 数 。 你 的 任务 是 计算 出 需要 花费 最 少 的 钱 数 ， 以 赢得 50 000 张 市 区 
选票 、100 000 张 郊 区 选票 和 25 000 张 乡村 选票 。 








图 29-1 政策 对 选民 的 影响 。 每 项 表示 通过 1 000 美元 广告 费 支持 一 项 特定 政策 ， 
可 赢得 的 市 区 、 郊 区 或 乡村 的 选民 的 千 人 数 。 负 数 项 表示 将 失去 的 选票 数 


你 可 以 通过 反复 试验 ， 设 计 一 种 策略 赢得 所 需 选 票数 ， 但 你 的 这 种 策略 可 能 不 是 花费 最 少 
的 。 例 如 ， 你 可 以 支出 20 000 美元 广告 费 修筑 道路 、0 美元 给 枪支 管制 、4 000 美元 给 农场 补贴 、 
9 000 美元 给 汽油 税 。 在 这 种 情况 下 ， 你 将 赢得 20(— 2) +0(8) +4(0) +9(10) =50 千张 市 区 选 
票 ，20(5) 十 0(2) 十 4(0) 十 9(0) 王 100 千张 郊区 选票 ， 以 及 20(3) 十 0( 一 5) 十 4(10) 十 9( 一 2) 一 82 
千张 乡村 选票 。 你 将 在 市 区 和 郊区 正好 赢得 你 想 要 的 票数 ， 而 在 乡村 地 区 超过 所 需 票数 。( 事 实 
上 ， 在 乡村 地 区 ， 得 到 的 选票 比 选民 数量 还 多 。) 为 了 累积 这 些 选 票 ， 需 要 付出 20 十 0 十 4 十 9 一 33 
千 美元 的 广告 费 。 

自然 地 ， 你 可 能 怀疑 是 否 你 的 策略 是 最 好 的 。 也 就 是 说 ， 你 是 否 能 花 更 少 的 广告 费 来 达到 你 
的 这 些 目标 ? 额外 的 反复 试验 或 许可 以 帮 你 回答 这 个 问题 ,但 为 什么 不 用 一 个 系统 化 的 方法 来 
回答 这 样 的 问题 呢 ? 为 此 ， 我 们 将 以 数学 化 的 语言 来 描述 这 个 问题 。 我 们 引入 4 个 变量 : 

。 2 是 花费 在 修筑 道路 广告 上 的 金额 ( 千 美元 ) 。 

。 2, 是 花费 在 枪支 管制 广告 上 的 金额 ( 千 美 元 ) 。 
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。 zs 是 花费 在 农场 补贴 广告 上 的 金额 ( 千 美元 )。 
。 x, 是 花费 在 汽油 税 广告 上 的 金额 ( 千 美 元 )。 
我 们 可 以 将 赢得 至 少 50 000 张 市 区 选票 的 需求 写成 


一 2zi + 8x, 十 0zs + 10x, 之 50 (29. 1) 
类 似 地 ， 我 们 可 以 将 赢得 至 少 100 000 张 郊区 选票 和 25 000 张 乡村 选票 的 需求 写成 
52x, + 2a, +02; +02, 之 100 (29. 2) 
以 及 
32, — 5a, +10z; — 2x, > 25 (29. 3) 


任何 一 组 满足 不 等 式 (29. 1) ~ (29. 3) 的 变量 21, aes a» a 取 值 ， 构 成 一 种 能 够 赢得 足够 数量 选票 的 
策略 。 为 了 使 花费 尽 可 能 小 ， 你 希望 最 小 化 广告 的 费用 。 也 就 是 说 ， 你 想 要 最 小 化 如 下 表达 式 : 


Tı +2 Hez +t (29. 4) 
尽管 在 政治 竞选 中 负面 的 广告 宣传 时 常 发 生 ， 但 是 不 可 能 有 负 的 广告 费用 。 因 此 ， 我 们 要 求 
420, 0 而 区 0 mS (29. 5) 


将 不 等 式 (29. 1) ~ (29. 3) 以 及 (29. 5) 和 最 小 化 目标 式 (29.4) 联 系 起 来 ， 我 们 得 到 "线性 规划 “ 问 
题 。 我 们 将 这 个 问题 形式 化 为 : 


最 小 化 w e he i e ii (29. 6) 
满足 约束 条 件 

一 22 + 8z + Oz + 10x, 250 (29. 7) 

5S% + 2% + Oz + Ox 2100 (29. 8) 

32; = 5a + Oxy — Day 225 (29. 9) 

Zis Tzs Tzs Ti =0 (29. 10) 

这 个 线性 规划 的 解 可 得 出 一 个 最 优 策略 。 

一 般 线 性 规划 


在 一 般 线性 规划 问题 中 ， 我 们 希望 优化 一 个 满足 一 组 线性 不 等 式 约束 的 线性 函数 。 已 知 一 组 
实数 ay» Azs ”Qnr 和 一 组 变量 Tis Tzs °**s Tno 我 们 给 出 定义 在 这 些 变量 上 的 一 个 线性 函数 f: 


Fay 9X2 9° oq) = atı Harz +°° +a,2, = az; 
j=l 


WR b 是 一 个 实数 而 了 是 一 个 线性 函数 ， 则 等 式 

f(zisx2 ss Ts) = b 
是 线性 等 式 ， 而 不 等 式 

FC ay 929° ,TX) SH 
和 

SC) 9X2 9°°* Xn) SO 
是 线性 不 等 式 。 我 们 使 用 一 般 的 词语 线性 约束 来 表示 线性 等 式 或 线性 不 等 式 。 在 线性 规划 中 ， 不 
人 允许 严格 的 不 等 式 ” 。 形 式 化 地 描述 如 下 : 一 个 线性 规划 问题 是 一 个 线性 函数 最 小 化 或 最 大 化 的 
问题 ， 该 线性 函数 服从 一 组 有 限 个 线性 约束 。 如 果 我 们 要 最 小 化 ， 则 称 此 线性 规划 为 最 小 化 线性 
规划 ; 如 果 我 们 要 最 大 化 ， 则 称 此 线性 规划 为 最 大 化 线性 规划 。 

本 章 的 剩余 部 分 将 介绍 线性 规划 的 形式 化 和 求解 。 虽 然 已 有 一 些 线性 规划 的 多 项 式 时 间 算 
法 ,但 在 本 章 中 我 们 并 不 研究 它们 。 取 而 代 之 ,我 们 将 研究 单纯 形 算法 ， 它 是 最 古老 的 线性 规划 
算法 。 单 纯 形 算法 的 最 坏 情况 运行 时 间 不 是 多 项 式 阶 的 ， 但 是 它 在 实际 应 用 中 相当 高 效 ， 因 此 得 
到 广泛 应 用 。 


日 ” 意 即 约束 条 件 都 包含 等 号 。 一 一 译 者 注 
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线性 规划 综述 

为 了 描述 线性 规划 的 性 质 和 算法 ， 我 们 发 现 使 用 规范 形式 来 表示 它们 是 很 方便 的 。 在 本 章 
中 ， 我 们 使 用 两 种 形式 : 标准 和 松弛 。29. 1 节 将 给 出 它们 的 精确 定义 。 非 正式 地 ， 在 标准 型 中 
的 线性 规划 是 满足 线性 不 等 式 约束 的 一 个 线性 函数 的 最 大 化 ， 而 松弛 类 型 的 线性 规划 是 满足 线 
性 等 式 约束 的 线性 函数 的 最 大 化 。 我 们 通常 使 用 标准 型 来 表示 线性 规划 ， 但 当 描 述 单纯 形 算法 
的 细节 时 ， 使 用 松弛 形式 会 比较 方便 。 从 现在 开始 ， 我 们 将 注意 力 放 在 满足 一 组 具有 m 个 线性 
不 等 式 约束 的 具有 n 个 变量 的 线性 函数 的 最 大 化 上 。 


首先 考虑 下 面具 有 两 个 变量 的 线性 规划 : 
最 大 化 a in (29.11) 
满足 约束 
da -8 (29. 12) 
2x, + 2% S. 10 (29. 13) 
Bay. =: 2 2 (29. 14) 
Xs Xe = 40 (29. 15) 


我 们 称 所 有 满足 约束 式 (29. 12) ~ (29. 15) 的 变量 x, 和 之 的 取 值 为 线性 规划 的 一 个 可 行 解 。 如 果 

我 们 在 (zx ，z) 笛 卡 儿 坐 标 系统 中 画 出 这 些 约束 ， 如 图 29-2(a) 所 示 ， 我 们 可 以 看 到 可 行 解 的 集 [846 
合 ( 图 形 中 是 阴影 部 分 ) 在 二 维 空间 中 构成 一 个 凸 区 域 ?。 这 个 凸 形 区 域 称 为 可 行 区 域 ， 希望 最 大 

化 的 函数 称 为 目标 函数 。 概 念 上 ， 我 们 可 在 可 行 区 域内 每 个 点 上 对 目标 函数 zi 十 x 求 值 ; 我 们 

将 目标 函数 在 一 个 特定 点 上 的 值 称 为 目标 值 。 接 下 来 ， 我 们 可 以 找 出 一 个 有 最 大 目标 值 的 点 作 

为 最 优 解 。 在 这 个 例子 中 (以 及 大 多 数 线性 规划 中 )， 可 行 区 城 包 含 无 限 数 目的 点 ， 所 以 我 们 希望 

找 出 一 个 高 效 的 方式 来 找到 一 个 取 最 大 目标 值 的 点 ， 而 无 需 在 可 行 区 域 的 每 个 点 上 对 目标 函数 
求 值 。 





图 29-2 〈a) 式 (29. 12) 一 (29. 15) 给 出 的 线性 规划 。 每 个 约束 以 一 条 直线 和 一 个 方向 来 表 
示 ， 约 束 的 交集 ( 即 可 行 区 域 ) 以 阴影 表示 。(b) 虚 线 分 别 表示 目标 值 为 0、4 和 
8 的 点 。 线 性 规划 的 最 优 解 是 zi 一 2，zz 一 6， 目 标 值 为 8 


在 二 维 中 ， 我 们 可 以 通过 一 个 图 形 化 的 步 又 来 求 最 优 解 。 对 任意 给 定 的 z，zi 十 zx 二 z 上 点 
的 集合 是 斜率 为 一 1 的 一 条 直线 。 如 果 画 出 zi 十 zx 二 0， 则 得 到 通过 原点 的 斜率 为 一 1 的 直线 ， 
如 图 29-2(b) 所 示 。 这 条 直线 和 可 行 区 域 的 交集 是 一 个 目标 值 为 0 的 可 行 解 的 集合 。 在 这 种 情形 
下 ， 此 直线 和 此 可 行 解 的 交集 是 单 点 (0，0) 。 更 一 般 地 ， 对 任意 的 x>， 直 线 zi 十 zs 二 z 与 可 行 区 


日 一 个 凸 区 域 的 直观 解释 是 ， 该 区 域 的 任意 两 点 之 间 连 一 条 线段 ， 线 段 上 的 点 也 全 在 该 区 域 中 。 
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域 的 交集 是 目标 值 为 z 的 可 行 解 的 集合 。 图 29-2(b) 表 示 了 直线 Zi 十 zz 一 0，2Zi 十 了 一 4 和 a, + 
Zs 二 8。 因 为 在 图 29-2 中 可 行 区 域 是 有 界 的 ， 所 以 必定 存在 某 个 最 大 值 >， 使 得 直线 x tx =z 
和 可 行 区 域 的 交集 非 空 。 任 何 让 此 情况 出 现 的 点 都 是 线性 规划 的 一 个 最 优 解 ， 在 本 例 中 ， 最 优 解 
是 z= 二 2 和 xz, 一 6， 目标 值 是 8。 
线性 规划 的 最 优 解 出 现在 可 行 区 域 的 一 个 顶点 上 并 不 是 偶然 的 。 直 线 x tan =z 与 可 行 区 域 
相交 的 = 的 最 大 值 必 在 可 行 区 域 的 边界 上 ， 因 此 ， 这 条 直线 与 可 行 区 域 的 边界 的 交集 要 么 是 一 个 
单独 顶点 ， 要 么 是 一 条 线段 。 如 果 交 集 是 一 个 单独 顶点 ， 那 么 只 有 一 个 最 优 解 ， 就 是 该 项 点。 如 
果 交 集 是 一 条 线段 ， 那 么 此 线段 上 的 每 一 点 必 有 相同 的 目标 值 ; 特别 地 ， 此 线段 的 两 个 端点 都 是 
最 优 解 。 因 为 线段 的 每 个 端点 都 是 一 个 顶点 ， 所 以 此 情况 下 最 优 解 也 在 一 个 顶点 上 。 
虽然 不 容易 用 图 形 表示 超过 两 个 变量 的 线性 规划 ,但 是 同样 的 直觉 仍然 成 立 。 如 果 有 三 个 
变量 ， 则 每 个 约束 对 应 于 三 维 空间 的 一 个 半空 间 。 这 些 半 空间 的 交集 形成 可 行 区 域 。 目 标 函 数 取 
目标 值 z 的 点 集合 现在 是 一 个 平面 (假设 没有 非 退 化 的 情形 出 现 )。 如 果 目 标 函 数 的 系数 都 是 非 负 
的 ， 而 且 如 果 原 点 是 线性 规划 的 一 个 可 行 解 ， 那 么 当 把 这 个 平面 沿 目 标 函 数 的 垂直 方向 移 开 原 
点 时 ， 我 们 就 找到 一 系列 的 点 ， 其 目标 值 是 递增 的 (如 果 原 点 不 是 可 行 解 ， 或 者 目标 函数 的 某 些 
系数 是 负 的 ， 则 直观 图 形 会 变 得 稍微 复杂 些 )。 如 同 在 二 维 空间 一 样 ， 因 为 可 行 区 域 是 凸 的 ， 取 
得 最 优 目 标 值 的 点 集合 必然 包含 可 行 区 域 的 一 个 项 点。 类 似 地 ， 如 果 有 ?个 变量 ， 每 个 约束 定义 
T 维 空间 中 的 一 个 半空 间 。 我 们 称 这 些 半 空间 的 交集 形成 的 可 行 区 域 为 单纯 形 。 目 标 函 数 现在 
是 一 个 超 平面 ， 并 且 因 为 它 的 凸 性 ， 一 个 最 优 解 仍 在 单纯 形 的 一 个 顶点 上 取得 。 
单纯 形 算法 以 一 个 线性 规划 作为 输入 ， 输 出 一 个 最 优 解 。 它 从 单纯 形 的 某 个 顶点 开始 ， 执 行 
顺序 迭代 。 在 每 次 迭代 中 ， 它 沿 着 单纯 形 的 一 条 边 从 当前 顶点 移动 到 一 个 目标 值 不 小 于 (通常 是 
大 于 ) 当 前 顶点 的 相 邻 顶点 。 当 达到 一 个 局 部 的 最 大 值 ， 即 存在 一 个 项 点， 所 有 相 邻 顶点 的 目标 
值 都 小 于 该 顶点 的 目标 值 ， 单 纯 形 算法 终止 。 因 为 可 行 区 域 是 凸 的 ， 且 目标 函数 是 线性 的 ， 所 以 
该 局 部 最 优 实际 上 是 全 局 最 优 的 。 在 29. 4 节 中 ,我 们 将 使 用 “对 偶 ” 的 概念 来 说 明 单纯 形 算法 输 
出 解 确实 是 最 优 的 。 
尽管 几何 的 视角 给 出 了 单纯 形 算法 操作 过 程 的 一 个 很 好 的 直观 解释 ,但 在 29. 3 TPIS PR 
单纯 形 算法 的 细节 时 ,我们 将 不 会 再 直接 谈 到 几何 的 视角 。 取 而 代 之 ， 我们 采用 一 种 代数 的 视 
角 。 首 先 将 给 定 的 线性 规划 写成 松弛 形式 ， 即 线性 等 式 的 集合 。 这 些 线性 等 式 通过 其 他 称 为 “ 非 
基本 变量 ”的 变量 来 表示 某 些 称 为 “基本 变量 ”的 变量 。 我 们 从 一 个 顶点 移动 到 另 一 个 项 点， 伴随 
着 将 一 个 基本 变量 变 为 非 基本 变量 ， 以 及 将 一 个 非 基本 变量 变 为 基本 变量 。 我 们 称 这 个 操作 为 
一 个 “ 主 元 ”， 且 从 代数 的 角度 ， 它 只 不 过 是 将 线性 规划 重 写成 等 价 的 松弛 型 。 
上 述 的 双 变 量 的 例子 是 非常 简单 的 。 我 们 将 在 本 章 中 讨论 几 个 更 详细 的 例子 。 这 些 议题 包 
括 识别 无 解 的 线性 规划 、 无 有 限 最 优 解 的 线性 规划 ， 以 及 原点 不 是 可 行 解 的 线性 规划 。 
线性 规划 的 应 用 
线性 规划 有 大 量 的 应 用 。 任 何 一 本 运筹 学 的 教科 书 上 都 充满 了 线性 规划 的 例子 ， 且 现在 大 
多 数 商 学 院 都 将 线性 规划 作为 一 种 标准 工具 讲授 给 学 生 ， 前 面 的 选举 场景 是 一 个 典型 的 例子 。 
下 面 是 其 他 两 个 线性 规划 的 例子 : 
。 一 家 航空 公司 希望 调度 它 的 飞行 机 组 人 员 。 美 国联 邦 航 空 委员 会 提出 了 许多 限制 ， 例 如 
每 个 机 组 成 员 可 以 连续 工作 的 小 时 数 ， 以 及 要 求 一 个 特定 机 组 在 每 个 月 内 只 能 在 一 种 机 
型 上 工作 。 这 家 航空 公司 想 要 在 其 所 有 航班 上 安排 机 组 人 员 ， 并 尽 可 能 少 地 使 用 机 组 
人 员 。 
。 一 家 石油 公司 想 要 确定 在 何 处 钻井 采油 。 在 一 个 特定 位 置 钻井 有 相应 的 费用 ， 且 根据 地 
质 勘探 结果 还 可 以 知道 可 供 开采 的 石油 的 桶 数 。 这 家 公司 用 来 布置 新 油井 的 预算 有 限 ， 
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并 且 希 望 在 这 个 预算 下 ， 让 回报 的 石油 量 最 大 。 

我 们 也 使 用 线性 规划 来 建 模 与 求解 图 与 组 合 问题 ， 如 本 书 中 出 现 的 那些 问题 。 在 24. 4 节 中 ， 
我 们 已 经 看 到 一 个 用 来 求解 差分 约束 系统 的 线性 规划 的 特殊 例子 。29. 2 节 将 研究 如 何 将 一 些 图 
和 网 络 流 问 题 形式 化 为 线性 规划 问题 。35. 4 节 将 利用 线性 规划 作为 一 种 工具 ， 来 找 出 另 一 个 图 
问题 的 一 个 近似 解 。 

线性 规划 算法 

本 章 研究 单纯 形 算法 。 当 此 算法 被 精心 实现 时 ， 在 实际 中 通常 能 够 快速 地 解决 一 般 的 线性 
规划 问题 。 然 而 对 于 某 些 刻意 仔细 设计 的 输入 ， 单 纯 形 算法 会 需要 指数 时 间 。 线 性 规划 的 第 一 个 
多 项 式 时 间 算 法 是 椭 球 算法 ， 它 在 实际 中 运行 缓慢 。 第 二 类 多 项 式 时间 的 算法 称 为 内 点 法 。 与 单 
纯 形 算法 ( 即 沿 着 可 行 区 域 的 外 部 移动 ， 并 在 每 次 迭代 中 维护 一 个 对 应 单纯 形 项 点 的 可 行 解 ) 相 
比 ， 这 类 算法 在 可 行 区 域 的 内 部 移动 。 中 间 阶 段 的 解 尽管 是 可 行 的 ， 但 未 必 是 单纯 形 的 顶点 ， 但 
最 终 的 解 是 一 个 项 点。 对 于 大 规模 的 输入 ， 内 点 算法 的 性 能 可 与 单纯 形 算法 相当 ， 有 时 甚至 会 更 
快 。 本 章 注 记 会 给 出 更 多 关于 这 些 算法 的 信息 。 

如 果 我 们 在 一 个 线性 规划 中 加 入 额外 的 要 求 ， 所 有 的 变量 都 取 整 数值 ， 那 么 就 得 到 了 一 个 
整数 线性 规划 。 练 习 34. 5-3 要 求证 明 ， 仅 找 出 此 问题 的 一 个 可 行 解 就 是 NP 难 的 ; 因为 还 没有 已 
知 的 多 项 式 时 间 算 法 能 解 任意 一 个 NP 难 的 问题 ， 于 是 还 没有 已 知 的 整数 线性 规划 的 多 项 式 时 间 
算法 。 相 比 而 言 ， 我 们 可 以 在 多 项 式 时 间 内 求解 一 般 的 线性 规划 问题 。 

在 本 章 中 ， 如 果 有 一 个 线性 规划 ， 其 变量 为 z= 二 (zl ，zs，…，x,)， 而 且 希 望 引用 这 些 变 量 
KNR E, RIKERS T=, T, e, Tp) 


29.1 标准 型 和 松弛 型 

本 节 描 述 两 种 我 们 在 描述 和 使 用 线性 规划 时 有 用 的 形式 : 标准 型 和 松弛 型 。 在 标准 型 中 ， 所 
有 的 约束 都 是 不 等 式 ， 而 在 松弛 型 中 ， 约 束 都 是 等 式 ( 除 非 要 求 变量 非 负 的 约束 ) 。 

标准 型 

在 标准 型 中 ， 我 们 已 知 ?个 实数 cl Cos eens MPR» bzs bns UR mn 个 实数 a;， 
其 中 i=1, 2, °, Mm, j=l, 2，…， No 我 们 希望 找到 n PRA zi ， Tzs ”ny 


最 大 化 Dox; (29. 16) 
满足 约束 条 件 : 7 
Pani< eh A (29. 17) 
í x0, j=1,2, n (29. 18) 


推广 我 们 为 两 个 变量 的 线性 规划 引入 的 术语 ， 我 们 称 表达 式 (29. 16) 为 目标 函数 ， 式 (29. 17) 
和 式 (29. 18) 中 的 ntm 个 不 等 式 为 约束 。 式 (29. 18) 中 的 n 个 约束 称 为 非 负 约 束 。 一 个 任意 的 线 
性 规划 不 必 有 非 负 约束 ， 但 是 标准 型 需要 。 有 时 我 们 发 现 将 一 个 线性 规划 表示 为 一 个 更 紧凑 的 
形式 会 很 方便 。 如 果 构 造 一 个 mXn 和 矩阵 A==(a;)， —h m EMA O=(,), 一 个 nn 维 向 量 c<= 
(c)， 以 及 一 个 n 维 向 量 z==(zx;)， 那 么 可 以 重 写 式 (29. 16)~(29. 18) 中 定义 的 线性 规划 为 


最 大 化 cz (29. 19) 
满足 约束 

Arb (29. 20) 

z= 0 (29. 21) 


在 式 (29. 19)", cha FEDS Te HE AA A. ESR (29. 20) h, Ax 是 一 个 矩阵 向 量 乘 积 ， 而 在 式 
(29.2), 220 表示 向 量 z 的 每 个 条 目 必须 是 非 负 的 。 我 们 看 到 ， 可 以 用 一 个 元 组 (A，65，c) 
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来 表示 一 个 标准 型 的 线性 规划 ， 而 且 默认 A、5 和 c 总 是 有 上 面 的 维 数 约定 。 

我 们 现在 介绍 描述 线性 规划 解 的 术语 。 其 中 有 些 名 词 在 先前 双 变 量 的 例子 中 已 经 使 用 过 。 
若 变量 的 一 个 设置 却 满 足 所 有 约束 条 件 ， 则 称 之 为 一 个 可 行 解 ， 而 不 满足 至 少 一 个 约束 条 件 的 
变量 设置 工 称 为 一 个 不 可 行 解 。 我 们 称 一 个 解 么 拥有 目标 值 c" 壹 。 在 所 有 可 行 解 中 ， 目 标 值 最 大 
的 一 个 可 行 解 是 一 个 最 优 解 ， 且 我 们 称 其 目标 值 cz 为 最 优 目标 值 。 如 果 一 个 线性 规划 没有 可 行 
解 ， 则 称 此 线性 规划 为 不 可 行 的 ;否则 称 它 是 可 行 的 。 如 果 一 个 线性 规划 有 一 些 可 行 解 但 没有 有 
限 的 最 优 目标 值 ， 则 称 此 线性 规划 是 无 界 的 。 练 习 29. 1-9 要 求 说 明 即 使 可 行 区 域 无 界 ， 线 性 规 
划 仍 可 以 存在 一 个 有 限 的 最 优 目标 值 。 

转换 线性 规划 为 标准 型 

已 知 一 个 线性 函数 满足 若干 线性 约束 ， 要 求 最 小 化 或 最 大 化 它 ， 我 们 总 可 以 将 这 个 线性 规 
划 转 换 成 标准 型 。 一 个 线性 规划 可 能 由 于 如 下 4 个 原因 之 一 而 不 是 标准 型 : 

1. 目标 函数 可 能 是 最 小 化 ， 而 不 是 最 大 化 。 

2. 可 能 有 变量 不 具有 非 负 约束 。 

3. 可 能 有 等 式 约束 ， 即 有 一 个 等 号 而 不 是 一 个 小 于 等 于 号 。 

4. 可 能 有 不 等 式 约束 ,但 不 是 小 于 等 于 号 ， 而 是 一 个 大 于 等 于 号 。 

当 把 一 个 线性 规划 工 转换 为 另 一 个 线性 规划 L' 时 ， 我 们 希望 从 工 的 一 个 最 优 解 能 推出 工 的 
一 个 最 优 解 。 为 了 准确 表达 这 个 想法 ， 我 们 定义 线性 规划 等 价 的 概念 : 对 两 个 最 大 化 线性 规划 二 
FIL’, WRX L 每 个 目标 值 为 z 的 可 行 解 坪 ,都 存在 一 个 对 应 的 的 目标 值 为 z 的 可 行 解 工 ， 
且 对 LL' 每 个 目标 值 为 x 的 可 行 解 z'， 都 存在 一 个 对 应 的 工 的 目标 值 为 z 的 可 行 解 z'， 则 称 工 和 
工 ' 是 等 价 的 。( 这 个 定义 并 不 意味 着 可 行 解 之 间 的 一 一 对 应 关系 。) 此 外 ， 对 一 个 最 小 化 线性 规划 
L 和 一 个 最 大 化 线性 规划 L'， 如 果 对 于 工 的 每 个 目标 值 为 z 的 可 行 解 瑟 ， 存 在 一 个 相应 的 的 目 
标 值 为 一 z 的 可 行 解 '， 而 且 对 于 工 ' 的 每 个 目标 值 为 = 的 可 行 解 ， 存 在 一 个 相应 的 的 目标 
值 为 一 = HATZ’. WEK L AL SOA. 

现在 我 们 来 说 明 如 何 逐 一 消除 上 面 列 出 的 每 个 可 能 问题 。 在 消除 每 个 问题 之 后 ， 我 们 将 表 
明 新 的 线性 规划 和 原来 是 等 价 的 。 

为 将 一 个 最 小 化 线性 规划 L 转换 成 一 个 等 价 的 最 大 化 线性 规划 L'， 只 需 对 目标 函数 中 的 系 
数 取 负 即 可 。 因 为 L 和 L' 有 相同 的 可 行 解 集合 ， 且 对 任意 的 可 行 解 ,，L 的 目标 值 是 L' 的 目标 值 
的 负数 ， 于 是 这 两 个 线性 规划 是 等 价 的 。 例 如 ， 如 果 我 们 有 线性 规划 


最 小 化 — 2x, +32, 
满足 约束 
H T r = 
ay CE Do ee A 
Xi = © 
我 们 将 目标 函数 的 系数 取 负 ， 得 到 
最 大 化 22, — 322 
满足 约束 Si a SE 
Qo = 227 = 4 
Tı 10 


接 下 来 ， 我 们 说 明 如 何 将 某 些 变量 不 具有 非 负 约 束 的 线性 规划 转换 成 每 个 变量 都 有 非 负 约 
束 的 线性 规划 。 假 设 某 个 变量 z; 不 具有 非 负 约束 。 那 么 把 x, 每 次 出 现 的 地 方 都 以 zi 一 zy 来 替 
换 ， 并 增加 非 负 约束 250 和 xz 过 0。 因 此 ， 如 果 目 标 函 数 有 一 个 项 为 zj， 将 其 替换 为 cz ;一 
cx;， 而 且 如 果 约 束 i 有 一 个 项 为 a;zx;， 则 将 其 替代 为 ajz ; 一 ajz”。 新 的 线性 规划 的 任意 可 行 


第 29 章 线性 规划 - 501 


解 人 对 应 于 原来 线性 规划 的 一 个 可 行 解 工 ， 其 中 瑟 一 人 部 一 全 ， 而 且 具 有 相同 的 目标 值 。 同 样 ， 原 
来 线性 规划 的 一 个 可 行 解 亏 对 应 于 新 的 线性 规划 的 可 行 解 二 ， 其 中 ， 若 元 过 0， 则 全 ) 一 五 A 
25 =0; MAB Z<0, W2'=—z, 且 人 二 0。 不 管 亏 的 符号 如 何 ， 这 两 个 线性 规划 具有 相同 的 
目标 值 。 因 此 ， 这 两 个 线性 规划 是 等 价 的 。 我 们 把 这 个 转换 方案 应 用 到 每 一 个 不 具有 非 负 约束 的 
变量 上 ,得 出 一 个 等 价 的 线性 规划 ， 其 中 所 有 的 变量 都 具有 非 负 约束 。 

继续 这 个 例子 ， 我 们 想 确认 每 个 变量 都 有 一 个 对 应 的 非 负 约束 。 变 量 x; 具有 这 样 的 非 负 约 
R, 但 变量 r 没有 。 因 此 ， 我 们 用 两 个 变量 x 和 z 来 代替 x, ， 并 且 修 改线 性 规划 为 


最 大 化 2x, — 3x, +322 
满足 约束 
n 十 zx 一 za = 7 
zi 一 2z} + 2zi 扫 4 (29. 22) 
Zis Loo T3 = 0 


接 下 来 ,我 们 将 等 式 约束 转换 为 不 等 式 约束 。 假 设 一 个 线性 规划 有 一 个 等 式 约束 f, 
Lrs s L,) =b, AH KHAK >y 和 zx 三 y 时 z= 二 y， 所 以 可 以 用 一 对 不 等 式 约束 f(x, 
Zz ，…，Z) 之 b 和 f(zy，zs，…，Zz,) 之 b 来 替换 这 个 等 式 约束 。 对 每 个 等 式 约束 重复 这 个 替换 ， 
于 是 推出 全 是 不 等 式 约束 的 一 个 线性 规划 。 
最 后 ,我 们 可 以 通过 将 大 于 等 于 的 约束 乘 以 一 1， 把 大 于 等 于 约束 转换 成 小 于 等 于 约束 。 也 [853 
就 是 说 ， 任 何 形 如 


的 不 等 式 等 价 于 
3 ~ Bij X; <— 4 


Ht, a 替换 每 个 系数 ， 一 和 BBS, RAVER — PEF BE IE 
结束 我 们 的 例子 ， 通 过 用 两 个 不 等 式 替 换 约 束 式 (29. 22) 中 的 等 式 ， 得 到 


最 大 化 2x, — 3z, +323 
满足 约束 a 十 xz; 一 23 <7 
1 ake ” 
BE Ee Re ee OF (29. 23) 
d- = 22, + 22. 4 
Tio’ T3» x > 0 


最 后 ， 我 们 对 约束 式 (29. 23) 取 负 。 为 了 保持 变量 名 的 一 致 性 ， 我 们 将 r: 更 名 为 r, r, 更 名 为 
3， 于 是 就 得 到 标准 型 


最 大 化 2x, — 32, +325 (29. 24) 
满足 约束 
< (29. 25) 
i SS (29. 26) 
ay = 295-4 2a: od (29. 27) 
Zis Xs» T3 = (29. 28) 
转换 线性 规划 为 松弛 型 


为 了 利用 单纯 形 算法 高 效 地 求解 线性 规划 ， 我 们 更 喜欢 将 其 表示 成 某 些 约束 是 等 式 约束 的 
形式 。 更 准确 地 说 ， 我 们 将 把 它 转换 成 只 有 非 负 约束 是 不 等 式 约 束 ， 而 其 他 约束 都 是 等 式 约 束 的 
形式 。 设 
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Sane (29. 29) 

是 一 个 不 等 式 约束 。 我 们 引入 一 个 新 的 变量 并 重 写 不 等 式 (29. 29) 为 两 个 约束 
s= b,— Dayz, (29. 30) 
s>0 和 (29. 31) 


我 们 称 * 是 一 个 松弛 变量 ， 因 为 它 度 量 了 等 式 (29. 29) 左 右 之 间 的 松弛 或 差别 。 

(我 们 将 马上 看 到 为 什么 将 此 松弛 变量 写 在 约束 等 式 的 左边 很 方便 。) 因 为 不 等 式 (29. 29) 为 真 
当 且 仅 当 等 式 (29. 30) 为 真 和 不 等 式 (29. 31) 皆 为 真 ， 我们 可 以 对 线性 规划 的 每 个 不 等 式 约束 进行 
这 样 的 转换 ， 得 到 一 个 等 价 的 线性 规划 ， 其 中 只 有 非 负 约 束 是 不 等 式 。 当 从 标准 型 转换 到 松弛 型 
时 ， 我 们 将 使 用 cm: MRE ?表示 与 第 i 个 不 等 式 相 关 的 松弛 变量 。 因 此 ， 第 i 个 约束 是 


Imi = bi — Dayz: (29. 32) 


j=) 


以 及 非 负 约束 24120. 
通过 转换 一 个 标准 型 线性 规划 的 每 个 约束 ， 我 们 得 到 一 个 不 同形 式 的 线性 规划 。 例 如 ， 对 式 
(29. 24) 一 (29. 28) 中 描述 的 线性 规划 ， 我 们 引入 松弛 变量 x: xs 和 xs， 于 是 得 到 


最 大 化 22, —322 +32, (29. 33) 
满足 约束 

t= = 十 a (29. 34) 

二 (29. 35) 

x = é = ga + 2g — 23 (29. 36) 

Zs Les Lys Las Tso Xe == 0 (29. 37) 


在 这 个 线性 规划 中 ， 除 了 非 负 约束 外 ， 所 有 约束 都 是 等 式 ， 而 且 每 个 变量 都 满足 非 负 约束 。 
我 们 把 每 个 等 式 约束 写 成 一 个 变量 在 等 式 左边 ， 其 余 所 有 变量 在 等 式 右 边 。 而 且 每 个 等 式 右边 
都 有 相同 的 变量 集合 ， 且 这 些 变量 也 是 出 现在 目标 函数 中 仅 有 的 变量 。 我 们 称 等 式 左边 的 变量 
为 基本 变量 ， 而 等 式 右边 的 变量 为 非 基 本 变量 。 

对 于 满足 这 些 条 件 的 线性 规划 ， 我 们 有 时 会 省 略 词语 “最 大 化 ”和 “满足 约束 ”， 以 及 明显 的 非 
负 约 束 要 求 。 我 们 也 会 使 用 变量 z 来 表示 目标 函数 值 。 我 们 称 这 样 的 导出 形式 为 松弛 型 。 如 果 把 
式 (29. 33) ~ (29. 37) 中 的 线性 规划 表示 成 松弛 型 ， 将 得 到 


z = 2a, = Sx, F Sx (29. 38) 
GS T = ap = 2 TF wae (29. 39) 
we SS SR oa SE ep = (29. 40) 
a SS SE SE MR Se (29. 41) 


如 标准 型 一 样 ， 我 们 发 现 使 用 更 简洁 的 记号 来 描述 一 个 松弛 型 会 很 方便 。 如 我 们 将 在 29. 3 
节 看 到 的 那样 ， 当 单纯 形 算法 运行 时 ， 基 本 变量 和 非 基本 变量 集合 将 发 生 改 变 。 我 们 用 NN 来 表 
示 非 基本 变量 下 标的 集合 , 用 B 来 表示 基本 变量 下 标的 集合 。 我 们 总 有 | N| =n, |Bl=m, VA 
及 NUB=(1，2，…，7? 十 mm}。 等 式 将 被 B 的 元 素 索 引 ， 等 式 右 边 的 变量 将 被 N 的 元 素 索引 。 
和 标准 型 一 样 ， 我 们 用 bn c 和 a 表示 常数 项 和 系数 。 我 们 还 使 用 wv 来 表示 目标 函数 的 一 个 可 
选 常数 项 。( 稍 后 我 们 可 以 看 到 ， 包 含 此 常数 项 的 目标 函数 将 会 更 容易 确定 其 值 .) 因 此 ， 我 们 可 
以 简洁 地 定义 一 个 松弛 型 ， 用 一 个 元 组 LN，B，A，65，c，v) 来 表示 松弛 型 


z=ut ei; (29. 42) 
JEN 


z= b — Dajz; JEB (29. 43) 
JEN 
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其 中 所 有 的 变量 z 都 是 非 负 的 。 因 为 在 式 (29. 43) 中 减 去 和 式 2 ayz; ， 实 际 上 这 里 的 a; 是 “出 


现在 松弛 型 中 系数 的 负 值 。 
例如 ， 在 松弛 型 
z 一 2g— 22 — 4s _ 2 
Roe ae 


a= 18-23 + 


2 2 
H, 我 们 有 B={1, 2, 4}, N=({3, 5, 6}, 











a3 ds arg —= 1/6 =1/6 1/3 b; 8 
A= |an as azx|= 8/3 273:- = I/33 b= |b |=| 4 
An Us au 1/2 —1/2 0 b, 18 


c= (cy cs ce)T 一 (一 1/6 一 1/6 一 2/3)7， 以 及 v=28. TER, A, b 和 c 的 下 标 值 不 必 是 连续 整数 的 
合 ; 它们 依赖 于 索引 集合 B 和 六。 作为 一 个 例子 ，A 中 的 元 素 是 出 现在 松弛 型 中 系数 的 负 值 ， 


观察 到 2, 的 等 式 中 包含 项 ms/6， 而 系数 cs 实际 上 是 一 1/6， 而 不 是 十 1/6。 
练习 


29.1-1 如 果 将 式 (29. 24) 一 (29. 28) 中 的 线性 规划 表示 成 式 (29. 19) 一 (29. 21) 中 的 紧凑 记号 形 


st, Wn, m, Ay b 和 < 分 别 是 什么 ? 
29.1-2 请 给 出 式 (29. 24) 一 (29. 28) 中 线性 规划 的 三 个 可 行 解 。 每 个 解 的 目标 值 是 什么 ? 
29.1-3 在 式 (29. 38) 一 (29.41) 的 松弛 型 中 ，N、B、A、b、c 和 w 是 什么 ? 
29.1-4 将 下 面 线 性 规划 转换 成 标准 型 : 


最 小 化 2z, +72, +23 
满足 约束 
Xl A SSS i 
32 F x = 24 
Zz = 0 
x = 0 
29.1-5 将 下 面 线性 规划 转换 成 松弛 型 : 
最 大 化 22x, — 623 
满足 约束 
a = 2S aa = 7 
Sap =e = 8 
=a; F 22 a 825-0 
Tis Tzs T3 = 0 
其 中 基本 变量 和 非 基 本 变量 是 什么 ? 
29.1-6 ”说明 下 面 线性 规划 是 不 可 解 的 : 
最 大 化 324 — 22; 
满足 约束 
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2 0 
Tis Xz 之 0 
29.1-7 说 明 下 面 线性 规划 是 无 界 的 : 
最 大 化 Tı — Te 
满足 约束 

=i e g m 
=y OS a eS a2 
E E = 0 


29.1-8 ”假设 有 一 个 nn 个 变量 和 xm 个 约束 的 一 般 线 性 规划 ， 并 且 假 设 将 其 转换 成 标准 型 。 请 给 
出 所 得 线性 规划 中 变量 和 约束 数目 的 一 个 上 界 。 


[858] 29.1-9 请 给 出 一 个 线性 规划 的 例子 ， 其 中 可 行 区 域 是 无 界 的 ， 但 最 优 目标 值 是 有 界 的 。 


29.2 将 问题 表达 为 线性 规划 


尽管 本 章 中 我 们 将 把 重点 放 在 单纯 形 算法 上 ， 但 是 识别 出 一 个 问题 是 否 可 以 形式 化 为 一 个 
线性 规划 也 很 重要 。 一 旦 把 一 个 问题 形式 化 成 一 个 多 项 式 规 模 的 线性 规划 ， 就 可 以 用 椭 球 算法 
或 内 点 法 在 多 项 式 时 间 内 解决 之 。 很 多 线性 规划 的 软件 包 可 以 高 效 地 解决 问题 ， 于 是 一 旦 问题 
被 表示 成 一 个 线性 规划 后 ， 这 样 的 一 种 软件 包 就 可 以 求解 之 。 

我 们 将 会 看 到 一 些 具体 的 线性 规划 问题 的 实例 。 首 先 从 前 面 已 经 研究 过 的 两 个 问题 开始 : 
单 源 最 短路 径 问题 (参见 第 24 章 ) 和 最 大 流 问 题 (参见 第 26 章 )。 然 后 ， 我 们 再 描述 最 小 费用 流 问 
题 。 尽 管 最 小 费用 流 问题 存在 一 个 不 基于 线性 规划 的 多 项 式 时 间 算 法 ， 但 我 们 将 不 讨论 此 算法 。 
最 后 ， 我 们 要 介绍 多 商品 流 问 题 ， 目 前 唯一 已 知 的 多 项 式 时 间 算 法 是 基于 线性 规划 的 。 

在 第 6 部 分 解决 图 问题 时 ,我们 使 用 了 属性 记号 ， 比 如 wv.d Al(u, v). f。 然 而 线性 规划 通常 
使 用 下 标 变量 ， 而 不 是 具有 附加 属性 的 对 象 。 因 此 ， 当 需要 表示 线性 规划 中 的 变量 时 ， 我 们 将 通 
过 下 标 来 表示 顶点 和 边 。 例 如 ， 我 们 表示 顶点 v 的 最 短路 径 的 权重 不 是 用 v. 4， 而 是 用 dro ZW 
地 ， 我 们 表示 顶点 u 到 顶点 v 的 流 不 是 用 (x，z). f， 而 是 用 f,, 。 对 于 问题 的 给 定 输入 数量 ， 比 
如 边 的 权重 或 者 容量 ， 我 们 将 继续 用 wu, VA clu, VRE RRG. 

最 短路 径 

我 们 可 以 把 单 源 最 短路 径 问题 形式 化 为 一 个 线性 规划 。 在 这 一 节 中 ,我 们 将 重点 关注 如 何 
对 单 对 最 短路 径 问 题 形 式 化 ， 把 推广 到 更 一 般 的 单 源 最 短路 径 问 题 留 作 练习 29. 2-3。 

在 单 对 最 短路 径 问题 中 ,已 知 一 个 带 权 有 向 图 G==(V，E)， 加 权 函 数 w: E>R 把 边 映射 到 
实数 权 值 、 一 个 源 顶点 *， 以 及 一 个 目的 顶点 t。 我 们 希望 计算 从 s 到 上 的 一 条 最 短路 径 的 权 值 
d,。 为 了 把 此 问题 表示 成 一 个 线性 规划 ， 需 要 确定 变量 和 约束 的 一 个 集合 来 定义 何 时 有 从 s 到 1 
的 一 条 最 短路 径 。 幸 运 的 是 ，Bellman-Ford 算法 正好 完成 此 事 。 当 Bellman-Ford 算法 终止 时 ， 对 
每 个 顶点 v， 它 已 计算 了 一 个 值 4,( 这 里 使 用 的 是 下 标记 号 ， 而 不 是 属性 记号 )， 使 得 对 每 条 边 
u, VEE, A d, Sd, +wlu, v), WHAREI — NE ,二 0， 之 后 不 会 改变 。 因 此 ， 我 们 
得 到 如 下 的 线性 规划 ， 来 计算 从 s 到 t 的 最 短路 径 权 值 : 

最 大 化 d, (29. 44) 

满足 约束 

djxd,+wu,v) ,uv) EE (29. 45) 
d,=0 (29. 46) 
你 可 能 会 觉得 奇怪 ， 这 个 线性 规划 最 大 化 目标 函数 ， 而 关注 的 是 计算 最 短路 径 。 我 们 并 不 想 最 小 
化 目标 函数 ， 因 为 这 样 的 话 对 所 有 的 EV, RE d, =0 生成 的 此 线性 规划 的 一 个 最 优 解 并 不 是 
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最 短路 径 问 题 的 解 。 我 们 之 所 以 最 大 化 ， 是 因为 最 短路 径 问 题 的 一 个 最 优 解 把 每 一 个 元 设置 成 
min (dy-+w(u, v), WA, 是 小 于 等 于 集合 {3 十 w(u，v)} 中 所 有 值 的 最 大 值 。 对 从 s 到: 的 
一 条 最 短路 径 上 的 所 有 顶点 v， 我 们 希望 最 大 化 4,， 在 所 有 项 点。 上 都 满足 上 述 约 东 条件 ， 并 且 
最 大 化 d, 以 实现 此 目的 。 

这 个 线性 规划 中 有 |V| 个 变量 d,， 对 于 每 个 顶点 vEV 有 一 个 相应 变量 。 另 外 ,还 有 | E| +1 
个 约束 : 每 条 边 上 有 一 个 ， 外 加 源 顶 点 总 有 值 为 0 的 最 短路 径 权 值 为 额外 约束 。 

最 大 流 

接 下 来 ,我们 可 以 把 最 大 流 问题 表示 成 线性 规划 。 回 顾 最 大 流 问题 ,已 知 一 个 有 向 图 G= 
(V，E)， 其 中 每 条 边 (u， 蕊 EE 有 一 个 非 负 的 容量 cu, DSO, VBI MERIT: BLE sA 
汇 点 4。 如 26. 1 节 中 所 定义 的 ， 一 个 流 是 一 个 非 负 的 实数 值 函 数 f: VXV 一 R， 它 满足 容量 限制 和 
流量 守恒 性 。 最 大 流 是 满足 这 些 约束 且 最 大 化 流量 值 的 流 ， 其 中 流量 值 是 从 源 点 流出 的 总 流量 值 
减 去 进入 源 点 的 总 流量 。 因 此 ， 流 满足 线性 约束 并 且 一 个 流 的 值 是 一 个 线性 函数 。 我 们 还 假设 若 
(uy WEE, MY clu, 功 一 0， 且 没有 反 平 行 的 边 ， 因 此 可 以 将 这 个 最 大 流 问题 表示 为 一 个 线性 规划 ， 


最 大 化 f= dhe (29. 47) 
满足 约束 ee N 
fa S cluso) 对 每 个 zwE V (29. 48) 
Dfa = Dfa AAA UE V— is) (29. 49) 
eT ù 对 每 个 zuwE 了 (29. 50) 


这 个 线性 规划 有 |V|: 个 变量 ， 对 应 于 每 一 对 顶点 之 间 的 流 ， 另 外 还 有 21V|?: 十 |V| 一 2 个 约束 。 

通常 求解 一 个 较 小 规模 的 线性 规划 会 更 加 有 效 。 为 了 方便 记号 表示 ， 式 (29.47) 一 (29. 50) 中 
的 线性 规划 隐 含 了 每 对 满足 (u，v) 人 下 的 顶点 对 x、vw 的 容量 0 及 值 为 0 的 流 。 把 这 个 线性 规划 
重 写 为 有 OC(V 十 E) 个 约束 的 表示 会 更 高 效 。 练 习 29. 2-5 要 求 你 做 到 这 一 点 。 

最 小 费用 流 

在 这 一 节 中 ， 我们 使 用 了 线性 规划 来 解决 已 知 存在 高 效 算法 的 问题 。 事 实 上 ， 为 一 个 问题 设 
计 一 个 高 效 的 专用 算法 ， 比 如 用 于 单 源 最 短路 径 问题 的 Dijkstra 算法 ,或 者 用 于 最 大 流 问题 的 推 
送 - 重 贴标签 (push-relabel) 方 法 ， 在 理论 和 实践 中 通常 比 线性 规划 更 加 高 效 。 

线性 规划 的 真正 能 力 来 自 其 求解 新 问题 的 能 力 。 回 顾 在 本 章 开始 政治 家 面临 的 问题 一 一 获 
得 足够 数量 的 选票 ， 而 不 用 花费 太 多 金钱 ， 本 书 之 前 所 介绍 的 任何 算法 都 不 能 解决 此 问题 ， 然 而 
我 们 可 以 用 线性 规划 求解 它 。 很 多 书 中 都 有 大 量 真实 世界 中 可 被 线性 规划 解决 的 问题 的 例子 。 
对 各 种 我 们 可 能 还 不 知道 高 效 算法 的 问题 ， 线 性 规划 也 特别 有 用 。 

例如 ， 考 虑 最 大 流 问题 的 如 下 推广 。 假 设 每 条 边 (x， 了 切除 了 有 容量 c(x， 切 外 ， 还 有 一 个 实 
数值 的 费用 ae(x，z 。 如 同 在 最 大 流 问题 中 一 样 ， 我 们 假设 如 果 (x，z) FE，clu，wv)= 二 0, 并 且 
这 里 没有 反 平 行 边 。 如 果 通 过 边 (x， 了 传送 f, 个 单位 的 流 ， 那 么 产生 了 一 个 费用 alu, v) fave 
同时 还 给 定 了 一 个 流 目标 4。 我 们 希望 从 s 到 :发送 a 个 单位 的 流 ， 同 时 使 得 流 上 发 生 的 总 费用 
Dd) alu, 罗 fs 最小。 这 个 问题 被 称 为 最 小 费用 流 问题 。 


(wwWEE 


图 29-3(a) 显 示 了 最 小 费用 流 的 一 个 例子 。 我 们 希望 从 s 到 z 发 送 4 个 单位 的 流 ， 同 时 产生 最 
小 的 总 费用 。 任 何 特定 的 合法 流 ， 即 一 个 满足 约束 (29. 48) ~ (29. 50) 的 函数 ， 产 生 一 个 总 费用 


Di a (u,v)f。。 我 们 希望 找到 一 个 特殊 的 4 个 单位 的 流 ， 能 够 最 小 化 这 个 费用 。 


(wi EE 


图 29-3(b) 给 出 了 一 个 最 优 解 ， 总 费用 为 
SD alu, fe. = (2° 2)+6 + 2)+8-D4+(7+1) ++ 3) = 27 
E 


(uw 
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图 29-3 (a) 一 个 最 小 费用 流 问题 的 例子 。 我 们 用 c 表示 容量 ,a 表示 费用 。 顶 点 s ERM 
点 ,上 是 汇 点 ， 而 且 我 们 希望 从 发 送 4 个 单位 的 流 到 :。(b) 此 最 小 费用 流 的 一 个 
解 ， 其 中 4 个 单位 的 流 从 ;被 发 送 到 +:。 对 于 每 条 边 ， 流 和 容量 写成 流 / 容 量 的 形式 


目前 有 专门 为 最 小 费用 流 问 题 设计 的 多 项 式 时 间 算 法 ,但 是 它们 已 超出 了 本 书 的 范围 。 不 
过 ,我 们 可 以 把 最 小 费用 流 问题 表示 成 一 个 线性 规划 问题 。 此 线性 规划 问题 看 起 来 和 一 个 最 大 
流 问 题 很 类 似 ， 它 有 额外 的 约束 ( 即 流 值 正好 是 4 个 单位 )， 而 且 还 有 新 的 目标 函数 最 小 化 


费用 : 
最 小 化 Datu fv (29. 51) 
满足 约束 
fa <clusv) ”对 每 个 ww,vEV 
BD =0 对 每 个 EV 一 {s,1) 
/fd 
asd 对 每 个 u,vE€EV (29. 52) 
多 商品 流 


作为 最 后 一 个 例子 ， 我 们 考虑 另外 一 个 流 问 题 。 假 设 26. 1 节 中 的 Lucky Puck 公司 决定 多 样 
化 它 的 生产 线 ， 不 只 生产 冰球 ， 还 生产 球 杆 和 头盔 。 每 件 装备 都 是 在 它 自 己 的 工厂 内 制造 ， 有 自 
己 的 仓库 ， 而 且 每 天 必须 从 工厂 运送 到 仓库 。 球 杆 是 在 温哥华 制造 ， 必 须要 运送 到 萨 斯 卡通 ， 而 
头盔 是 在 埃 德 蒙 顿 制造 ， 必 须要 运送 到 里 贾 那 。 运 输 网 络 的 容量 并 没有 改变 ， 然 而 不 同 的 物品 或 
者 商品 必须 共用 同一 个 网 络 。 

这 个 例子 是 多 商品 流 问 题 的 一 个 实例 。 在 此 问题 中 ， 我们 仍 给 定 一 个 有 向 图 G 二 (V,，E), 其 
) | ”中 每 条 边 (u，v) EE 有 一 个 非 负 的 容量 c(u，) 宇 0。 与 最 大 流 问 题 一 样 ， 我 们 默认 对 (u，v) F 玉 有 
clu，v) 二 0， 男 外 ， 此 图 没有 反 平 行 边 。 此 外 ， 我 们 还 知道 种 不 同 的 商品 Ki, Ko» or, Key JE 
中 用 三 元 组 K; 王 (s;，t，di) 来 详细 说 明 商 品 i。 这 里 ， 顶 点 s; 是 商品 i 的 源 点 ， 顶 点 t 是 商品 i 
的 汇 点 ; di 是 商品 i 的 需求 ， 即 该 商品 从 s Be, 所 需 流量 值 。 我 们 定义 商品 i 的 流 ， 用 fi 表示 
(于 是 fi 是 商品 i 从 顶点 到 顶点 v 的 流 ) 为 一 个 满足 流量 守恒 和 容量 约束 的 实数 值 函 数 。 现 在 


我 们 定义 汇聚 流 所 为 各 种 商品 流 的 总 和 ， 于 是 fe = Di fo. 边 (u，v) 上 的 汇聚 流 不 能 超过 边 


(u，v) 的 容量 。 在 这 个 问题 中 ,我们 不 会 去 最 小 化 任何 目标 函数 ; 只 和 需 确定 是 否 存在 这 样 的 一 个 
流 。 因 此 ， 我 们 写 了 一 个 没有 目标 函数 的 线性 规划 : 

最 小 化 0 

满足 约束 


>) fucus) Heh uVEV 
Sofa oe fa =À 对 每 个 i 二 1,2,…,k 以 及 uw EV— {sst} 
wEV veV 
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Di a ies = d; 对 每 个 i 二 1,2,.…,k 
vV wEV 


Fue Z0 对 每 个 usvEV 以 及 对 每 个 i = 二 1,2,…,k 
这 个 问题 唯一 已 知 的 多 项 式 时 间 算 法 是 将 它 表 示 成 一 个 线性 规划 ， 然 后 用 一 个 多 项 式 时 间 的 线 
性 规划 算法 解决 。 


练习 


29.2-1 请 将 单 对 最 短路 径 线性 规划 从 式 (29. 44) ~ (29. 46) 转 换 成 标准 型 。 

29.2-2 ”请 明确 写 出 求 图 24-2(a) 中 从 结 点 s 到 结 点 y 的 最 短路 径 的 线性 规划 。 

29. 2-3 ”在 单 源 最 短路 径 问题 中 ， 我 们 希望 找 出 从 源 点 s 到 所 有 顶点 vEV 的 最 短路 径 权 值 。 给 
定 一 个 图 G， 请 写 出 一 个 线性 规划 ， 其 解 具有 如 下 性 质 : 对 每 个 顶点 vEV，d. ÆA s 到 
v 的 最 短路 径 权 值 。 

29.2-4 请 明确 写 出 求 图 26-1(a) 中 最 大 流 的 线性 规划 。 

29.2-5 ”请 重 写 最 大 流 式 (29. 47)~(29. 50) 的 线性 规划 ， 使 得 它 只 使 用 OC(V 十 E) 个 约束 。 

29.26 请 写 出 一 个 线性 规划 ， 给 定 一 个 二 部 图 G=(V, E), 求解 最 大 二 分 匹配 问题 。 

29.2-7 ”在 最 小 费用 多 商品 流 问 题 中 ， 给 定 有 向 图 G 二 (V，E)， 其 中 每 条 边 (u，v) EE 有 一 个 非 
负 的 容量 c(x， 了 三 0 和 一 个 费用 a(x，z) 。 与 多 商品 流 问 题 一 样 ， 我 们 已 知 & 种 不 同 的 
商品 Ki， K2, .…, Kes 其 中 用 三 元 组 K;= (sis tis d;) 来 详细 说 明 商 品 On 与 多 商品 流 
问题 一 样 ， 我 们 为 商品 i 定义 流 f;， 在 边 (u，v) 上 定义 汇聚 流 f.,。 一 个 可 行 流 满足 在 
每 条 边 (u，v) 上 汇聚 流 不 超过 边 (u，v) 的 容量 。 一 个 流 的 费用 是 22 (us fus ， 目 标 


是 寻找 具有 最 小 费用 的 可 行 流 。 请 将 这 个 问题 表示 为 一 个 线性 规划 。 


29.3 单纯 形 算法 


单纯 形 算法 是 求解 线性 规划 的 经 典 方法 。 和 本 书 其 他 算法 相 比较 而 言 ， 它 的 执行 时 间 在 最 
坏 的 情况 下 并 不 是 多 项 式 。 然 而 ， 它 确实 使 我 们 对 线性 规划 有 深刻 的 理解 ， 并 且 在 实际 中 此 算法 
通常 相当 快速 。 

除了 本 章 稍 早 描述 的 几何 解释 外 ， 单 纯 形 算法 与 28. 1 节 中 讨论 的 高 斯 消 元 法 有 些 类 似 。 高 
斯 消 元 法 从 一 个 解 未 知 的 线性 等 式 系统 开始 。 在 每 次 迭代 中 ， 我 们 把 这 个 系统 重 写 为 具有 一 些 
额外 结构 的 等 价 形式 。 经 过 一 定 次 数 的 迭代 后 ， 我 们 已 重 写 这 个 系统 ， 使 得 它 的 解 很 容易 得 到 。 
单纯 形 算法 以 一 种 类 似 的 方式 进行 ， 而 且 可 以 将 其 看 成 不 等 式 上 的 高 斯 消 元 法 。 

现在 我 们 描述 隐藏 在 单纯 形 算法 每 轮 迭 代 背 后 的 主要 思想 。 每 轮 和 迭代 都 关联 一 个 “基本 解 ”， 
我 们 很 容易 从 线性 规划 的 松弛 型 中 得 到 此 “基本 解 ”: 将 每 个 非 基 本 变量 设 为 0， 并 从 等 式 约 束 中 
计算 基本 变量 的 值 。 每 轮 和 迭代 把 一 个 松弛 型 转换 成 一 个 等 价 的 松弛 型 。 关 联 的 基本 可 行 解 的 目 
标 值 将 会 不 小 于 上 一 轮 的 迭代 ， 通 常会 更 大 一 些 。 为 了 增 大 目标 值 ， 我 们 选择 一 个 非 基本 变量 ， 
使 得 如 果 从 0 开始 增加 变量 值 ， 目 标 值 也 会 增加 。 变 量 值 能 够 增加 的 幅度 受 限于 其 他 的 约束 条 
件 。 特 别 地 ， 我 们 增加 它 ， 直 到 某 基 本 变量 变 为 0。 然后 重 写 松 弛 型 ， 交 换 此 基本 变量 和 选 定 的 
非 基 本 变量 。 尽 管 我 们 已 经 使 用 了 一 个 特殊 的 变量 设置 来 引导 算法 ， 并 会 将 其 用 于 我 们 的 证 明 
中 ,但 此 算法 并 不 显 式 地 保持 该 解 。 它 简单 地 重 写 此 线性 规划 ， 直 到 一 个 最 优 解 变 得 “明显 ”。 

单纯 形 算法 的 一 个 例子 

我 们 从 一 个 扩展 例子 开始 。 考 虑 下 面 标 准 型 的 线性 规划 : 

最 大 化 32, +a, +22; (29. 53) 

满足 约束 
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x +t aw + :3z S 30 (29. 54) 
2z + 2z + 5r, < 24 (29. 55) 
4z + n + 22, < 36 (29. 56) 

Lis Les Ls => 0 (29.57) 


为 了 利用 单纯 形 算法 ， 必 须 将 此 线性 规划 转换 成 松弛 型 ;我 们 在 29. 1 节 看 到 了 如 何 做 到 这 
一 点 。 松 弛 除了 是 一 个 代数 操作 外 ， 也 是 一 个 有 用 的 算法 概念 。 回 顾 在 29. 1 节 中， 每 个 变量 有 
一 个 对 应 的 非 负 约束 ， 如 果 一 个 等 式 约束 的 非 基 本 变量 的 一 个 特定 设置 导致 其 基本 变量 变 为 0， 
则 称 这 个 等 式 约束 对 这 个 特定 设置 是 紧 的 。 类 似 地 ， 非 基本 变量 的 一 个 设置 可 以 使 一 个 基本 变 
量变 为 负 性 的 ， 称 为 违反 这 个 约束 。 因 此 ， 松 弛 变量 显 式 地 维护 每 个 约束 与 紧 的 状态 有 多 远 ， 于 
是 这 些 松弛 变量 能 帮 有 我 们 确定 可 以 将 非 基 本 变量 增 大 多 少 而 不 违反 任何 约束 。 

将 松弛 变量 oy. xs 和 zs 分 别 关 联 于 不 等 式 (29. 54) 一 (29. 56) ， 并 将 线性 规划 写成 松弛 型 ， 


我 们 得 到 


z = Sa, F ae F 62a (29. 58) 
xa = 30 一 wx i (29. 59) 
Zs = 24 — Dg — 52; (29. 60) 
ep BG! Aa a ee (29. 61) 


这 个 约束 系统 中 式 (29. 59) ~(29. 61) 有 3 个 等 式 和 6 个 变量 。 变 量 r, r Wa 的 任意 设置 
UXT a. zs 和 zs Ws 因此 ， 这 个 等 式 系统 有 无 限 个 解 。 如 果 所 有 的 tis 22, +, xe 都 是 
非 负 的 ， 则 解 是 可 行 的 ， 可 行 解 的 数量 也 是 无 限 的 。 像 这 样 的 一 个 系统 的 无 限 个 可 行 解 在 稍 后 的 
证 明 中 会 有 用 处 。 我 们 将 集中 于 基本 解 : 把 等 式 右 边 所 有 ( 非 基 本 ) 变 量 设 为 0， 然后 计算 等 式 左 
边 ( 基 本 ) 变 量 的 值 。 在 这 个 例子 中 ， 基 本 解 为 (元 ， 却 ，…，z2) 王 (0，0，0，30，24，36)， 其 
目标 值 为 z==(3，0) 十 (1，0) 十 (2，0)= 二 0。 注 意 到 ， 这 个 基本 解 对 每 个 i€ BRET, =). Mali 
形 算法 的 每 次 迭代 会 重 写 等 式 集合 和 目标 函数 ， 以 便 将 一 个 不 同 的 变量 集合 放 在 右边 。 因 此 ， 会 
将 一 个 不 同 的 基本 解 与 重 写 过 的 问题 联系 起 来 。 我 们 强调 重 写 绝 不 会 以 任何 方式 改变 基本 的 线 
性 规划 ; 每 次 迭代 中 的 问题 都 与 前 一 次 迭代 中 的 问题 有 相同 的 可 行 解 集合 。 然 而 ， 问 题 确实 与 前 
一 次 迭代 问题 有 着 不 同 的 基本 解 。 

如 果 一 个 基本 解 也 是 可 行 的 ， 则 称 其 为 基本 可 行 解 。 在 单纯 形 算法 的 执行 中 ， 基 本 解 几 乎 总 
是 基本 可 行 解 。 然 而 ， 我 们 将 在 29.5 节 中 看 到 ， 在 单纯 形 算法 的 前 面 几 次 迭代 中 ， 基 本 解 可 能 
不 是 可 行 的 。 

在 每 次 迭代 中 ， 我 们 的 目标 是 重新 整理 线性 规划 ， 使 得 基本 解 有 一 个 更 大 的 目标 值 。 我 们 选 
择 一 个 在 目标 函数 中 系数 为 正 的 非 基本 变量 zx.， 而 且 尽 可 能 增加 x, 的 值 而 不 违反 任何 约束 。 变 
量 x, 成 为 基本 变量 ， 并 且 某 个 其 他 变量 x, 变 成 非 基本 变量 。 其 他 基本 变量 和 目标 函数 的 值 也 可 
能 改变 。 

继续 这 个 例子 ， 让 我 们 来 考虑 增加 2, 的 值 。 当 增加 zi I, zy. os 和 xs 的 值 都 减 小 。 因 为 
对 每 个 变量 有 一 个 非 负 约束 ， 所 以 我 们 不 能 允许 它们 中 任何 一 个 变 成 负 值 。 如 果 x, 增加 到 30 以 
E, 那么 x, 变 成 负 值 ; 而 当 zi 分 别 增加 到 12 和 9 MAE, x 和 zs 也 变 成 负 值 。 第 3 个 约束 ( 式 
(29. 61)) 是 最 紧 的 约束 ， 它 限制 了 我 们 可 以 将 2, 的 值 增加 多 少 。 因 此 ， 我 们 互 换 x Mars MN 
程式 (29. 61) ， 于 是 得 到 


QS 3S a a (29. 62) 


为 了 重 写 右边 包含 xs 的 其 他 等 式 ， 我 们 用 等 式 (29. 62) 来 取代 ro EER. 59) 中 也 如 此 ， 我 
们 得 到 
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a= 30-2, — 2%, — 32, = 30— (9-2 —- — 8) —z, — 3, 
二 29. 63 
Sti r (29. 63) 


类 似 地 ， 我 们 可 以 把 等 式 (29. 62), ARR. 60) 以 及 目标 函数 (29. 58) 联 系 起 来 ， 重 写 我 们 的 
线性 规划 为 如 下 形式 : 





c= 27+ 4+ 3 (29. 64) 
nag (29. 65) 
x= 21-23% — 3s 4 Ae (29. 66) 
aie a — 42, + (29. 67) 


我 们 称 此 操作 为 一 个 转动 。 如 上 面 所 展示 的 ， 一 个 转动 选取 一 个 非 基 本 变量 zx.( 称 为 替 入 变量 ) 
和 一 个 基本 变量 x,( 称 为 荐 出 变量 )， 然 后 替换 二 者 的 角色 。 

等 式 (29. 64) 一 (29. 67) 中 描述 的 线性 规划 等 价 于 等 式 (29. 58) ~ (29. 61) 中 描述 的 线性 规划 。 
我 们 在 单纯 形 算法 中 执行 了 两 个 操作 : 重 写 等 式 使 得 变量 在 等 式 的 左边 与 右边 之 间 移 动 ， 以 及 
替换 一 个 等 式 为 另 一 个 等 式 。 第 一 个 操作 显然 建立 了 一 个 等 价 的 问题 ， 而 第 二 个 操作 通过 简单 
的 线性 代数 也 建立 了 一 个 等 价 问题 。( 参 见习 题 29. 3-3.) 

为 了 说 明 等 价 性 ， 观 察 到 初始 的 基本 解 (0，0，0，30，24，36) 满 足 新 的 等 式 (29. 65) ~ 
(29.67)， 且 目标 值 为 27 十 (1/4)。0 十 (1/2)。 0 一 (3/4)。36 王 0。 新 的 线性 规划 关联 的 基本 解 将 
非 基本 变量 的 值 设 为 0， 于 是 得 到 (9，0，0，21，6，0) ， 目 标 值 为 z==27。 简 单 的 算术 证 明 这 个 
解 也 满足 等 式 (29. 59) 一 (29.61)， 且 当 插 和 人 目标 函数 (29. 58) 时 ， 目 标 值 为 (3。9) 十 (1。0) 十 
(2 + 0)=27, 

继续 该 例子 ， 我 们 希望 找到 一 个 可 增加 值 的 新 变量 。 我 们 不 想 增 加 zxs， 因 为 当 它 的 值 增加 时 ， 
目标 值 减 小 。 我 们 可 以 尝试 增加 之 或 x;; 设 选择 x;。 我 们 可 以 将 zx 的 值 增加 到 多 少 而 不 违反 任 
何 约束 ? ARAO. 65) 限 制 它 为 18， 约 束 式 (29. 66) 限 制 它 为 42/5， 而 约束 式 (29. 67) 限 制 它 为 
3/2。 第 三 个 约束 又 是 最 紧 的 ， 因 此 重 写 第 三 个 约束 ， 使 得 z 在 等 式 左边 r 在 右边 。 然 后 将 这 个 [867 
新 等 式 r =3/2—3x,/8—2;/4+25/8 替换 进 等 式 (29. 64) 一 (29. 66) 中 ， 得 到 新 的 但 等 价 的 系统 








-11 % _ a _ 11%, 
po dL 4 z E (29. 68) 
33 _ Tz 4 Ts _ Sit 
x= 33 _ 4 Sa (29. 69) 
— 3 _ 3% ts 4 te 
n= 5 5 z sf: A (29. 70) 
n= .69 二 .3m Ste Be (29. 71) 





4 16 8 16 
这 个 系统 存在 关联 的 基本 解 (33/4，0，3/2，69/4，0，0)， 目 标 值 为 111/4。 现 在 增加 目标 值 的 
唯一 方法 是 增加 zx;。 这 三 个 约束 分 别 给 出 了 上 界 132、4 和 ce (我 们 从 约束 (29. 71) 中 得 到 上 界 
co。 因 为 当 增 加 z 时 ， 基 本 变量 x 的 值 也 增加 。 因 此 ， 此 约束 对 zx 增加 多 少 没有 限制 )。 我 们 
将 x. 增加 到 4， 它 变 成 非 基本 的 。 然 后 ， 为 zz 解 等 式 (29.70)， 并 代入 其 他 等 式 得 到 
=28— 2 


(29. 72) 


a a ae E i (29. 73) 
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a= 4-22 2 4 a (29. 74) 
n= 18-28 + (29. 75) 


此 时 ， 这 个 目标 函数 中 所 有 系数 都 是 负 的 。 正 如 我 们 将 在 本 章 后 面 看 到 的 ， 这 种 情况 只 在 已 重 写 
线性 规划 ， 使 得 基本 解 是 一 个 最 优 解 时 才 发 生 。 因 此 ， 对 于 这 个 问题 ， 解 (5，4，0，18，0，0) 的 
目标 值 28 是 最 优 的 。 现 在 回 到 式 (29. 53) 一 (29. 57) 中 给 出 的 原始 线性 规划 。 原 始 的 线性 规划 中 
仅 有 变量 x 、zx Mr, TERE x =8, 2. =4, 2: = 二 0， 目 标 值 为 (3。8) 十 (1。4) 十 (2 。0)== 
28。 注 意 ， 在 最 终 解 中 松弛 变量 的 值 度量 了 每 个 不 等 式 中 松弛 剩余 多 少 。 松 弛 变量 x 等 于 18， 
且 在 不 等 式 (29. 54) 中 ， 左 边 值 为 8 十 4 十 0 二 12， 比 右边 的 值 30 小 了 18。 松 弛 变量 x; 和 zs 为 0， 
确实 在 不 等 式 (29. 55) 和 (29. 56) 中 左右 两 边 相 等 。 还 观察 到 即使 在 初始 松弛 型 中 系数 是 整数 ， 但 
其 他 线性 规划 的 系数 不 必 是 整数 ， 过 渡 解 也 不 一 定 是 整数 。 而 且 ， 线 性 规划 的 最 终 解 也 不 必 是 整 
数 ; 这 个 例 中 存在 一 个 整数 解 纯 属 巧合 。 

转动 

现在 形式 化 主 元 的 过 程 。 过 程 PIVOT 以 一 个 松弛 型 为 输入 ， 给 定 元 组 (N，B，A，2，c， 切 、 
替 出 变量 z 的 下 标 /2， 以 及 替 人 变量 r 的 下 标 e。 它 返回 描述 新 松弛 型 的 元 组 (N, Ê, Â, b, 6， 
dD. FEU, mXn BREA 和 A 的 元 素 实际 上 都 是 松弛 型 中 系数 的 负 值 。) 


PIVOT(N,B,A,b,c,v,l,e) 
1 // Compute the coefficients of the equation for new basic variable z,. 
let A be a new m Xn matrix 
2. 一 名 /au 
for each j EN— {e} 
a, Saj fau 
人 一 1/au 
// Compute the coefficients of the remaining constraints, 
for each i€ B— {1} 
6,=6,—a.6, 
for each jE N— {e} 


a —, â 
Qij Saij T Die Ay 


O OO NaN A UOU DN 


A 
Qat =~ Aue 


= = e= = 
w N- oO 


// Compute the objective function. 
v=utc, pb. 
for each jE N— {e} 


> E E 
i Ag 


二 
cs 


= = = 
Naw 


a a 
C= ct, Ga 


m 
co 


// Compute new sets of basic and nonbasic variables. 
N=N—{e}U{2} 
B=B—{1}U{e} 


aA A 


21 return(Ñ,ĝ,Â,ĝ, 2,2) 


PIVOT 执行 如 下 。 第 3 一 6 行 通过 重 写 z, 在 左边 的 等 式 将 x。 置 于 等 式 左边 ， 来 计算 x, 的 新 
等 式 中 的 系数 。 第 8 一 12 行 通过 将 每 个 xz. 替换 为 这 个 新 等 式 的 右边 来 更 新 剩 下 的 等 式 。 第 14 一 


Y 一 
Co o 


869) 17 行 对 目标 函数 进行 同样 替换 ， 第 19 一 20 行 更 新 非 基 本 变量 和 基本 变量 集合 。 第 21 行 返回 新 


的 松弛 型 。 如 给 出 的 一 样 ， 如 a 二 0，PIVOT 将 产生 除 0 的 错误 ， 但 如 我 们 将 在 引 理 29. 2 和 引 
BH 29. 12 的 证 明 中 看 到 的 那样 ， 仅 当 ar AO 时 调用 PIVOT, 
现在 我 们 总 结 PIVOT 对 基本 解 中 变量 值 的 影响 。 
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引 理 29. 1 考虑 当 ws 天 0 83t PIVOT(N, B, A, 6b，c，v，L，e) 的 调用 。 令 调用 返回 值 为 
(Ñ, 户 ， A，b，2， 人 让， 令 工 表示 调用 之 后 的 基本 解 。 那 么 
1. 对 每 个 jE€EN, Z=0. 
2.2,=b;/an o 
3. 对 每 个 iE BB 一 {e), ;二 b; 一 aib,。 
证 明 ”第 一 个 命题 成 立 ， 因 为 基本 解 总 是 将 所 有 的 非 基本 变量 设 为 0。 当 我 们 将 约束 
z 二 和 一 2 ax; 
JE 
中 的 每 个 非 基本 变量 都 设 为 0 时 ， 对 每 个 1E 户 ， 有 均一 和。 因为 eE 户 ， 由 PIVOT 的 第 3 行 推出 
t= ê. = b,/ar 
这 样 就 证 明了 第 二 个 命题 。 类 似 地 ， 对 每 个 iE BB 一 {e}， 利 用 第 9 行 得 出 
T; = ĝ; = b; — aie Ê, 


这 样 证 明了 第 三 个 命题 。 5 
正式 的 单纯 形 算法 
现在 我 们 可 以 对 单纯 形 算法 进行 形式 化 了 ， 先 前 已 用 例子 说 明 。 这 个 例子 是 特别 好 的 一 个 ， 
我 们 还 有 其 他 几 个 问题 需要 考虑 : 


。 如 何 确 定 一 个 线性 规划 是 不 是 可 行 的 ? 

© 如 果 此 线性 规划 是 可 行 的 ， 但 初始 基本 解 不 可 行 ， 那 么 怎么 办 ? 

。 如 何 确定 一 个 线性 规划 是 否 无 界 ? 

。 如 何 选择 替 人 变量 和 替 出 变量 ? 

在 29. 5 节 中 ， 我 们 将 说 明 如 何 确定 一 个 问题 是 否 可 行 ， 如 果 可 行 ， 如 何 找 出 一 个 初始 基本 
解 是 可 行 的 松弛 型 。 因 此 ， 假 设 有 一 个 过 程 INITIALIZE-SIMPLEX(A，25，c) ， 输 入 为 一 个 标准 
型 的 线性 规划 ， 即 一 个 mXn 的 矩阵 A 二 (a )， 一 个 m 维 向 量 6= 二 (6;), 一 个 n 维 向 量 c=(c;)。 
如 果 这 个 问题 是 不 可 行 的 ， 此 过 程 返回 一 个 消息 说 明 此 线性 规划 不 可 行 ， 然 后 终止 。 否 则 ， 此 过 
程 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 

如 前 所 述 ， 子 过 程 SIMPLEX 以 一 个 标准 型 的 线性 规划 作为 输入 。 它 返回 一 个 nn 维 向 量 
E=(%,), AR(29. 19) ~(29. 21) 中 描述 的 线性 规划 的 一 个 最 优 解 。 


SIMPLEX(A,b,c) 
1 (N,B,A,b,c)=INITIALIZE-SIMPLEX(A,b,c) 
2 letA be a new vector of length m 
3 while some index j€ N has c,> 0 
4 choose an index e€ N for which c> 0 
5 for each index i€ B 
6 ifa,>0 
7 Ai=bi/as 
8 elseA; 一 co 
9 choose an index /€ B that minimizesA, 
10 ifA, = =0o 
11 return “unbounded” 
12 else(N,B,A,6,c,v) =PIVOT(N,B,A,b,c,v, l,e) 
13 for i=1 ton 
14 if i€B 
15 =b 
16 else 元 ;一 0 


[870 
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17 return(z ,225°**»%,) 


子 过 程 SIMPLEX 执行 如 下 。 在 第 1 行 ， 它 调用 上 面 所 述 的 过 程 INITIALIZE-SIMPLEX(A， 
6，c) ， 要 么 确定 这 个 线性 规划 是 不 可 行 的 ， 要 么 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 第 3 一 12 行 
中 的 while 循环 形成 了 算法 的 主体 部 分 。 如 果 目 标 函 数 中 所 有 系数 都 是 负 值 ， 那 么 while 循环 终 
止 。 否 则 ,第 4 行 选择 一 个 变量 xz,， 作 为 百人 人 变量， 其 系数 在 目标 函数 中 为 正 值 。 尽 管 我 们 可 以 
选择 任意 系数 为 正 的 变量 作为 替 人 变量 ,但 仍 假设 使 用 某 个 事先 制定 的 确定 性 规则 。 接 下 来 ， 第 
5 一 9 行 检查 每 个 约束 ， 然 后 挑选 出 一 个 约束 ， 此 约束 能 够 最 严格 地 限制 z. 值 增加 的 幅度 ， 而 又 
不 违反 任何 非 负 约束 ; 和 这 个 约束 相关 联 的 基本 变量 是 xz,。 再 一 次 ， 我 们 可 以 从 多 个 变量 中 自 
由 选择 一 个 作为 替 出 变量 ， 但 假设 使 用 某 个 预先 制定 的 确定 性 规则 。 如 果 没 有 约束 能 够 限制 蔡 
人 变量 所 增加 的 幅度 ， 算 法 在 第 11 行 返回 “无 界 ”。 和 否则 ， 第 12 行 通过 调用 上 面 所 述 的 PIVOT 
(N, B, A, 5b,，c，v，l，e)， 交 换 替 出 变量 与 替 入 变量 的 角色 。 第 13 一 16 行 通过 把 所 有 的 非 基 
本 变量 设 为 0 及 把 每 个 基本 变量 T, 设 为 5;， 来 计算 初始 线性 规划 变量 的 一 个 解 Zee vets Tre 
接着 第 17 行 返 回 这 些 值 。 

为 了 说 明 SIMPLEX 是 正确 的 ， 首 先 说 明 如 果 SIMPLEX 有 一 个 初始 可 行 解 并 且 最 终 会 停 
止 ， 则 它 要 么 返回 一 个 可 行 解 ， 要 么 确定 此 线性 规划 是 无 界 的 。 然 后 ， 我 们 说 明 SIMPLEX 会 停 
tk. 最后， 我 们 在 29. 4 节 ( 定 理 29. 10) 中 说 明 返 回 解 是 最 优 的 。 

引 理 29.2 给 定 一 个 线性 规划 (A，b，c)。 假 设 在 SIMPLEX 第 1 行 中 对 INITIALIZE- 
SIMPLEX 的 调用 返回 一 个 基本 解 可 行 的 松弛 型 。 如 果 SIMPLEX 在 第 17 行 返回 一 个 解 ， 则 这 个 
解 是 此 线性 规划 的 一 个 可 行 解 。 如 果 SIMPLEX 在 第 11 行 返回 “无 界 ”， 则 此 线性 规划 是 无 界 的 。 

证 明 我们 使 用 下 面 三 部 分 的 循环 不 变 式 : 

在 第 3 一 12 行 while 循 环 部 分 的 每 次 迭代 开始 ， 

1. 此 松弛 型 等 价 于 调用 INITIALIZE-SIMPLEX 返回 的 松弛 型 。 

2. MET IC B, RNA b20. 

3. 此 松弛 型 相关 的 基本 解 是 可 行 的 。 

初始 化 : 对 第 一 次 迭代 ， 此 松弛 型 的 等 价 性 是 平凡 的 。 在 引 理 的 表述 中 ， 假设 在 SIMPLEX 
的 第 1 行 调用 INITIALIZE-SIMPLEX 时 返回 一 个 基本 解 可 行 的 松弛 型 。 因 此 ， 不 变 式 的 第 三 部 
分 为 真 。 因 为 这 个 基本 解 可 行 ， 每 一 个 基本 变量 x, 是 非 负 的 。 此 外 ， 因 为 这 个 基本 解 把 每 一 个 
基本 变量 zx; 设 为 6;:， 对 所 有 的 iE B， 我们 有 6; 宇 9。 因 此 ， 不 变 式 的 第 二 部 分 成 立 。 

保持 : 我 们 将 说 明 while 循环 的 每 一 次 迭代 维持 了 循环 不 变 式 ， 假 设 第 11 行 的 return 语句 没 
有 执行 。 在 讨论 终止 时 ， 将 处 理 第 11 行 执行 的 情形 。 通 过 调用 PIVOT 过 程 ， 此 while 循环 的 一 
次 迭代 把 基本 变量 与 非 基本 变量 交换 。 根 据 练习 29. 3-3， 此 松弛 型 与 前 一 次 迭代 中 的 形式 等 价 ， 
根据 循环 不 变 式 ， 也 与 初始 松弛 型 等 价 。 

现在 来 论证 循环 不 变 式 的 第 二 个 部 分 。 假 设 在 while 循环 每 次 迭代 的 开始 ， 对 每 个 iEB， 
b: 宇 0， 我 们 将 说 明 第 12 行 调用 PIVOT 之 后 ， 这 些 不 等 式 依然 成 立 。 因 为 变量 b: 和 基本 变量 的 
集合 B 的 唯一 改变 发 生 在 此 赋值 中 ， 这 就 足以 说 明 第 12 行 维持 了 这 部 分 的 不 变 式 。 令 bi ay 和 
B 表示 PIVOT 调用 之 前 的 值 ，2, 表示 从 PIVOT 返回 的 值 。 

首先 ， 观 察 到 b. 宇 9， 这 是 因为 根据 循环 不 变 式 有 5, 宇 0， 根据 SIMPLEX 的 第 6 行 和 第 9 行 ， 
有 a, >0, 根据 PIVOT 的 第 3 行 ， 有 b==b/ai。 

对 于 剩 下 的 下 标 i€ B 一 {L} ， 我 们 有 

6,=b;—a;.6, (根据 PIVOT #4 # 9 47) 
=b;,—a;,(b,/a,) (根据 PIVOT 的 第 3 47) (29. 76) 
我 们 有 两 种 情况 要 考虑 ，aie>0 Ka.<0. WRa,>0, WA 1 使 得 对 所 有 的 iE 也 ， 
bi/ar S b;/a;, (29. 77) 
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我 们 有 
b= bi — a; (bi/an) (根据 式 (29.76)) 


> b; —a;.(6;/a;.) (根据 式 (29.77)) 
= 6,—b, =0 
AmS. WME a.<0, WAH ars 6 Alb, 都 是 非 负 的 ， 式 (29. 76) 意 味 着 2 也 必 为 非 负 的 。 
现在 我 们 表明 基本 解 是 可 行 的 ， 即 所 有 的 变量 具有 非 负 值 。 非 基本 变量 被 设 为 0， 从 而 是 非 
负 的。 而 每 个 基本 变量 zx; 由 如 下 等 式 定义 : 
Zi 一 pi 一 Ža, jTj 
且 基 本 解 为 元 一 铝 。 利 用 循环 不 变 式 的 第 二 部 分 ， 我 们 得 到 每 个 基本 变量 工 也 都 是 非 负 的 。 873 
终止 : 此 while 循环 以 两 种 方式 之 一 结束 。 若 它 因 为 第 3 行 中 的 条 件 而 终止 ， 则 当前 的 基本 解 是 
可 行 的 ， 且 在 第 17 行 中 返回 此 解 。 另 外 一 个 终止 方式 是 在 第 11 行 返回 “无 界 ”。 在 这 种 情况 下 ， 对 于 
第 5~8 行 中 for 循环 的 每 次 迭代 ， 当 第 6 行 执行 时 ， 我 们 发 现 a. 三 0。 考虑 到 解 三 定义 为 
co Fixe 
0 Hic N—({e} 
b; — Ža; T; 若 i EB 


现在 我 们 说 明 这 个 解 是 可 行 的 ， 即 所 有 的 变量 非 负 。 除 了 云 外 的 非 基 本 变量 都 为 0， 以 及 z= 
co>0; 因此 ， 所 有 的 非 基本 变量 是 非 负 的 。 对 于 每 个 基本 变量 云 ， 我 们 有 
=b— Dias Tj =b—a,. Zz, 


循环 不 变 式 意味 着 4 三 0， 并 且 有 a;.<0, Z=0o>0. PFW, 720. 
现在 来 证 明 解 去 的 目标 值 是 无 界 的 。 根据 等 式 (29. 42)， 目 标 值 为 
z= v+ 2c; Zi 一 了 十 cc 


因为 c.>0( 根 据 第 4 行 的 SIMPLEX) & Z, =o, HEREA, HAAREN. m 

下 面 需 要 说 明 SIMPLEX 会 终止 ， 以 及 什么 情况 下 会 终止 ， 它 返回 的 解 是 最 优 的 。29. 4 节 中 
将 会 强调 最 优 性 。 现 在 我 们 来 讨论 终止 。 

终止 性 

在 本 节 开 头 所 给 的 例子 中 ， 单 纯 形 算法 的 每 次 迭代 会 增加 和 基本 解 关 联 的 目标 值 。 如 练习 
29. 3-2 要 求证 明 的 那样 ，SIMPLEX 的 迭代 不 会 减 小 基本 解 关 联 的 目标 值 。 可 惜 的 是 ， 可 能 会 存 
在 迭代 保持 目标 值 不 变 。 这 个 现象 称 为 退化 ， 现 在 我 们 开始 仔细 地 研究 它 。 874 

PIVOT 第 14 行 中 的 赋值 语句 ?一 z 十 c. b, 改变 了 目标 值 。 因 为 当 c.>0 时 ，SIMPLEX 才 会 调 
用 PIVOT， 让 目标 值 保持 不 变 ( 即 ?一 芝 的 唯一 方法 就 是 让 2. 为 0。 此 值 在 PIVOT 的 第 3 行 被 赋 
值 为 b= 二 6b./ai. 。 因 为 我 们 总 是 在 ar A0 时 调用 PIVOT， 因 此 可 以 看 到 2. 等 于 0， 于 是 要 让 目标 值 
保持 不 变 ， 就 必须 有 5b 二 0。 

的 确 ， 这 种 情况 可 能 发 生 。 考 虑 线性 规划 


z = Dy AE a OTE 
y=] 8 = BY =] Bw 
Xs = T2 T B 
假设 选择 2, 作为 蔡 人 变量 ，z: 作为 替 出 变量 。 在 转动 后 ， 我 们 得 到 
z = 8 Te ty SS ay 
By OS BB ag = 2; 


Ts 
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此 时 ， 我 们 唯一 的 选择 是 以 x ERRARE, r 作为 替 出 变量 来 进行 转动 。 因 为 bs 二 0， 所 以 
在 转动 后 目标 值 8 保持 不 变 : 


z = 8 + 2X2 = Xs, a Ts 
F = 8 ama e. 
T3 — Tz | bl 


虽然 目标 值 没 有 变化 ,但 是 我 们 的 松弛 型 变 了 。 幸 运 的 是 ， 如 果 再 次 旋转 ， 以 xz; HARARE, 
a, 为 替 出 变量 ， 目 标 值 会 增加 (到 16)， 单 纯 形 算法 可 以 继续 运行 。 

退化 会 阻止 单纯 形 算法 终止 ， 因 为 它 可 以 引起 一 种 称 为 循环 (cycling) 的 现象 : SIMPLEX 的 
两 次 不 同 迭 代 中 的 松弛 型 完全 一 样 。 因 为 退化 ，SIMPLEX 会 选择 一 个 转动 操作 序列 ， 让 目标 值 
不 变 但 是 会 在 此 序列 中 重复 一 个 松弛 型 。 因 为 SIMPLEX 是 一 个 确定 性 算法 ， 如 果 它 循环 ， 那 么 
它 会 在 同一 系列 的 松弛 型 中 永远 循环 下 去 ， 不 会 终止。 

循环 是 SIMPLEX 唯一 可 能 不 会 终止 的 原因 。 为 了 说 明 这 个 事实 ， 我 们 首先 必须 设计 一 些 额 
外 的 工具 。 

在 每 一 次 循环 中 ， 除 了 集合 N. BUS, SIMPLEX 还 维护 A、b、c 和 um。 尽 管 需要 显 式 维 
护 A、5、c 和 w 以 高 效 实现 单纯 形 算法 ， 但 我 们 不 维护 它们 也 能 得 到 结果 。 换 名 话说， 基本 变量 
和 非 基本 变量 的 集合 足 可 以 唯一 确定 松弛 型 。 在 证 明 这 个 事实 以 前 ， 需 要 证 明 一 个 有 用 的 代数 
引 理 。 

引 理 29.3 设 了 是 一 个 下 标 集合 。 对 于 每 一 个 JET， 设 w 和 局 RRK, HAr 是 一 个 实数 
变量 。 设 y 是 任意 的 实数 。 假 设 对 于 变量 zi 的 任何 设置 ， 我 们 有 

Last; =y+ DB) (29. 78) 
那么 对 于 任意 的 JET, a=B, Hy=0. 

证 明 ”因为 等 式 (29. 78) 对 于 任意 的 z; 值 都 成 立 ， 我 们 可 以 采用 特殊 值 来 导出 关于 a、B 和 7 
的 结论 。 如 果 对 每 一 个 E11， 让 zj; 二 0， 可 以 得 出 Y=0。 现 在 选择 任意 一 个 下 标 jE TIT， 并 对 所 有 
WRAJ, 设 z 二 1 和 zz 二 0。 那 么 必然 有 a 王 B。 因 为 选择 的 j BI 中 任意 的 一 个 下 标 ， 所 以 得 出 
对 每 一 个 jEI， 有 ajh. a 

一 个 特定 的 线性 规划 有 很 多 不 同 的 松弛 形式 ; 回顾 每 一 个 松弛 型 和 原始 的 线性 规划 有 同样 
可 行 解 和 最 优 解 的 集合 。 我 们 现在 来 说 明 一 个 线性 规划 的 松弛 型 能 够 被 基本 变量 的 集合 唯一 确 
定 。 也 就 是 说 ， 给 定 基本 变量 的 集合 ， 一 个 唯一 的 松弛 型 (唯一 的 系数 集合 和 右 部 ) 与 这 些 基 本 变 
量 相 关联 。 

引 理 29.4 设 (A，b，c) 是 一 个 线性 规划 的 标准 形式 。 给 定 基本 变量 的 一 个 集合 B， 那 么 关 
联 的 松弛 型 是 唯一 确定 的 。 

证 明 采用 反 证 法 ,假设 有 两 种 不 同 的 松弛 型 具有 相同 基本 变量 集合 B。 这 些 松弛 型 必须 也 
具有 等 同 的 非 基 本 变量 集合 N= 二 {1]，2，…，n 十 m}) 一 B。 我 们 将 第 一 个 松弛 型 写成 


z= v+ Sez; (29. 79) 
JEN 
Zi=b— Djayx;,i€ B (29. 80) 
JEN 
将 第 二 个 写成 
z=v' + yc jz; (29. 81) 
一 一 Si (291 € B (29. 82) 


考虑 式 (29. 82) 减 去 式 (29. 80) 所 形成 的 等 式 系统 。 得 到 的 等 式 系统 为 
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0 = (b — bi) — (ay —a})z,,i€ B 


JEN 
或 者 ， 等 价 地 ， 
2 xz; = (b —b} + Dat 251 € B 
lee 对 于 每 一 个 i€B， 应 用 引 理 29. 3， JEH @ =a, B=a;', y=6,—6,', URI=N. AA 
二 B， 所 以 对 每 一 个 jEN, RIIA a; =a; LAA y 一 0， 我 们 有 上访 一 和 。 因 此 ， 对 于 这 两 个 
松弛 型， A Alb 分别 与 A' 和 "相等 。 采用 一 个 类 似 的 论证 方法 ， 练习 29. 3-1 说 明 必 然 有 c=c' 和 
2 一 ww ， 因 此 ， 这 些 松弛 型 必然 等 同 。 a 
我 们 现在 可 以 说 明 循 环 是 SIMPLEX 可 能 不 会 终止 的 唯一 原因 。 


引 理 29.5 如 果 SIMPLEX 在 至 多 (””) 次 秋 代 内 不 终止 ， 那么 它 是 循环 的 。 
证 明 根据 引 理 29.4， 基 本 变量 集合 B 唯一 确定 了 一 个 松弛 型 。 总 共有 n 十 m 个 变量 ， 
H |B| =m, 所 以 至 多 有 ( ””) 种 选择 的 方式 。 因此 ， 至 多 有 ( ”+”) 种 松弛 形式 。 所 以 ， 如 


R SIMPLEX 运行 超过 ( ””) 次 迭代 ， 它 必然 循环 。 a 


循环 在 理论 上 是 可 能 的 ， 但 非常 罕见 。 我 们 可 以 通过 小 心地 选择 替 人 变量 和 替 出 变量 来 避 
免 其 发 生 。 一 种 方法 是 对 输入 稍微 进行 扰动 ， 使 得 不 可 能 有 两 个 解 具 有 相等 的 目标 值 。 另 一 种 方 
法 是 通过 总 是 选择 下 标 最 小 的 变量 来 打破 相等 的 目标 值 ， 这 种 策略 被 称 为 Bland 规则 。 这 里 略 去 


采用 这 些 策略 可 以 避免 循环 的 证 明 。 
引 理 29.6 ”如果 SIMPLEX 的 第 4 行 和 第 9 行 总 是 通过 选择 具有 最 小 下 标的 变量 来 打破 目标 
值 不 变 的 局 面 ， 那 么 SIMPLEX 必然 终止 。 a 


我 们 以 下 面 的 引 理 来 总 结 这 一 节 。 
引 理 29.7 假设 INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 ， 则 SIMPLEX 要 么 


报告 一 个 线性 规划 是 无 界 的 ， 要么 在 至 多 ( ” ”) 次 循环 内 终止 ， 并 得 到 一 个 可 行 解 。 


证 明 引 理 29.2 和 引 理 29. 6 说 明 如 果 INITIALIZE-SIMPLEX 返回 同一 个 基本 解 可 行 的 松 
弛 型 ， 那 么 SIMPLEX 要 么 报告 一 个 线性 规划 是 无 界 的 ， 要么 以 一 个 可 行 解 结束 。 根 据 引 理 29. 5 


的 道理 命题 ， 如 果 SIMPLEX 以 一 个 可 行 解 结束 ， 那么 它 在 至 多 ( ””) 次 循环 内 终止。 a 


练习 

29.3-1 请 完成 引 理 29. 4 的 证 明 ， 说 明 必 有 =c 和 v=v'. 

29.3-2 请 说 明 在 SIMPLEX 的 第 12 行 对 PIVOT 的 调用 永远 不 会 减 小 v 的 值 。 

29.3-3 证明 : 对 PIVOT 过 程 给 定 的 松弛 型 和 该 过 程 返回 的 松弛 型 是 等 价 的 。 

29.3-4 ”假设 把 一 个 标准 型 的 线性 规划 (A，b5，c) 转 换 成 松弛 型 。 证 明 ， 基本 解 是 可 行 的 当 且 仅 
当 对 i 二 1，2，…，m， 有 b20. 

29.3-5 采用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 ”18zi 十 12. 5x: 
满足 约束 


8 
VAAN 
oansd 


Tis T2 
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29.3-6 采用 SIMPLEX 求解 下 面 的 线性 规划 : 


最 大 化 5rı— 3r: 

满足 约束 
ei = ioe sed 
2x, +F tm & 2 
Dio. Le 0 


29.3-7 采用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 小 化 a2, +2. +2, 
满足 约束 
2a; F Poa T 3a =- 10000 
20z, + 5zz + 10x, = 30000 


Tis T29 T3 => 0 


29.3-8 在 引 理 29. 5 的 证 明 中 ， 我 们 声明 至 多 存在 ( ””) 种 方法 来 选取 一 个 基本 变量 集合 B， 
给 出 一 个 线性 规划 的 例子 ， 其 中 有 严格 少 于 (” ”) 种 方法 来 选取 此 集合 B，。 


29.4 ”对偶 性 


我 们 已 经 证 明 在 某 些 假设 下 SIMPLEX 会 终止 。 然 而 ， 我们 还 没有 说 明 它 实际 上 能 找到 线性 
规划 的 一 个 最 优 解 。 为 此 ， 我 们 引入 一 个 有 力 的 概念 ， 称 为 线性 规划 对 偶 性 。 

对 偶 性 使 我 们 能 够 证 明 一 个 解 的 确 是 最 优 的 。 我 们 在 第 26 章 定理 26. 6 中 看 到 了 一 个 对 偶 性 
的 例子 一 一 最 大 流 最 小 割 定理 。 假 设 给 定 最 大 流 问题 的 一 个 实例 ， 我 们 发 现 一 个 流 f 具有 流 值 
Lf |. MRE DG RE f 是 一 个 最 大 流 ? 根据 最 大 流 最 小 割 定理 ， 如 果 能 够 找到 一 个 割 的 值 也 为 
| fl ， 那 么 我 们 确定 扩 的 确 是 一 个 最 大 流 。 这 样 的 关系 提供 了 一 个 对 偶 性 的 例子 : 给 定 一 个 最 大 
化 问题 ， 我 们 定义 一 个 相关 的 最 小 化 问题 ， 使 得 这 两 个 问题 具有 同样 的 最 优 目标 值 。 

给 定 一 个 最 大 化 目标 的 线性 规划 ， 我 们 应 该 描述 如 何 形式 化 一 个 对 偶 线性 规划 ， 其 中 目标 
是 最 小 化 ， 而 且 最 优 值 与 初始 线性 规划 的 最 优 值 相同 。 当 表示 对 偶 线 性 规划 时 ， 我 们 称 初 始 的 线 
性 规划 为 原始 (primal) 线 性 规划 。 

给 定 一 个 标准 型 的 原始 线性 规划 ， 如 式 (29.16) 一 式 (29. 18) 所 示 ， 我 们 定义 其 对 偶 线 性 规 
划 为 


最 小 化 Si, (29. 83) 
满足 约束 
Dawe j =1,2,°%5n (29. 84) 
| yO, i= 1,2,.,m (29. 85) 


为 了 构造 对 偶 问 题 ， 我 们 将 最 大 化 改 为 最 小 化 ， 交 换 右边 系数 与 目标 函数 ， 并 且 将 小 于 等 于 
号 改 成 大 于 等 于 号 。 原 始 问题 的 m 个 约束 ， 每 一 个 在 对 偶 问 题 中 都 有 一 个 对 应 的 变量 wx ， 对 偶 
问题 的 个 约束 ， 每 一 个 在 原始 问题 中 都 有 一 个 对 应 的 变量 zx;。 例 如 ， 
考虑 式 (29. 53) ~ (29. 57) 给 出 的 线性 规划 。 这 个 线性 规划 的 对 偶 是 
最 小 化 30 十 24 +36y, (29. 86) 
满足 约束 
n + 2y 十 4y > 3 (29. 87) 
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yn + 24 + yy 2 1 (29. 88) 
3m 十 5y + 2y > 2 (29. 89) 
Ms Yoo Xz = 0 (29. 90) 


我 们 将 在 定理 29. 10 中 说 明 此 对 偶 线 性 规划 的 最 优 值 总 是 等 于 原始 线性 规划 的 最 优 值 。 此 
外 ， 单 纯 形 算法 实际 上 隐 含 地 同时 解决 了 原始 线性 规划 和 对 偶 线 性 规划 ， 从 而 提供 了 最 优 性 的 
一 个 证 明 。 

我 们 从 说 明 弱 对 偶 性 开始 ， 它 表明 原始 线性 规划 的 任意 可 行 解 的 值 不 大 于 此 对 偶 线性 规划 
的 任意 可 行 解 的 对 应 值 。 

引 理 29. 8( 线 性 规划 弱 对 偶 性 ) 设 均 表 示 式 (29.16) 一 (29.18) 中 原始 线性 规划 的 任意 一 个 
可 行 解 ， 了 表示 式 (29.83) 一 (29. 85) 中 对 偶 问 题 的 任意 一 个 可 行 解 。 那 么 有 


Si Tj < Sos, 
证 明 我 们 有 
Doz) (Day) (根据 不 等 式 (29. 84)) 


< Soy, (根据 不 等 式 (29. 17)) a 


HEIR 29.9 令 均 表示 一 个 原始 线性 规划 (A，b，c) 的 一 个 可 行 解 ， 令 了 表示 相应 对 偶 问题 的 
一 个 可 行 解 。 如 果 


Xo Tj; = dos. 
那么 元 和 林 分 别 是 原始 线性 规划 和 对 偶 线 性 规划 的 最 优 解 。 

证 明 根据 引 理 29.8， 原 始 问题 的 一 个 可 行 解 的 目标 值 不 会 超过 此 对 偶 问 题 可 行 解 的 目标 
值 。 原 始 线性 规划 是 一 个 最 大 化 问题 ， 而 对 偶 线 性 规划 是 一 个 最 小 化 问题 。 因 此 ， 如 果 可 行 解 芯 
和 7 有 相同 的 目标 值 ， 两 者 均 不 可 能 改进 。 a 

在 证 明 总 存在 一 个 对 偶 解 ， 其 值 等 于 原始 问题 最 优 解 的 值 之 前 ， 我 们 先 来 描述 如 何 找 出 这 
样 的 一 个 解 。 当 我 们 对 式 (29. 53) 一 (29. 57) 中 的 线性 规划 运行 单纯 形 算法 时 ， 最 后 一 次 迭代 产生 
松弛 形式 (29. 72) 一 (29.75)， 目 标 值 为 z=28—2,/6—2;/6—22,/3, B={1, 2, 4} 和 N=1{3， 
5，6}。 如 下 面 我 们 将 看 到 的 ， 最 终 松 弛 型 对 应 的 基本 解 的 确 是 线性 规划 的 一 个 最 优 解 ; 因此 ， 
线性 规划 式 (29. 53) 一 (29. 57) KW — PA EG SE (HZ, Ze, BI=(8, 4, 0), 目标 值 为 (3。8) 十 
A. 4) 十 (2。0) 王 28。 也 如 下 面 所 看 到 的 ， 我 们 可 以 顺利 得 到 一 个 最 优 对 偶 解 : 原始 目标 函数 的 
系数 取 负 是 对 偶 变 量 的 值 。 更 准确 地 说 ， 假 设 原始 问题 的 最 后 松弛 型 为 

z=v ‘+ Que; jx z= bj ~ Lave; EB 


于 是 ， 为 了 得 到 一 个 对 偶 最 优 解 ， 我 们 设 
一 ch 若 n 十 EN 

We 其 他 (29. 91) 
因此 ， 式 (29. 86) ~ (29. 90) 中 定义 的 对 偶 线性 规划 的 一 个 最 优 解 是 马 二 0( 因 为 n 十 1= 
4€B), 有 % 二 一 cs 二 1/6， 以 及 亏 二 一 cs 二 2/3。 求 对 偶 目标 函数 (29. 86) 的 值 ， 我 们 得 到 一 个 目标 
值 为 (30。0) 十 (24。(1.6)) 十 (36。(2/3)) 王 28， 这 证 实 了 原始 问题 的 目标 值 的 确 等 于 对 偶 问 题 
的 目标 值 。 综 合 这 些 计算 和 引 理 29. 8， 推 出 原始 线性 规划 的 最 优 目标 值 是 28。 现 在 来 说 明 这 一 
方法 在 一 般 情 况 下 适用 : 我 们 可 以 找到 对 偶 问 题 的 一 个 最 优 解 ， 同 时 证 明 原 始 问题 的 一 个 解 是 
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最 优 的 。 

定理 29. 10( 线 性 规划 对 偶 性 ) 假设 SIMPLEX 在 原始 线性 规划 (A，b，c) 上 返回 值 区 二 (1， 
Z, s 元,)。 令 N 和 也 分 别 表 示 最 终 松 弛 型 非 基 本 变量 和 基本 变量 的 集合 ， 令 c 表示 最 终 松弛 
型 中 的 系数 ， 令 3 一 ( 刀 ， 灭 ，…， 劝 ) 由 式 (29.91) 定 义 。 那 么 元 是 原始 线性 规划 的 一 个 最 优 解 ， 
了 是 对 偶 线 性 规划 的 一 个 最 优 解 ， 以 及 


> Xj 二 May, (29. 92) 
证 明 根据 推论 29.9， 如 果 可 以 找到 满足 式 (29. 92) 的 可 行 解 ， 那 么 工 和 了 必然 是 最 优 的 原 
始 解 和 对 侦 解 。 我 们 现在 要 说 明定 理 叙 述 中 描述 的 二 和 多 满足 式 (29. 92). 
假设 我 们 在 一 个 原始 线性 规划 上 执行 SIMPLEX， 如 式 (29. 16)~ (29. 18) 中 所 述 。 这 个 算法 
经 历 一 系列 的 松弛 型 ， 直 到 它 以 一 个 最 终 松弛 型 结束 ， 此 时 目标 函数 为 


z=v + dela, (29. 93) 
JEN 
因为 SIMPLEX 结束 时 有 一 个 解 ， 根 据 第 3 行 的 条 件 ， 我 们 知道 对 于 所 有 的 JE N， 
882 cj <0 (29. 94) 
如 果 定 义 对 于 所 有 的 JEB， 
c; =0 (29. 95) 
那么 可 以 重 写 式 (29. 93) 为 
z=v+ Deiz; 
jEN 
=v + Jycjz;+ D cz; (因为 如 果 j E€ Bic} =0) 
JEN jEB 
ntm 
一 也 十 > cz (BANU B= {1,2,…,n 十 m})) (29. 96) 
jm) 


EF HLA HA ath ABE SEA AR Zz, MP MAW ICN, A50, UA z=. AAMAS 
型 都 是 等 价 的 ， 如 果 在 三 处 对 初始 目标 函数 求 值 ， 也 必 会 得 到 同样 的 目标 值 : 


Dorst) dz; (29. 97) 
j=1 j=l 
=v + Dres E+ de} Zj 
JEN JEB 
=v + (ci -0+ 330-3) (29. 98) 
JEN jEB 


1 
==. 0 


现在 我 们 要 说 明 式 (29. 91) 所 定义 的 了 对 这 个 对 偶 线 性 规划 是 可 行 的 ， 且 其 目标 值 为 Sos. 


BF Dor, 。 式 (29. 97) 说 明 第 一 个 和 最 后 一 个 松弛 型 用 三 求 值 是 相等 的 。 更 一 般 地 ， 所 有 松弛 
型 的 等 价 意味 着 对 任意 变量 集合 = (ayy Ts ty 2) RIA 


n ntm 
1 『 
Do; =O DIET 


j=l j=l 


因此 ， 对 任意 特定 值 集合 乏 = GZ. Be, ZB), RNA 


n ntm n n+m 

oa 了 | ACES 1 f- Ass 
z= v +2565) shy +356 TF IEF 
j=l j=1 j=1 j 


j=ntl 


n m 
| | AAS, t p 
=v + De z+ Denton 
i=1 


j=l 
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= J+ De T; + $3 (ID Beu (根据 等 式 (29. 91) 和 (29. 95)) 
a De 元 十 Voss = Xa 元 ) (根据 等 式 (29. 32) 

=v + D4 zj 一 dyes. + > X tas z;)J: 

=v + Deja, — Ño + > $) Casy) 5 

= (v — 253.) 十 a (<; + Da,) 元 


因此 ， 
EE = (v- Yow.) + P(e + Dau.) z, (29. 99) 
应 用 引 理 29. 3 到 等 式 (29. 99) 上 ， 我 们 得 到 
v — Sos, =0 (29. 100) 
dt Say, = Cs 了 一 1,2,……，72 (29. 101) 


根据 等 式 (29. 100)， 我 们 有 DY Oy, =v ， 因 此 对 偶 问题 的 目标 值 ( 267, ) 等 于 原始 问题 的 目 


标 值 (w ) 。 我 们 还 需要 说 明 解 了 对 于 对 偶 问 题 是 可 行 的 。 根 据 不 等 式 (29. 94) 和 等 式 (29. 95)， 对 
于 所 有 7 一 1， 2，…， n+m, 有 ch <0, 因此 ， 对 任意 的 7 一 1， 2，…，71， 等 式 (29. 101) 可 推出 


一 =c 十 Pay < Yas, 
这 满足 对 偶 性 的 约束 式 (29. 84) 。 最 后 ， 因为 对 每 个 jeE NUB Hic! <0, 当 我 们 根据 等 式 (29. 91) 
来 设置 了 时 ,我们 得 到 每 个 了 宇 9， 因 此 约束 的 非 负 性 也 满足 。 a 
我 们 至 今 已 说 明 给 定 一 个 可 行 的 线性 规划 ,， 若 INITIALIZE-SIMPLE 返回 一 个 可 行 解 ， 且 如 
果 SIMPLEX 终止 时 没有 返回 “无 界 ”， 那 么 返回 的 解 的 确 是 一 个 最 优 解 。 我 们 也 已 说 明 如 何 构 造 
对 偶 线性 规划 的 一 个 最 优 解 。 


练习 


29.4-1 给 出 练习 29. 3-5 中 线性 规划 的 对 偶 问题 。 

29. 4-2 ”假设 我 们 有 一 个 线性 规划 不 是 标准 型 。 我 们 需要 先 将 其 转换 成 标准 型 ， 然 后 才能 转换 为 
对 偶 。 然 而 ， 如 果 能 直接 产生 对 偶 ， 将 更 为 方便 。 说 明 我 们 如 何 能 够 直接 构造 一 个 任意 
线性 规划 的 对 偶 。 

29. 4-3 ”对 式 (29.47) 一 (29. 50) 给 出 的 最 大 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 将 此 形式 解释 为 
一 个 最 小 割 问 题 。 

29. 4-4 对 式 (29. 51) 一 (29. 52) 给 出 的 最 小 费用 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 用 图 和 流 来 
解释 这 个 问题 。 

29. 4-5 证明: 一 个 线性 规划 对 偶 的 对 偶 是 原始 线性 规划 。 

29.4-6 第 26 章 哪 一 个 结果 可 以 被 解释 成 最 大 流 问 题 的 弱 对 偶 ? 
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29.5 初始 基本 可 行 解 

在 本 节 ， 我 们 首先 描述 如 何 测试 一 个 线性 规划 是 否 可 行 ， 如 果 可 行 ， 对 基本 解 可 行 的 那些 线性 规 
划 如 何 产生 其 松弛 型 。 我 们 最 后 证 明 线性 规划 基本 定理 ， 即 SIMPLEX 过 程 永远 产生 正确 的 结果 。 

找到 一 个 初始 解 

在 29. 3 节 中 ， 假 设 有 一 个 过 程 INITIALIZE-SIMPLEX， 它 确定 一 个 线性 规划 是 否 有 任何 的 
可 行 解 ， 如 果 有 ， 则 给 出 一 个 基本 解 可 行 的 松弛 型 。 我 们 在 这 里 描述 这 个 过 程 。 

一 个 线性 规划 是 可 行 的 ， 而 其 初始 基本 解 是 不 可 行 的 ， 这 种 情况 是 可 能 出 现 的 。 例 如 考虑 下 


面 的 线性 规划 : 
最 大 化 22, — 22 (29. 102) 
满足 约束 
2an sy eZ (29. 103) 
ee = 4 (29. 104) 
X13 XL as D (29. 105) 


如 果 要 把 这 个 线性 规划 转换 成 松弛 型 ,基本 解 将 设 2 = 0, 2, 二 0。 这 个 解 违 反 了 约束 
(29. 104) ， 因 此 ， 它 不 是 一 个 可 行 解 。 因 而 ，INITIALIZE-SIMPLEX 无 法 仅 返 回 明显 的 松弛 型 。 为 
了 确定 一 个 线性 规划 是 否 有 可 行 解 ， 我 们 可 以 构成 一 个 辅助 线性 规划 。 对 这 个 辅助 线性 规划 ， 我 
们 ( 稍 加 努力 ) 就 可 以 找到 一 个 基本 解 可 行 的 松弛 型 。 进 一 步 地 ， 这 个 辅助 线性 规划 的 解 可 以 确定 
初始 线性 规划 是 否 是 可 行 的 ; 如 果 是 ， 它 将 提供 一 个 可 行 解 ， 使 得 我 们 能 够 初始 化 SIMPLEX, 

引 理 29. 11 设 二 是 一 个 标准 型 的 线性 规划 ， 在 式 (29. 16) 一 (29. 18) 中 给 出 。 设 zo 是 一 个 
MEE, Lut FHRA ntl 个 变量 的 线性 规划 : 


最 大 化 一 mo (29. 106) 
满足 约束 
Daizi—z < b, i=1,2,,m (29. 107) 
j=l 
x > 0, f= 0,1,<°,n (29. 108) 


MAL RTA H SARS LL, REA RELA 0. 

证 明 假设 式 有 一 个 可 行 解 区 二 (z!，z,，…，z,)。 那 么 这 个 解 却 二 0 与 开 一 起 是 L,w 的 一 
个 可 行 解 ， 目 标 值 为 0。 因 为 zo 宇 0 是 LL 的 一 个 约束 ， 且 目标 函数 是 最 大 化 一 x。， 所 以 这 个 解 
对 于 L。 一 定 是 最 优 的 。 

相反 ,假设 Lu AR AMAA 0. MAZ=0, AMA T KEL HAR. E 

现在 我 们 来 描述 找 出 标准 型 线性 规划 工 的 一 个 初始 可 行 解 的 策略 : 

INITIALIZE-SIMPLEX(A, b, c) 


1 let & be the index of the minimum b; 


2 ifh>0 // is the initial basic solution feasible? 
3 return ({1,2, +, n}, {n + l, + 2, + sn + m}, A, by c, 0) 
4 form Lax by adding — zo to the left-hand side of each constraint 


and setting the objective function to — zo 
let (N, B, A, b, c, v) be the resulting slack form for Li. 
l=ntk 
// Laux has n + 1 nonbasic variables and m basic variables. 
(N, B, A, b, c, v) = PIVOT(N, B, A, b, c, v, L, 0) 


// The basic solution is now feasible for Ly... 


O O NGON 


10 iterate the while loop of lines 3—12 of SIMPLEX until an optimal solution 
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to Lax is found 


11 if the optimal solution to Lwx sets Zo to 0 


12 if Z is basic 
13 perform one (degenerate) pivot to make it nonbasic 
14 from the final slack form of L,,.» remove zo from the constraints and 


restore the original objective function of L, but replace each basic 
variable in this objective function by the right-hand side of its 
associated constraint 

15 return the modified final slack form 


16 else return “infeasible” 887 


INITIALIZE-SIMPLEX 的 运行 如 下 。 第 1 一 3 4, 在 给 定 N=(1, 2, +, n}, B={n+1, 
n+2, ++, ntm}, SFA iEB 有 ;二 6b;， 以 及 对 于 所 有 JEN 有 去 ;二 0 的 条 件 下 ， 我 们 隐 含 
地 测试 L 的 初始 松弛 型 的 基本 解 。( 因 为 A、6b 和 c 的 值 在 松弛 型 与 标准 型 中 相同 ， 建 立 松 弛 型 不 
需 费 什么 力气 。) 如 果 第 2 行 中 发 现 这 个 基本 解 是 可 行 的 ， 即 对 所 有 的 iE NUBA Z,>0, WF 3 
行 返回 这 个 松弛 型 。 和 否则 ， 在 第 4 行 中 ， 我 们 如 在 引 理 29. 11 一 样 构造 辅助 线性 规划 Lo... AW 
区 的 初始 基本 解 是 不 可 行 的， 所 以 L, 的 松弛 型 的 初始 基本 人 解 也 一 定 不 可 行 。 为 了 找到 一 个 基本 
可 行 解 ， 我 们 执行 一 个 主 元 (pivot) 操 作 。 第 6 行 选择 /==n 十 作为 基本 变量 的 下 标 ， 该 基本 变量 
将 是 下 面 一 个 主 元 操作 的 替 出 变量 。 因 为 基本 变量 是 zi，z#z，…，xztm， 替 出 变量 z 将 是 负 
值 最 大 的 变量 。 第 8 行 执行 对 PIVOT 的 调用 ， 以 zo HEATER, q 为 替 出 变量 。 我 们 稍 后 会 看 
到 ， 由 此 PIVOT 的 调用 产生 的 基本 解 是 可 行 的 。 现 在 有 一 个 基本 解 可 行 的 松弛 型 ， 我 们 可 以 在 
第 10 行 重复 调用 PIVOT 来 完全 求解 出 辅助 线性 规划 。 正 如 第 11 行 中 的 测试 所 展示 的 ， 如 果 我 
们 找到 了 一 个 目标 值 为 0 的 工 ,的 最 优 解 ， 那 么 在 第 12 一 14 行 ,我 们 可 以 生成 一 个 工 的 松弛 型 ， 
其 基本 解 是 可 行 的 。 为 了 做 到 这 一 点 ， 我 们 首先 在 第 12 一 13 行 处 理 退化 情形 ， 其 中 ze 可 能 仍然 
是 基本 变量 ， 其 值 为 亏 =0。 在 这 种 情形 下 ， 我 们 执行 一 个 转动 步 又 把 zs 从 基本 解 中 移 除 ， 采 
用 任何 满足 ao. 了 0 的 eE N 作为 替 和 变量。 新 的 基本 解 仍然 可 行 ; 退化 转动 没有 改变 任何 变量 的 
值 。 下 面 我 们 从 约束 中 删除 所 有 zs 项 ， 并 且 恢 复工 的 原始 目标 函数 。 原 始 目标 函数 可 能 包含 了 
基本 变量 和 非 基 本 变量 。 因 此 ， 在 这 个 目标 函数 中 ， 我 们 将 每 个 基本 变量 用 其 关联 的 约束 的 右 部 
来 替换 。 于 是 第 15 行 返回 此 修改 后 的 松弛 型 。 另 外 ， 如 果 在 第 11 行 中 发 现 初始 线性 规划 工 是 不 
可 行 的， 那么 在 第 16 行 中 返回 这 一 信息 。 

现在 我 们 来 说 明 INITIALIZE-SIMPLEX 在 线性 规划 式 (29. 102) ~ (29. 105) 上 的 操作 。 如 果 
我 们 可 以 找到 x, 和 x, 的 非 负 值 满足 不 等 式 (29. 103) 和 (29. 104) ， 则 此 线性 规划 是 可 行 的 。 利 用 
引 理 29. 11， 构 造 辅助 线性 规划 为 : 


最 大 化 =t (29. 109) 
满足 约束 
2. — n — y < 2 (29. 110) 
a 一 5r — zx <—4 (29. 111) 
Bir Les i t O 


根据 引 理 29.11, MRANA RER e A LE 0, BB A a RE LR A TF 
如 果 这 个 辅助 线性 规划 的 最 优 目标 值 是 负 的 ， 那 么 初始 线性 规划 没有 一 个 可 行 解 。 
我 们 把 这 个 线性 规划 写成 松弛 型 ， 得 到 : 
z = = 
Te OS DB eae SE cee E 
te SS ay I OS 
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我 们 还 没有 走出 森林 ， 因 为 设 定 x, 二 一 4 的 基本 解 对 这 个 辅助 线性 规划 是 不 可 行 的 。 然 而 ， 可 以 
通过 调用 PIVOT 将 此 松弛 型 转换 成 基本 解 可 行 的 松弛 型 。 如 第 8 行 所 表明 的 ， 选 择 z 作为 替 人 
变量 。 在 第 6 行 ， 选 择 x, 作为 蔡 出 变量 ， 而 它 是 基本 解 中 负 值 最 大 的 基本 变量 。 转 动 后 ， 我 们 
得 到 松弛 型 


z = —4 = w + 5x — T4 
Xo = 4 十 Tı > 522 + Xa 
T3 = 6° = Tı ae 42, + Fo or 


对 应 的 基本 可 行 解 是 (zo， Zs Tzs Tzs 元 ) 一 (4， 0, 0, 6, 0). 现在 重复 调用 PIVOT, 直到 得 到 Li 
的 一 个 最 优 解 。 在 这 种 情况 下 ， 一 个 以 zx WAZ, xo 为 蔡 出 变量 的 PIVOT 调用 推出 


z = > 2 


ee. ee T Zz Ta 
m te 5 ee 6 
-o £14: dxo 9a Be 
i ca RT a 





这 个 松弛 型 是 此 辅助 线性 规划 的 最 终 解 。 因 为 这 个 解 中 zo 二 0， 我 们 知道 初始 问题 是 可 行 的 。 而 
且 ， 因 为 zo。 二 0， 我 们 可 以 将 其 从 约束 集合 中 移 除 。 然 后 ， 通 过 适当 地 替换 恢复 初始 目标 函数 ， 
使 其 只 包含 非 基本 变量 。 在 这 个 例子 中 ， 我 们 得 到 目标 函数 为 


A_ Zo 4 Dy ts 
5 Fae aes 


22, — qt: = 22, —( 


设 zx 二 0， 然 后 简化 ， 我 们 得 到 目标 函数 


以 及 松弛 型 
92, Zs 
i a 
Tı Ti 
t = a + 5 
14 924 Xa 
fens, Sg Se Se ae 
这 个 松弛 型 有 一 个 可 行 的 基本 解 ， 我 们 可 以 将 它 返 回 给 过 程 SIMPLEX, 
现在 我 们 形式 化 地 说 明 INITIALIZE-SIMPLEX 的 正确 性 。 
引 理 29.12 ”如 果 一 个 线性 规划 工 没 有 可 行 解 ， 那 么 INITIALIZE-SIMPLEX 返回 “不 可 行 ”; 
否则 ， 它 返回 一 个 基本 解 可 行 的 有 效 松弛 型 。 
证 明 首先 假设 线性 规划 工 没 有 可 行 解 。 那 么 根据 引 理 29. 11， 在 式 (29. 106) ~ (29. 108) 中 
定义 的 .的 最 优 目 标 值 不 是 零 ， 并 且 根 据 o 上 的 非 负 约束 ， 最 优 目标 值 必然 是 非 负 的 。 另 外 ， 


这 个 目标 值 必定 是 有 限 的 ， 因为 对 i=l, 2% hk Ns 设置 z:=0, a= | min{b,} | 是 可 行 的 ， 且 这 


个 解 的 目标 值 为 一 | min(&.} | 。 因 此 ，INITIALIZE-SIMPLEX 的 第 10 行将 找到 一 个 非 正 目标 什 
的 解 。 设 三 是 和 最 终 松 弛 型 相关 的 基本 解 。 我 们 不 能 有 二 0， 因 为 Le 将 会 有 目标 值 为 0， 与 
目标 值 为 负 的 事实 相 矛 盾 。 因 此 ， 第 11 行 的 测试 导致 第 16 行 返回 “不 可 行 ”。 

现在 假设 线性 规划 工 确实 有 一 个 可 行 解 。 从 练习 29. 3-4， 我 们 知道 如 果 对 i=1, 2, =, m 
HOSO, 那么 和 初始 松弛 型 相关 的 基本 解 是 可 行 的 。 在 这 种 情况 下 ,第 2 一 3 行将 返回 和 输入 相 
关 的 松弛 型 。( 将 标准 型 转换 成 松弛 型 很 容易 ， 因 为 A、5 和 < 在 二 者 中 相同 。) 

在 余下 的 证 明 中 ， 我 们 要 处 理 线性 规划 是 可 行 的 但 在 第 3 行 中 并 不 返回 的 情形 。 我 们 要 表明 
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在 这 种 情形 下 ， 第 4 一 10 行 找到 Le. 的 一 个 可 行 解 ， 其 目标 值 为 0。 首先 ， 根 据 第 1 一 2 行 ， 必 
b <0 

和 

bb» i€B (29. 112) 
在 第 8 行 中 ， 执 行 一 个 转动 操作 ， 其 中 替 出 变量 x,( 回 顾 /一 ”十 &， 使 得 b, 二 0) 是 具有 最 小 b: 的 
等 式 的 左 部 ， 而 替 人 变量 是 额外 添加 的 变量 zx 。 现 在 我 们 来 说 明 在 这 个 转动 之 后 ，2 的 所 有 元 素 
都 是 非 负 的 ， 因 此 ，L, 的 基本 解 是 可 行 的 。 设 是 调用 PIVOT 之 后 的 基本 解 ，b 和 BB 表 示 
PIVOT 返回 的 值 ， 引 理 29. 1 推出 


b—a.6, #i € B-le) 
z= (29. 113) 
b/a #i mn 
第 8 行 中 调用 PIVOT 有 e 王 0。 如 果 重 写 不 等 式 (29. 107)， 包 含 系数 ay, 
Sajt; <b, i=1,2,-+,m (29. 114) 
peo 
那么 
an =a, =—1, i€B (29. 115) 


(注意 ，an 是 zo 出 现在 不 等 式 (29. 114) 中 的 系数 ， 不 是 此 系数 的 负 值 ， 因 为 L, 是 在 标准 型 而 不 
是 松弛 型 中 。) 因 为 VE 下， 所 以 也 有 ac 三 一 1。 因 此 ，w/a 字 0， 于 是 元 这 0。 对 于 剩 下 的 基本 变 
量 ， 我 们 有 


T; = bi — ai b, (根据 等 式 (29. 113)) 
=b,—a,(b,/a,) (根据 PIOVT 的 第 3 行 ) 
= b,—b, (根据 等 式 (29. 115) 和 ar =— 1) 
>0 (根据 不 等 式 (29. 112)) 


这 意味 着 现在 每 个 基本 变量 都 是 非 负 的 。 因 此 ， 在 第 8 行 调用 PIVOT 后 ， 基 本 解 是 可 行 的 。 接 下 

来 ， 执 行 第 10 行 以 求解 L,。 因 为 我 们 已 经 假设 LL 有 一 个 可 行 解 ， 引 理 29. 11 意味 着 Lx 有 一 个 目 

标 值 为 0 的 最 优 解 。 因 为 所 有 的 松弛 型 都 是 等 价 的 ，L,,, 的 最 终 基本 解 必 有 元 二 0， 而 且 当 把 zx 从 

线性 规划 中 删除 后 ， 我 们 得 到 一 个 工 的 可 行 松弛 型 。 然 后 第 15 行 返回 这 个 松弛 型 。 a 
线性 规划 基本 定理 

我 们 通过 说 明 过 程 SIMPLEX 的 确 有 效 来 结束 本 章 内 容 。 特 别 地 ， 任 何 线性 规划 要 么 是 不 可 
行 的 ， 要 么 是 无 界 的 ， 要么 有 一 个 有 限 目 标 值 的 最 优 解 。 在 每 种 情况 下 ，SIMPLEX 都 能 做 出 正 
确 的 操作 。 

定理 29. 13( 线 性 规划 基本 定理 ) ”任何 以 标准 型 给 出 的 线性 规划 L 可 能 会 是 如 下 情形 : 

1. 有 一 个 有 限 目 标 值 的 最 优 解 。 

2. 不 可 行 。 

3. 无 界 。 

如 果 工 是 不 可 行 的 。SIMPLEX 返回 “不 可 行 "。 如 果 工 是 无 界 的 ，SIMPLEX 返回 “无 界 ”。 否则， 
SIMPLEX 返回 一 个 有 限 目 标 值 的 最 优 解 。 

证 明 根据 引 理 29.12， 如 果 线 性 规划 工 不 可 行 ， 那么 SIMPLEX 返回 “不 可 行 "。 现 在 假设 线性 
规划 工 是 可 行 的 。 根 据 引 理 29. 12，INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 。 因 而 根据 
引 理 29.7，SIMPLEX 或 者 返回 无界"， 或 者 以 一 个 可 行 解 终止 。 如 果 它 以 一 个 有 限 解 终止 ， 那 么 定 
H 29. 10 告诉 我 们 这 个 解 是 最 优 的 。 另 外 ， 如 果 SIMPLEX 返回 “无 界 ”， 那 么 引 理 29. 2 告诉 我 们 线性 
规划 工 的 确 是 无 界 的 。 因 为 SIMPLEX 总 是 以 这 些 方式 之 一 结束 ， 于 是 完成 证 明 。 a 
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练习 

29.5-1 写 出 详细 的 伪 代 码 来 实现 INITIALIZE-SIMPLEX 的 第 5 行 和 第 14 行 。 

29.5-2 ”请 说 明 当 SIMPLEX 的 主体 循环 部 分 被 INITIALIZE-SIMPLEX 运行 时 ， 永 远 不 会 返回 无界”。 

29. 5-3 ”假设 已 知 一 个 标准 型 的 线性 规划 L, HERBA LL 的 对 偶 问题 ,初始 松弛 型 相应 的 
基本 解 都 是 可 行 的 。 请 说 明 工 的 最 优 目标 值 是 0。 

29. 5-4 ”假设 在 一 个 线性 规划 中 我 们 允许 严格 的 不 等 式 。 请 说 明 在 这 种 情况 下 ， 线 性 规划 基本 定 


理 不 再 成 立 。 
29.5-5 用 SIMPLEX 求解 下 面 的 线性 规划 : 

最 大 化 wi 3 

满足 约束 
x = gg. SS 8 
一 ey “ie ISS 
Xi + 4% $< 2 

ZI 9X2 之 0 


29.5-6 用 SIMPLEX 求 解 下 面 的 线性 规划 : 


最 大 化 Lı 一 27? 
满足 约束 
Zl 十 2zs S 4 
= 2 = 6% < —12 
Ke Se 1 
1 9X2 = 0 


29.5-7 用 SIMPLEX 求解 下 面 的 线性 规划 : 


最 大 化 2, +32 
满足 约束 
= eo? pe ee ee 
— iy = te. Se ERS 
— 2 “ dg. S 2 
Tl 9X2 = 0 


29.5-8 求解 式 (29.6) 一 (29. 10) 给 出 的 线性 规划 。 
29.5-9 考虑 下 面 一 个 变量 的 线性 规划 ， 我 们 称 为 P: 


最 大 化 tx 
满足 约束 
res 
Z 之 0 


其 中 r+、s 和 zt 是 任意 的 实数 。 设 DEP 的 对 偶 。 
叙述 对 rr、s 和 zt 的 哪些 值 ， 可 以 做 出 如 下 断言 : 
1. P AlD 都 具有 有 限 目标 值 的 最 优 解 。 

2. P En ATH, 但 马 是 不 可 行 的 。 

3. 刀 是 可 行 的 ， 但 已 是 不 可 行 的 。 

4. P HID 都 是 不 可 行 的 。 
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思考 题 


29-1 


29-2 


29-3 


29-4 


(线性 不 等 式 的 可 行 性 ) ”给 定 一 个 在 个 变量 z1，zs，…，zx。 上 mm 个 线性 不 等 式 的 集合 ， 

线性 不 等 式 可 行 性 问题 关注 是 否 有 变量 的 一 个 设置 ， 能 够 同时 满足 每 个 不 等 式 。 

a. 证 明 : 如 果 有 一 个 线性 规划 的 算法 ， 那 么 可 以 利用 它 来 解 一 个 线性 不 等 式 可 行 性 问题 ， 
在 线性 规划 问题 中 ， 你 用 到 的 变量 和 约束 的 个 数 应 该 是 n 和 wm 的 多 项 式 。 

b. 证 明 : 如 果 有 一 个 线性 不 等 式 可 行 性 问题 的 算法 ， 那 么 可 以 用 它 来 求解 线性 规划 问题 。 
在 线性 不 等 式 可 行 性 问题 中 ， 你 用 到 的 变量 和 线性 不 等 式 的 个 数 应 该 是 n 和 m 的 多 项 
式 ， 即 线性 规划 中 变量 和 约束 的 数目 。 

(互补 松弛 性 ) 互补 松弛 性 描述 原始 变量 值 和 对 偶 约束 ， 以 及 对 偶 变量 值 与 原始 约束 之 间 

的 关系 。 设 zx 表 示 式 (29.16) 一 (29.18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 ，y 表示 式 

(29.83) 一 (29. 85) 中 给 出 的 对 偶 线性 规划 的 可 行 解 。 互 补 松弛 阐述 下 面 的 条 件 是 工 和 ? 为 

最 优 的 充分 必要 条 件 : 


aii 6) 或 者 元 = 0,7 = 1,2,.…,n 


i=] 


以 及 
Yaz, = b; 或 者 J; = 0,i = 1,2, 


a. 对 式 (29. 53)~(29. 57) 中 的 线性 规划 验证 互补 松弛 性 成 立 。 

b. 证 明 : 对 任意 的 原始 线性 规划 和 它 相 应 的 对 偶 ， 互 补 松弛 性 成 立 。 

c. 证 明 : 式 (29.16) 一 (29. 18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 乏 是 最 优 的 ， 当 且 仅 当 
存在 值 Y= Dis Vor cts Vm (HF 
1. y ÆA (29. 83) ~ (29. 85) 中 给 出 的 对 偶 线 性 规划 的 一 个 可 行 解 。 


2. 对 于 所 有 的 了 有 Das, =o. FEZ>0, UR 


3. 对 于 所 有 的 i 有 7 二 0， 于 是 Do Tj <b; 


(整数 线性 规划 ) 一 个 整数 线性 规划 问题 是 一 个 线性 规划 问题 ， 外 加 变量 z 必须 取 整 数值 
的 额外 约束 。 练 习 34. 5-3 说 明 仅 确定 一 个 整数 线性 规划 是 否 有 可 行 解 是 NP 难 的 ， 这 意味 
着 这 个 问题 目前 没有 已 知 多 项 式 时 间 的 算法 。 

a. HEAR: 弱 对 偶 性 ( 引 理 29. 8) 对 整数 线性 规划 成 立 。 

b. 证 明 : 对 偶 性 (定理 29. 10) 对 整数 线性 规划 不 总 是 成 立 。 

e 给 定 一 个 标准 型 的 原始 线性 规划 ， 我 们 定义 了 为 原始 线性 规划 的 最 优 目 标 值 ，D 为 其 
对 偶 问 题 的 最 优 目标 值 ，IP 为 整数 版 本 的 原始 问题 ( 即 原始 问题 加 上 变量 取 整 数值 的 约 
束 ) 的 最 优 目标 值 ，ID 为 整数 版 本 的 对 偶 问 题 的 最 优 目标 值 。 假 设 整数 版 本 的 原始 线性 
规划 和 其 整数 版 本 的 对 偶 线 性 规划 都 是 可 行 的 、 有 界 的 ， 请 说 明 TP<P=D<ID, 

(Farkas 引 理 ) i A—hm Xn 矩阵 ，c 为 一 个 n 维 向 量 。 那 么 Farkas 引 理 说 明正 好 有 

一 个 系统 

Ar <0 
clz>0 

以 及 

ATy =c 
y 宇 0 


[894 


[895 
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是 可 解 的 ， 其 中 工 是 一 个 n 维 向 量 ，y 是 一 个 m 维 向 量 。 证 明 Farkas 引 理 。 

29-5 (最 小 代价 流通 ) 这 个 问题 中 ， 我 们 考虑 29. 2 节 中 最 小 代价 流 问 题 的 一 个 变形 ， 其 中 我 
们 没有 给 定 需 求 、 一 个 源 点 ,或 者 一 个 汇 点 。 取 而 代 之 ,我 们 像 以 前 一 样 给 定 一 个 流 网 络 
和 边 的 代价 a(u，v)。 如 果 一 个 流 在 每 条 边 上 满足 容量 限制 ， 以 及 在 每 一 个 顶点 上 满足 流 
量 守恒 条 件 ， 则 称 它 是 可 行 的 。 我 们 的 目标 是 在 所 有 可 行 流 中 ， 找 到 一 个 代价 最 小 的 。 我 
们 把 这 个 问题 称 为 最 小 代价 流通 问题 。 

a. 把 最 小 代价 流通 问题 形式 化 为 一 个 线性 规划 。 

b. 假设 对 于 所 有 的 边 (u，v) EE， 我们 有 a(x，z 二 0。 描 绘 此 最 小 代价 流通 问题 的 一 个 最 
优 解 。 

c. 把 最 大 流 问 题 形 式 化 为 一 个 最 小 代价 流通 问题 的 线性 规划 。 也 就 是 给 定 一 个 最 大 流 问题 
的 实例 G=(V，E) ， 其 中 有 源 点 s、 汇 点 t 以 及 边 上 的 容量 限制 <， 给 定 一 个 (可 能 不 
EDERN G =(V "，E')， 具 有 边 上 容量 限制 cA， 以 及 边 上 的 代价 a ， 使 得 你 可 以 通过 
创建 一 个 最 小 代价 流通 问题 来 得 到 最 大 流 问题 的 一 个 解 。 

d. 把 单 源 最 短路 径 问题 形式 化 成 一 个 最 小 代价 流通 问题 的 线性 规划 。 


本 章 注 记 

本 章 仅仅 是 研究 线性 规划 广阔 领域 的 一 个 开始 。 许 多 书籍 都 对 线性 规划 专门 作 了 详细 的 论 
述 ， 包 括 ChvutalL69]、Gass[L130]、Karloff[197]、Schrijver[303] 和 VanderbeiL344]。 其 他 许多 
书籍 也 都 很 好 地 介绍 了 线性 规划 的 内 容 ， 包 括 Papadimitriou 和 Steiglitz[271 ]、Ahuja、Magnanti 

和 OrlinL7]。 本 章 内 容 采 用 的 是 Chvátal 的 方法 。 

线性 规划 的 单纯 形 算法 是 在 1947 年 由 G. Dantzig 提出 的 。 不 久之 后 ， 研 究 者 发 现在 各 种 领 
域 中 的 很 多 问题 都 可 以 形式 化 成 线性 规划 ， 并 使 用 单纯 形 算法 求解 。 于 是 ， 线 性 规划 的 许多 应 用 
和 许多 相关 算法 繁荣 起 来 。 单 纯 形 算法 的 很 多 不 同形 式 仍然 是 求解 线性 规划 问题 的 最 流行 的 方 
法 。 这 段 历史 在 很 多 地 方 都 有 记载 ， 包 括 文献 [69] 和 文献 L197] 中 的 注 记 。 

椭 球 算法 是 线性 规划 的 第 一 个 多 项 式 时 间 算 法 ， 在 1979 年 由 L. G. Khachian 提出 ; ELA 
N. Z. Shor, D. B. Judin 和 A. S. Nemirovskii 的 早期 工作 为 基础 。Grotschel、Lovdsz 和 Schrijver 
[154] 在 组 合 优化 中 描述 如 何 使 用 椭 球 算法 来 解 各 种 问题 。 到 目前 为 止 ， 在 实践 中 ， 椭 球 算法 看 
起 来 还 无 法 与 单纯 形 算法 媲美 。 

Karmarkar 的 论文 [198j 包 含 了 第 一 个 内 点 算法 的 描述 。 他 之 后 的 许多 研究 者 都 设计 出 了 内 
点 算法 。 在 Goldfarb 和 Todd[141] 的 文章 以 及 Ye[L361j] 的 书 中 都 有 好 的 综述 。 

单纯 形 算法 的 分 析 在 研究 领域 仍然 活跃 。V. Klee 和 G. J. Minty 构造 了 一 个 单纯 形 算法 运行 
2" 一 1 次 迭代 的 例子 。 单 纯 形 算法 通常 在 实践 中 执行 得 非常 好 ,许多 研究 者 尝试 给 出 这 个 实验 观 
察 的 理论 依据 。 有 一 类 研究 是 由 K. H. Borgwardt 开始 ， 然 后 其 他 许多 人 继续 进行 ， 显 示 在 输入 
的 某 些 概 率 假设 下 ， 单 纯 形 算法 在 多 项 式 时 间 期 望 内 收敛 。Spielman 和 TengL322] 在 这 个 领域 中 
取得 了 进展 ， 他 们 引入 了 “算法 的 平滑 分 析 ” 并 将 其 应 用 到 单纯 形 算法 上 。 

已 知 单纯 形 算法 在 某 些 特殊 情况 下 会 运行 得 更 有 效率 。 特 别 值得 注意 的 是 ， 网 络 单纯 形 算 
法 ， 即 专门 用 于 网 络 流 问题 的 单纯 形 算法 。 对 某 些 网 络 问题 ， 包 括 最 短路 径 、 最 大 流 和 最 小 代价 
流 问 题 ， 网 络 单纯 形 算法 的 不 同形 式 在 多 项 式 时 间 内 运行 。 例 如 ， 参 考 OrlinL268] 的 文章 和 里 面 

的 引用 。 
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多 项 式 与 快速 傅 里 叶 变 换 


两 个 n 次 多 项 式 相 加 的 最 直接 方法 所 需 的 时 间 为 80z)， 但 是 相 乘 的 最 直接 方法 所 需 的 时 间 为 OOP) 
在 本 章 中 ， 我 们 将 讨论 快速 傅 里 叶 变换 ， 或 者 FFT， 如 何 使 多 项 式 相 乘 的 时 间 复 杂 度 降低 为 (nlgn)。 

傅 里 叶 变换 的 最 常见 用 途 是 信号 处 理 ， 这 也 是 快速 傅 里 叶 变换 的 最 常见 用 途 。 信 和 号 通常 在 
时 间 域 中 给 出 : 一 个 把 时 间 映 射 到 振幅 的 函数 。 传 里 叶 分 析 允 许 我 们 将 时 间 域 上 信和 号 表示 成 不 
同 频率 的 相 移 正弦 曲线 的 加 权 伙 加。 和 频率 相关 的 权重 和 相位 在 频率 域 中 刻画 出 信号 的 特征 。 
FFT 有 很 多 日 常 应 用 ， 如 压缩 技术 ， 可 用 于 编码 数字 视频 和 音频 信息 ， 包 括 MP3 文件 。 在 信号 
处 理 这 一 丰富 的 研究 领域 中 有 不 少 很 好 的 参考 书 ; 本 章 注 记 将 列 出 其 中 一 些 。 

多 项 式 

一 个 以 z 为 变量 的 多 项 式 定义 在 一 个 代数 域 玉 上 ， 将 函数 A(z) 表 示 为 形式 和 : 


nl 
A(z) = 53 ajz’ 
0 


我 们 称 Qos Qis ***s Ay-1 为 如 上 多 项 式 的 系数 ， 所 有 系数 都 属于 域 F, 典型 的 情形 是 复数 集合 C3 
如 果 一 个 多 项 式 A(Cz) 的 最 高 次 的 非 零 系 数 是 w， 则 称 A(z) 的 次 数 是 &， 记 degree(A)=k. FEAT 
严格 大 于 一 个 多 项 式 次 数 的 整数 都 是 该 多 项 式 的 次 数 界 ， 因 此 ， 对 于 次 数 界 为 n 的 多 项 式 ， 其 次 
数 可 以 是 0 一 * 一 1 之 间 的 任何 整数 ， 包 括 0 和 nn 一 1。 

我 们 在 多 项 式 上 可 以 定义 很 多 不 同 的 运算 。 对 于 多 项 式 加 法 ， 如 果 A(Gz) 和 B(Cz) 是 次 数 界 为 
2 的 多 项 式 ， 那 么 它们 的 和 也 是 一 个 次 数 界 为 对 的 多 项 式 C(z)， 对 所 有 属于 定义 域 的 zx， 都 有 
C(xz) 二 A(z) 十 B(z)。 也 就 是 说 ， 若 





A(x) = yee 
PA j=0 

B(x) = Sg 
则 和 

C(x) = Sor 


其 中 对 于 j=0, 1, +, n—-1, c=a tb. AM, MRABMAR A(x) =6 H7 —10r+9 和 
B(x) =—22°+42—5, BBA C(x) =42° +72’? —6r+4., 
对 于 多 项 式 乘法 ， 如果 A(z) 和 BOO PEKRAH n 的 多 项 式 ， 则 它们 的 乘积 CCz) 是 一 个 
次 数 界 为 2n 一 1 的 多 项 式 ， 对 所 有 属于 定义 域 的 x， 都 有 C(x) 二 A(z) B(x)。 读 者 或 许 以 前 也 学 
过 多 项 式 乘法 ， 其 方法 是 把 A(z) 中 的 每 一 项 与 B(z) 中 的 每 一 项 相 乘 ， 然 后 再 合并 同类 项 。 例 
如 ， 我 们 可 以 对 两 个 多 项 式 Al) =6r H72 — 10r +9 和 B(x) 二 一 2z’ 十 47 一 5 进行 如 下 的 乘法 : 
62° + 72°— 10z 十 9 
— 22° + 4z 一 5 
— 302° — 352° + 50x — 45 
242'+ 282° — 402° + 36x 
— 122° — 142° + 202z'— 18x 
— 122° — 142° + 442*— 202° — 752° + 86x—45 
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另外 一 种 表示 乘积 C(x) 的 方法 是 
C(x) = > cx? (30. 1) 


j=0 


其 中 
Baby (30. 2) 
k=0 


注意 ，degree(C) =degree(A) +degree(B), BREWER A 是 次 数 界 为 n。 的 多 项 式 ，B 是 次 数 界 
An, 的 多 项 式 ， 那么 C 是 次 数 界 为 n, 十 n 一 1 的 多 项 式 。 因 为 一 个 次 数 界 为 & 的 多 项 式 也 是 次 数 
界 为 十 1 的 多 项 式 ， 所 以 通常 称 乘积 多 项 式 C 是 一 个 次 数 界 为 n, 十 n 的 多 项 式 。 

本 章 概 述 

30.1 节 介绍 两 种 表示 多 项 式 的 方法 : 系数 表达 和 点 值 表达 。 当 我 们 用 系数 表达 表示 多 项 式 
时 ， 多 项 式 ( 式 (30. 1) 和 式 (30. 2)) 乘 法 的 最 直接 算法 所 需 运 行 时 间 为 OG’), 但 采用 点 值 表达 ， 
运行 时 间 仅 为 9(z) 。 然 而 ， 我 们 通过 对 这 两 种 表示 法 进行 转换 ， 采 用 系数 表达 求 多 项 式 乘积 ， 
可 以 使 运行 时 间 变 为 8(nlgn)。 为 了 和 弄 清 这 种 方法 为 什么 可 行 ， 我 们 必须 在 30. 2 节 中 首先 学 习 
单位 复数 根 。 然 后 ， 我 们 运用 FFT 和 它 的 逆 变 换 ( 也 在 30. 2 节 中 介绍 ) 来 执行 上 述 转 换 。30. 3 节 
将 展示 如 何在 串 行 模型 和 并 行 模型 上 快速 实现 FFT., 

本 章 大 量 使 用 了 复数 ， 并 且 专 用 符号 i 表示 MV 一 1。 


30. 1 多 项 式 的 表示 


从 某 种 意义 上 ， 多 项 式 的 系数 表达 与 点 值 表达 是 等 价 的 ， 即 用 点 值 形式 表示 的 多 项 式 都 对 
应 唯一 系数 形式 的 多 项 式 。 在 本 节 中 ， 我 们 将 介绍 这 两 种 表示 方法 ， 并 展示 如 何 把 这 两 种 表示 法 
结合 起 来 ， 以 使 两 个 次 数 界 为 n 的 多 项 式 乘 法 运算 在 OC lgo HAER. 

系数 表达 


对 一 个 次 数 界 为 n HARK A (x) = Daz’ 而 言 ， 其 系数 表达 是 一 个 由 系数 组 成 的 向 量 a= 


(ao，a1，*…，as-1)。 在 本 章 所 涉及 的 矩阵 方程 中 ， 我 们 一 般 将 向 量 作 为 列 向 量 看 待 。 

采用 系数 表达 对 于 多 项 式 的 某 些 运 算是 很 方便 的 。 例 如 ， 对 多 项 式 A(z) 在 给 定点 zo 的 求 值 
运算 就 是 计算 AC ) 的 值 。 使 用 霍 纳 法 则 ， 我 们 可 以 在 8(n) 时 间 复 杂 度 内 完成 求 值 运 算 : 

A(zo) 三 ao 十 zo(ai 十 mo(as 十 … 十 zo(a 十 zo(a ii))…)) 

类 似 地 ， 对 两 个 分 别 用 系数 向 量 (a6，al ，…，q A D= (hy, by ，…，b-1) 表 示 的 多 项 式 进行 相 
加 时 ， 所 需 的 时 间 是 8(n); 我 们 仅 输 出 系数 向 量 c= 二 (oo，a，…，c,_1)， 其 中 对 j= 二 0，1，…， 
n—1, c;=a;+6;. 

现在 来 考虑 两 个 用 系数 形式 表示 的 、 次 数 界 为 n 的 多 项 式 A(z) 和 B(z) 的 乘法 运算 。 如 果 用 
式 (30. 1) 和 式 (30.2) 中 所 描述 的 方法 ， 完 成 多 项 式 乘 法 所 需 时 间 就 是 B(x )， 因 为 向 量 a 中 的 每 
个 系数 必须 与 向 量 5 中 的 每 个 系数 相 乘 。 当 用 系数 形式 表示 时 ， 多 项 式 乘 法 运算 似乎 要 比 求 多 项 
式 值 和 多 项 式 加 法 的 运算 更 困难 。 由 式 (30. 2) 推 导 给 出 的 系数 向 量 c 也 称 为 输入 向 量 a 和 2 的 卷 
积 (convolution) ， 表 示 成 “一 aC9%。 因 为 多 项 式 乘 法 与 卷 积 的 计算 都 是 最 基本 的 计算 问题 ， 这 些 
问题 在 实际 应 用 中 非常 重要 ， 所 以 本 章 将 重点 讨论 有 关 的 高 效 算法 。 

点 值 表 达 

一 个 次 数 界 为 n 的 多 项 式 A(zx) 的 点 值 表 达 就 是 一 个 由 个 点 值 对 所 组 成 的 集合 

{Cato Yo) s (a 91) s**t 9 (Let Yna)? 
使 得 对 k=O, 1, s n—-1, HA zi 各 不 相同 ， 
ye = AC xy) (30. 3) 
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一 个 多 项 式 可 以 有 很 多 不 同 的 点 值 表 达 ， 因 为 可 以 采用 nn 个 不 同 的 点 zo。，zi，…，Z,-1 构 成 的 集 
合作 为 这 种 表示 方法 的 基 。 

对 一 个 用 系数 形式 表达 的 多 项 式 来 说 ， 在 原则 上 计算 其 点 值 表达 是 简单 易 行 的 ， 因 为 我 们 
所 要 做 的 就 是 选取 nn 个 不 同 xo。，xz1，…，Zz,-1， 然 后 对 二 0，1，…， n 一 1 RH Alr). RHE 
纳 法 则 ， 求 出 这 个 点 值 所 需 时 间 复 杂 度 为 8(w)。 在 稍 后 可 以 看 到 ， 如 果 我 们 巧妙 地 选取 点 
Xz， 就 可 以 加 速 这 一 计算 过 程 ， 使 其 运行 时 间 变 为 @(nlgn)。 

求 值 计算 的 逆 ( 从 一 个 多 项 式 的 点 值 表 达 确 定 其 系数 表达 形式 ) 称 为 插值 。 下 面 定理 说 明 ， 当 
插值 多 项 式 的 次 数 界 等 于 已 知 的 点 值 对 的 数目 ， 插 值 才 是 明确 的 。 

定理 30. 1( 插 值 多 项 式 的 唯一 性 ) ”对 于 任意 nn 个 点 值 对 组 成 的 集合 {Czo，%)，(ZI，Y1)，…， 
Camis Imi) APAK 必 都 不 同 ; 那么 存在 唯一 的 次 数 界 为 nn 的 多 项 式 A(T)， 满 足 y= 
Alay), k=0, 1, e, n—l. 

证 明 证 明 主 要 是 根据 某 个 矩阵 存在 逆 和 矩阵 。 式 (30. 3) 等 价 于 矩阵 方程 


1 2 ess nl 


To To To Qo Yo 
2 nl 
1 Tı I 7 a 
1 1 1 n 
f ; = à (30. 4) 
2 n-l a 
1 -1 Tri Tr wl wl 


左边 的 矩阵 表示 为 Vamos tis 5 Se) 称 为 范 德 蒙 德 矩阵 ， 根据 思考 题 D1, 该 矩阵 的 
行列 式 值 为 


Ae —2z;) 


因此 ， 由 定理 D.5， 如 果 zx 皆 不 同 ， WZ AIE E ETT a CTIE RRD. 因此 ， 给 定点 值 表 达 ， 
我 们 能 够 唯一 确定 系数 a: 
a = V(x 919° Tr) Y a 
定理 30. 1 的 证 明 过 程 描述 了 基于 求解 线性 方程 组 ( 式 (30. 4)) 的 一 种 插值 算法 。 利 用 第 28 章 
中 的 LU 分 解 算法 ， 我 们 可 以 在 OC ) 的 时 间 复 杂 度 内 求 出 这 些 方程 的 解 。 
一 种 更 快 的 基于 个 点 的 揪 值 算法 是 基于 如 下 拉 格 朗 日 公式 : 


n—1 TI ZZ) 
A(x) = -一 一 30. 5) 
名 > I (zh = Tj ) ‘ 


读者 可 以 验证 等 式 (30. 5) 的 右 端 是 一 个 次 数 界 为 n 的 多 项 式 ， 并 满足 对 所 有 k, Ala) = y H 
习 30. 1-5 要 求 读者 运用 拉 格 朗 日 公式 ， 在 Bw) 的 时 间 复 杂 度 内 计算 A 的 所 有 系数 。 
因此 ，n 个 点 的 求 值 运 算 与 插值 运算 是 定义 完备 的 互 逆 运 算 ， 它们 将 多 项 式 的 系数 表达 与 点 
值 表达 进行 相互 转化 ?>。 对 于 这 些 给 出 的 问题 ， 上 面 给 出 算法 的 运行 时 间 为 OO). 
对 许多 多 项 式 相关 的 操作 ， 点 值 表达 是 很 便利 的 。 对 于 加 法 ， 如 果 CCz)=A(z) 十 B(z)， 则 
对 任意 点 m WE CCzi) 二 A(zi) 十 B(zs)。 更 准确 地 说 ， 如 果 已 知 A 的 点 值 表达 
{ (20 s Yo) 9 Tis YT yo 
和 B 的 点 值 表 达 
{Cay ;0)s (ay Mi Jare © ae Vet )} 
(注意 ，A Al B 在 相同 的 ?个 位 置 求 值 )， 则 C 的 点 值 表 达 是 
{ (x yo + yo) 9 (ais + yi 7) 和 … (Ze 9M + Yr )} 


O MEMKE, EAA SR TR AY PE Bee LEEM, 但 在 计 
算 期 间 输入 的 微小 不 同 ， 或 者 四 会 五 人 的 误差 都 会 造成 结果 的 很 大 不 同 。 
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因此 ， 对 两 个 点 值 形式 表示 的 次 数 界 为 n 的 多 项 式 相 加 ， 所 需 时 间 复 杂 度 为 On). 

类 似 地 ， 对 于 多 项 式 乘法 ， 点 值 表 达 也 是 方便 的 。 如 果 Clr) =Alz) B(xz)， 则 对 于 任意 点 
Trs CCa) =A) Blr), FEX A 的 点 值 表达 和 B 的 点 值 表 达 进 行 逐 点 相 乘 ， 就 可 得 到 C 的 
点 值 表 达 。 不 过 ， 我 们 也 必须 面 对 这 样 一 个 问题 ， 即 degree(C) 王 degree(A) 十 degree(B); 如 果 
A 和 B 次 数 界 为 nx， 那么 C 的 次 数 界 为 2z。 对 于 A 和 B 每 个 多 项 式 而 言 ， 一 个 标准 点 值 表达 是 
由 个 点 值 对 所 组 成 。 当 我 们 把 这 些 点 值 对 相 乘 ， 就 得 到 C 的 =” 个 点 值 对 ， 由 于 C 的 次 数 界 为 
2n， 要 插值 获得 唯一 的 多 项 式 C， 我 们 需要 2n 个 点 值 对 (参见 练习 30. 1-4) 。 因 此 ， 必 须 对 A 和 
B 的 点 值 表达 进行 “扩展 ”， 使 每 个 多 项 式 都 包含 2n 个 点 值 对 。 给 定 A 的 扩展 点 值 表 达 


{(zo Yo) s C21 1V1) ,Tor 9 Yn 1)} 
Al B 的 对 应 扩展 点 值 表达 : 
{(zo Yo) (2 vi dere s (ten Yz )} 
则 C 的 点 值 表 达 为 
{Cto yoyo (ay sAN ) se, (Lae 19 en 1 ens) } 


给 定 两 个 点 值 扩 展 形式 的 输入 多 项 式 ， 我 们 可 以 看 到 使 其 相 乘 而 得 到 点 值 形式 的 结果 需要 OC) 
时 间 ， 比 采用 系数 形式 表达 的 多 项 式 相 乘 所 需 时 间 少 得 多 。 

最 后 ， 我 们 考虑 对 一 个 采用 点 值 表达 的 多 项 式 ， 如 何 求 其 在 某 个 新 点 上 的 值 。 对 这 个 问题 ， 
最 简单 不 过 的 方法 就 是 先 把 该 多 项 式 转换 为 系数 形式 表达 ， 然 后 在 新 点 处 求 值 。 

系数 形式 表示 的 多 项 式 的 快速 乘法 

我 们 能 否 利用 基于 点 值 形式 表达 的 多 项 式 的 线性 时 间 乘 法 算法 ， 来 加 速 基于 系数 形式 表达 
的 多 项 式 乘 法 运算 呢 ? 答案 关键 在 于 我 们 能 否 快 速 把 一 个 多 项 式 从 系数 形式 转换 为 点 值 形式 ( 求 
值 )， 以 及 从 点 值 形式 转换 为 系数 形式 (插值 ) 。 

我 们 可 以 采用 任何 点 作为 求 值 点 ， 但 通过 精心 地 挑选 求 值 点 ， 可 以 把 两 种 表示 法 之 间 转 化 
所 需 的 时 间 复 杂 度 变 为 8(n lgn)。 如 将 在 30. 2 节 看 到 的 ， 如 果 选 择 “ 单 位 复数 根 ”" 作 为 求 值 点 ， 
我 们 可 以 通过 对 系数 向 量 进 行 离散 傅 里 叶 变 换 ( 或 DFT)， 得 到 相应 的 点 值 表达 。 我 们 也 可 以 通 
过 对 点 值 对 执行 “ 逆 DFT” 变 换 ， 而 获得 相应 的 系数 向 量 ， 这 样 就 实现 了 求 值 运算 的 逆 运 算 一 一 
插值 。30. 2 节 将 说 明 FFT 如 何在 (nlgn) 的 时 间 复 杂 度 内 完成 DFT 和 逆 DFT 运算 。 

图 30-1 图 解 了 这 种 策略 。 其 中 的 一 个 细节 涉及 次 数 界 。 两 个 次 数 界 为 n 的 多 项 式 乘 积 是 一 
个 次 数 界 为 2n 的 多 项 式 。 因 此 ， 在 对 输入 多 项 式 A AB 进行 求 值 以 前 ， 首 先 把 这 两 个 多 项 式 在 
高 次 系数 前 添加 个 0， 使 其 次 数 界 加 倍 为 2z。 因 为 现在 这 些 向 量 有 2n 个 元 素 ， 我 们 可 以 采用 
“2n 次 单位 复数 根 ”， 在 图 30-1 中 标记 为 wz。 









MHO) 


时 间 O(n lg n) 








A(@>,), BCO) 
Alon), B(o',,) 





时 间 O(n) 






Alon), Box) 


图 30-1 一 种 高 效 的 多 项 式 乘 法 过 程 图 示 。 上 方 代表 系数 形式 表达 ， 下 方 代表 点 值 形 
式 表达 。 从 左 到 右 的 箭头 对 应 于 乘法 操作 。 项 wx 是 2n 次 单位 复数 根 


给 定 FFT， 我 们 就 有 下 面 时 间 复 杂 度 为 9(nlgn) 的 方法 ， 该 方法 把 两 个 次 数 界 为 n 的 多 项 式 
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AH B(z) 进 行 乘法 运算 ， 其 中 输入 与 输出 均 采 用 系数 表达 。 假 设 ” 是 2H. KHL, RN 
可 以 通过 添加 系数 为 0 的 高 阶 系 数 ， 来 满足 这 个 要 求 。 

1. 加 倍 次 数 界 : 通过 加 入 nn 个 系数 为 0 的 高 阶 系数 ， 把 多 项 式 A(z) 和 B(x) 变 为 次 数 界 为 
2n 的 多 项 式 ， 并 构造 其 系数 表达 。 

2. 求 值 : 通过 应 用 2n 阶 的 FFT 计算 出 A(Cz) 和 BCz) 的 长 度 为 2n 的 点 值 表达 。 这 些 点 值 表 
达 中 包含 了 两 个 多 项 式 在 2n 次 单位 根 处 的 取 值 。 

3. 逐 点 相 乘 : 把 A(z) 的 值 与 B(Cz) 的 值 逐 点 相 乘 ， 可 以 计算 出 多 项 式 Cz) = A(z) Bia) H 
点 值 表 达 ， 这 个 表示 中 包含 了 CCz) 在 每 个 2n 次 单位 根 处 的 值 。 

4. 插值 : 通过 对 2n 个 点 值 对 应 用 FFT, 计算 其 逆 DFT， 就 可 以 构造 出 多 项 式 CC(z) 的 系数 
表达 。 
执行 第 1 步 和 第 3 步 所 需 时 间 为 OC), FATES 2 步 和 第 4 步 所 需 时 间 为 @(nlgn)。 因 此 ,一 
且 表 明 如 何 运用 FFT， 我 们 就 已 经 证 明了 下 面 定理 。 

定理 30.2 当 输 入 与 输出 多 项 式 均 采 用 系数 表达 时 ,我们 就 能 在 (nlgn) 时 间 复 杂 度 内 ， 计 
算出 两 个 次 数 界 为 nn 的 多 项 式 夹 积 。 加 


练习 


30. 1-1 运用 等 式 (30.1) 和 (30. 2) 把 下 列 两 个 多 项 式 相 乘 : A(x) =7r — 2’ +2—-10 Al B(x) = 
8z 一 6z 十 3。 

30. 1-2 求 一 个 次 数 界 为 n 的 多 项 式 A(z) 在 某 给 定点 zo 的 值 存 在 另外 一 种 方法 ; 把 多 项 式 A(z) 
除 以 多 项 式 (z 一 x。)， 得 到 一 个 次 数 界 为 n— 1 的 商 多 项 式 g(x) 和 余 项 r+， 满足 AC) = 
q(z)(z 一 Zo) 十 r。 很 明显 ，A(zo) 二 +。 请 说 明 如 何 根 据 xz。 和 A 的 系数 ,在 8(n) 的 时 间 
复杂 度 内 计算 出 余 项 7r 以 及 q(x) 的 系数 。 

30.1-3 M A(z) = Da 的 点 值 表达 推导 出 A™(zx) = Daa jz 的 点 值 表 达 ， 假 设 没 有 一 个 
点 是 0。 

30. 1-4 WEH: 为 了 唯一 确定 一 个 次 数 界 为 n 的 多 项 式 , nn 个 相互 不 同 的 点 值 对 是 必需 的 ， 也 就 
是 说 ， 如 果 给 定 少 于 个 不 同 点 值 对 ， 则 它们 不 能 唯一 确定 一 个 次 数 界 为 n 的 多 项 式 。 
(提示 : 利用 定理 30.1， 加 入 一 个 任意 选择 的 点 值 对 到 一 个 已 有 ”一 1 个 点 值 对 的 集合 ， 
看 看 会 发 生 什么 ?) 

30. 1-5 说明 如 何 利 用 等 式 (30. DE (ww) 时 间 复 杂 度 内 进行 插值 运算 。( 提 示 : 首先 计算 多 项 
R [| (x 一 z) 的 系数 表达 ， 然 后 把 每 个 项 的 分 子 除 以 (zr 一 zx); 参见 练习 30. 1-2。 你 可 


以 在 O(n) 时 间 复 杂 度 内 计算 ?个 分 母 中 的 每 一 个 。) 

30.16 ”请 解释 在 采用 点 值 表达 时 ， 用 “显然 ”的 方法 来 进行 多 项 式 除法 ， 哪 里 出 现 了 错误 ， 即 除 
以 相应 的 y 值 。 请 对 除法 有 确定 结果 与 无 确定 结果 两 种 情况 分 别 进行 讨论 。 

30. 1-7 考虑 两 个 集合 A 和 B， 每 个 集合 包含 取 值 范围 在 0~10n 之 间 的 个 整数 。 我 们 希望 计 
算出 A 与 B 的 笛 卡 儿 和 ， 定 义 如 下 : 

C= {z+y:TE A,y € B} 

注意 到 ，C 中 整数 值 的 范围 在 O~20n 之 间 。 我 们 希望 找到 C 中 的 元 素 ， 并 且 求 出 C 中 
的 每 个 元 素 可 表示 为 A 中 元 素 与 B 中 元 素 和 的 次 数 。 请 在 O(nlgn) 的 时 间 内 解决 这 个 问 
题 。( 提 示 : 请 用 次 数 至 多 是 10n 的 多 项 式 来 表示 A AB.) 


30.2 DFT 与 FFT 
在 30.1 节 中 ， 我们 断言 : 如 果 使 用 单位 复数 根 ， 可 以 在 @(nlgn) 时 间 内 完成 求 值 与 插值 运 
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算 。 在 本 节 中 ， 我 们 给 出 单位 复数 根 的 定义 ， 并 研究 其 性 质 ， 以 及 定义 DFT， 然 后 说 明 FFT 如 
何 仅 用 9B(zlgz) 时 间 就 可 以 计算 出 DFT 和 它 的 逆 。 
单位 复数 根 
n 次 单位 复数 根 是 满足 w" 二 1 的 复数 w. n 次 单位 复数 根 恰好 有 个 : 对 于 R=0, 1, s 
?一 1， 这 些 根 是 ew”。 为 了 解释 这 个 表达 式 ， 我 们 利用 复数 的 指数 形式 的 定义 : 
e“ = cos(u) + isin(u) 
图 30-2 说 明 n 个 单位 复数 根 均匀 地 分 布 在 以 复 平 
面 的 原点 为 圆心 的 单位 半径 的 圆周 上 。 值 
w, = enn (30. 6) 
PAE n KRATRE, HAT n KAS BAB 
E wn HEK. 
nS nT ans ahs o an ERA 
意义 下 形成 一 个 群 (参见 31.3 节 )。 该 群 与 加 法 群 
(Zi, +) (整数 模 n) 具有 相同 的 结构 ， 因 为 ww = 
中 三 1 意味 着 oh, ot =o," =a PEAS, = 二 
wr!。 下 面 的 引 理 给 出 了 nn 次 单位 复数 根 的 一 些 基 图 30-2 在 复 平 面 上 w abs or ob 的 值 , 其 





本 性 质 。 中 cog = 07" FEE 8 次 单位 根 
引 理 30. 3( 消 去 引 理 ) 对 任何 整数 n=0, k>0, AA d>0, 
wn = wt (30. 7) 

证 明 ”由 式 (30. 6) 可 以 直接 推出 引 理 ， 因 为 

wt = (n/m ja = (ezri/n tk =, at 图 
推论 30.4 对 任意 偶数 n>, A 

on? =a =—1 

证 明 证 明 留 作 练习 30. 2-1. a 


5132 30. 5( 折 半 引 理 ) te Rn>0 为 偶数 ， 那 么 n 个 n 次 单位 复数 根 的 平方 的 集合 就 是 n/2 
个 n/2 次 单位 复数 根 的 集合 。 

证 明 根据 消去 引 理 ， 对 任意 非 负 整 数 &k， 我 们 有 (wh)? 二 wi:。 注 意 ， 如 果 对 所 有 nn 次 单位 
复数 根 进 行 平方 ， 那 么 获得 每 个 n/2 次 单位 根 正好 2 次 ， 因 为 


Cah? )? = waht" = ww = we = (at)? 
因此 ， on Son”? 平方 相同 。 我 们 也 可 以 由 推论 30.4 来 证 明 该 性 质 ， 因 为 ww 二 一 1 意味 着 
二 一 此 ， 所 以 (wt)? 二 (wt)?。 a 


我 们 将 会 看 到 ， 折 半 引 理 对 于 用 分 治 策略 来 对 多 项 式 的 系数 与 点 值 表达 进行 相互 转换 是 非 
常 重要 的 ， 因 为 它 保 证 递归 子 问题 的 规模 只 是 递归 调用 前 的 一 半 。 
引 理 30. 6( 求 和 引 理 ) 对 任意 整数 nD] 和 不 能 被 nn 整除 的 非 负 整 数 k， 有 


证 明 FACA 5) 既 适用 于 实数 ， 也 适用 于 复数 ， 因 此 有 
dl Cel (1) 一 1 
Dj (a) ~ l l wl 


因为 要 求 & 不 能 被 整除， 而且 仅 当 被 n 整除 时 ww 二 1 成立， 同时 保证 分 母 不 为 0。 





=0 


O 很 多 其 他 作者 对 on 有 不 同 的 定义 : mm 一 e 2=/"。 这 个 可 替 的 定义 一 般 用 在 信号 处 理应 用 中 。 这 两 个 om 的 定义 ， 


其 背后 的 数学 含义 基本 上 是 相同 的 。 
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gE 
A(x) = Sg 
Eat, whe obs vee of 处 的 值 ( 即 在 个 次 单位 复数 根 处 )S>。 假 设 A 以 系数 形式 给 出 : 
a 二 (aqo，a1，……，a,-1)。 接 下 来 对 k= 二 0，1，…，n 一 1， 定 义 结果 y: 
iy = ACG S Saot (30. 8) 


向 量 y= lys ，y% ，…，yw-1) 就 是 系数 向 量 4a 二 (a。，al，*…，a,1) 的 离散 傅 里 了 叶 变 换 (DFT)。 我 
们 也 记 为 »y=DFT, (a). 
FFT 
通过 使 用 一 种 称 为 快速 傅 里 叶 变换 (FFT) 的 方法 ， 利用 复数 单位 根 的 特殊 性 质 ， 我 们 就 可 以 
在 Blnlgnn) 时 间 内 计算 出 DFT,(a)， 而 直接 的 方法 所 需 时 间 为 8(w*)。 通 篇 假设 恰好 是 2 的 整 
数 寡 。 尽 管 处 理 非 2 的 整数 宕 的 策略 已 存在 ， 但 它们 超出 了 本 书 的 范围 。 
FFT 利用 了 分 治 策略 ， 采 用 A(Cz) 中 偶数 下 标的 系数 与 奇数 下 标的 系数 ， 分 别 定 义 两 个 新 的 
次 数 界 为 n/2 的 多 项 式 AM (x) AM (x): 
A(x) = as tartar +e tH a,oa 
AY (x) = a taxtaz’ +e +a, r" 
注意 到 ，A'(z) 包 含 A 中 所 有 偶数 下 标的 系数 (下 标的 相应 二 进 制 表达 的 最 后 一 位 为 0)， 以 及 
AD(z) 包 含 A 中 所 有 奇数 下 标的 系数 (下 标的 相应 二 进 制 表达 的 最 后 一 位 为 1) 。 于 是 有 
A(x) = A (27) + 2A (2?) (30. 9) 
PRU, 求 A(z) 在 内 ，wm，…， 迪 处 的 值 的 问题 转换 为 : 
1. 求 次 数 界 为 n/2 的 多 项 式 AM (2) Al AM (2) FER 
Ca)? (as )2， Ca)? (30. 10) 
的 取 值 。 
2. 根据 式 (30. 9 综合 上 述 结果 。 
根据 折 半 引 理 ， 式 (30. 10) 并 不 是 由 个 不 同 值 组 成 ， 而 是 仅 由 n/2 个 n/2 次 单位 复数 根 所 
组 成 ， 每 个 根 正好 出 现 2 次。 因此， 我 们 递归 地 对 次 数 界 为 n/2 的 多 项 式 A 中 (zx) 和 AY (2) FE 
n/2 个 n/2 次 单位 复数 根 处 进行 求 值 。 这 些 子 问 题 与 原始 问题 形式 相同 ， 但 规模 变 为 一 半 。 现 在 ， 
我 们 已 成 功 地 把 一 个 个 元 素 的 DFT, 计算 划分 为 两 个 规模 为 n/2 个 元 素 的 DFTy; 计 算 。 这 一 分 
解 是 下 面 递归 FFT 算 法 的 基础 ， 此 算法 计算 出 一 个 由 n SCRA A a= Cay, a, s anma) 
的 DFT, 其 中 ， n 是 2 WA. 


RECURSIVE-FFT(a) 


1 n=a. length // nis a power of 2 
2 ifn==1 

3 return a 

4 amen 

5 w=1 

6 a= (agaz, san2) 

7 a™=(a saz, sani) 

8 y =RECURSIVE-FFT (a) 


© 


这 里 的 长 度 n 实 际 上 是 30. 1 节 中 所 指 的 22， 因 为 我 们 可 以 在 求 值 以 前 ， 加 倍 给 定 多 项 式 的 次 数 界 。 因 此 ， 在 多 
项 式 乘法 的 相关 内 容 中 ， 实 际 上 处 理 的 是 2n 次 单位 根 。 
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9 y =RECURSIVE-FFT (a) 
10 for $=0 to n/2—1 


11 n= Hoy 

12 Yer en» =A —wyk? 

13 OF On 

14 return y // y is assumed to be a column vector 


RECURSIVE-FFT 的 执行 过 程 如 下 。 第 2 一 3 行 代表 递归 的 基础 ; 一 个 元 素 的 DFT 就 是 该 
元 素 自 身 ， 因 为 在 这 种 情形 下 ， 
Yo= asan. = ao $ 1 = ao 

第 6 一 7 行 定义 多 项 式 AI (z) 和 AD(z) 的 系数 向 量 。 第 4、5 和 13 行 保 证 o 可 以 正确 更 新 ， 只 
要 第 11 一 12 行 被 执行 ， 就 有 w 一 崇 。( 次 次 迭代 中 让 o 的 值 改变 可 以 节约 每 次 通过 for 循环 重新 
计算 om 的 时 间 )。 第 8 一 9 行 执行 递归 计算 DFT u> XEF R=0, 1, +, n/2—1, 

He) = Al Coit) 

z” = AN Came) 
或 者 ， 根 据 消 去 引 理 ， 有 ww 一 wy TE 

J = A (ett) 

z” = AD] (wr) 
第 11 一 12 行 综合 了 递归 DFTw: 的 计算 结果 。 对 yos ys ts Yws A 11 行 推出 : 

a= y” +Haty™ 
= AI (at) HoA (att) 


= Alw) (根据 式 (30. 9)) 
对 Ynzo ywzti，…，yn-1， 设 k 二 0，1，…，n/2 一 1， 第 12 行 推出 : 
De +(n/2) = Ki” Seis" 
= of + afte? yo (因为 okt? =— ah) 
= AM (aft) + att AM (ait) 
= AM Ca) + att PAN Ci) (因为 wp = aft) 
= Aah) CARE A (30. 9)) 


因此 ， 由 RECURSIVE-FFT 返回 的 向 量 > 确实 是 输入 向 量 a 的 DFT. 

在 第 11 一 12 行 对 k=0, 1, =, n/2—1, EME I RT ot. 在 第 11 行 中 ， 这 个 乘积 加 到 
Tuo 上 ， 然 后 第 12 行 又 减 去 它 。 因 为 应 用 了 每 个 因子 o 的 正 数 形式 和 负数 形式 ， 我 们 把 因子 
wh 称 为 旋转 因子 (twiddle factor), 

为 了 确定 过 程 RECURSIVE-FFT 的 运行 时 间 ， 注 意 到 除了 递归 调用 外 ， 每 次 调用 所 需 的 时 
间 为 8(n)， 其 中 是 输入 向 量 的 长 度 。 因 此 ， 对 运行 时 间 有 下 列 递 归 式 : 

T(n) = 2T(n/2) + O(n)= O(nlgn) 
因此 ， 采 用 快速 傅 里 叶 变 换 ， 我 们 可 以 在 8(nlgnn) 时 间 内 ， 求 出 次 数 界 为 n 的 多 项 式 在 n 次 单位 
复数 根 处 的 值 。 

在 单位 复数 根 处 插值 

现在 我 们 展示 如 何在 单位 复数 根 处 插值 来 完成 多 项 式 乘法 方案 ， 使 得 我 们 把 一 个 多 项 式 从 
点 值 表 达 转 换 回 系数 表达 。 我 们 如 下 进行 插值 : 把 DFT 写成 一 个 矩阵 方程 ， 然 后 再 观察 其 逆 矩 
阵 的 形式 。 
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根据 等 式 (30. 4) ， 我 们 可 以 把 DFT 写成 矩阵 乘积 > 一 Ya ， 其 中 V, 是 一 个 由 ww 适当 宪 次 填 
充 成 的 范 德 蒙 德 矩阵 : 


1 
Jo ay 
1 2 3 1 
Y w Wn W, a 
1 2 4 6 2n- 
Xz w, Cn Wn Wn az 
= 3 6 9 3(n—1) 
Yz 1 Wp Wn w hn a3 
: 2 : : 
-1 2(n 一 D) 3(n—1) (Cn 一 DCn 一 1) 
| 1 w, w,” w, e. w, an) 


Mj, k=0, 1, s+, n=l, V, 的 (&，7 力 处 元 素 为 wy o V, 中 元 素 的 指数 组 成 一 张 乘法 表 。 对 于 逆 
运算 a=DFT, (Cy), RTE y RA V, 的 逆 和 矩阵 V KETEM, 
定理 30.7 对 了 7， k=0, j t. n—l, Va? 的 (7J， &) 处 元 素 为 wr“ /no 
证 明 ”我 们 证 明 V V, =I, HH I 为 nXn 的 单位 和 矩阵。 考虑 Vi'V, POG, GRATER: 
VAV, y= Ts /mo ) = Set? /n 


k=O 


如 果 了 了 =)， 则 此 和 为 1; 否则， 根据 求 和 引 理 ( 引 理 30.6)， 此 和 为 0。 注意 ， 只 有 一 (n 一 1) 声 


j —j<n—1, 使 得 7 一 j 不 能 被 n 整除 ， 才 能 应 用 求 和 引 理 。 E 
A EDERE V, BT AES DFT; Cy): 
aj -15yo (30. 11) 


其 中 j= 二 0，1，…，n 一 1。 通 过 比较 式 (30. 8) 与 式 (30. 11) ， 我 们 可 以 看 到 ， 对 FFT 算法 进行 如 
下 修改 就 可 以 计算 出 逆 DFT( 参 见 练习 30. 2-4): 把 a 与 y Hi, 用 wi! 替换 ww,， 并 将 计算 结果 
的 每 个 元 素 除 以 x。 因 此， 我 们 也 可 以 在 8(nlgn) 时 间 内 计算 出 DFT; : 。 

我 们 可 以 看 到 ， 通 过 运用 FFT 与 道 FFT， 可 以 在 (nlgn) 时 间 内 把 次 数 界 为 nn 的 多 项 式 
在 其 系数 表达 与 点 值 表 达 之 间 进 行 相互 转换 。 在 和 矩阵 乘法 的 相关 内 容 中 ， 已 经 说 明了 下 面 
结论 。 

定理 30. 8( 卷 积 定理 ) ”对 任意 两 个 长 度 为 n 的 向 量 a HH, KP nt2 HR, 

a Q) b = DFT} (DFT,, (a) + DFT, (b)) 

其 中 向 量 a 和 b 用 0 填充， 使 其 长 度 达到 2n， 并 用 “. ”表示 2 个 nFAFAKHEHARR, OO 


练习 


30. 2-1 证 明 推 论 30. 4。 

30.2-2 计算 向 量 (0，1，2，3) 的 DFT. 

30. 2-3 ”采用 运行 时 间 为 (nlgn) 的 方案 完成 练习 30. 1-1。 

30.2-4 SHARE, E 8(nlgn) 运 行 时 间 内 计算 出 DFT,’ 。 

30.2-5 请 把 FFT 推广 到 ”是 3 的 寡 的 情形 ， 写 出 运行 时 间 的 递归 式 并 求解 。 

*30. 2-6 ”假设 我 们 不 是 在 复数 域 上 执行 2 个 元 素 的 FFT( 其 中 ”为 偶数 ) MITER BR m 生成 的 环 
Z, 上 执行 FFT， 其 中 mm 二 2”” 十 1， 且 tt 是 任意 正 整数 。 在 模 m 的 意义 下 ， 用 w= 二 2 代替 
ws 作为 主 n 次 单位 根 。 证 明 : 在 该 系统 中 ，DFT 与 逆 DFT 定义 是 完备 的 。 

30.2-7 给 定 一 组 值 z, je ty z,1( 可 能 有 重复 )， 说 明 如 何 求 出 仅 以 Zs Zs sy 2-1 CY 
能 有 重复 ) 为 零点 的 一 个 次 数 界 为 n 十 1 的 多 项 式 P(z) 的 系数 。 你 给 出 的 过 程 运行 时 间 
WMA O(nig?n), GER: MHAM P(Cz) 是 (z 一 二) 的 倍数 时 ， 多 项 式 P(z) 在 z 处 值 
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40.) 
*30. 2-8 ”一 个 向 量 4 二 (a。，al ，…，a,_1) 的 线性 调频 变换 (chirp transform) Ela] HE y= Coos ys 1 


mid» HP y = Daw ，z 是 任意 复数 。 因 此 ， 通 过 取 =w, DFT 是 线性 调频 变换 的 


a eee 对 任意 复数 z， 请 说 明 如 何在 OOzlgz7 时 间 内 求 出 线性 调频 变换 的 值 。( 提 
: 利用 等 式 


y=? 3 (ajzi?) (a?) 
可 以 把 线性 调频 变换 看 做 一 个 卷 积 。) 


30.3 高 效 FFT 实现 


因为 DFT 的 实际 应 用 (如 信号 处 理 ) 中 需要 尽 可 能 快 的 速度 ， 本 节 将 探究 两 种 高 效 的 FFT 实 
现 方法 。 首 先 ， 我 们 来 讨论 一 种 运行 时 间 为 8(nlgn) 的 FFT 迭代 实现 方法 ， 不 过 ， 在 此 运行 时 
间 的 @ 记 号 中 ， 隐 含 的 常数 要 比 30. 2 节 中 递归 实现 方法 的 常数 小 。( 如 果实 现 精 确 ， 这 个 递归 方 
法 可 能 会 更 加 高 效 地 应 用 硬件 缓存 。) 然 后， 我 们 将 深入 分 析 迭 代 实 现 方法 ， 设 计 出 一 个 高 效 的 并 
行 FFT 电 路 。 
FFT 的 一 种 迭代 实现 
首先 我 们 注意 到 ， 在 RECURSIVE-FFT F, 第 10~13 行 的 for 循环 中 包含 了 oy 的 2 次 
计算 。 在 编译 术语 中 ， 我 们 称 该 值 为 公用 子 表 达 式 (common subexpression) 。 我 们 可 以 改变 循环 ， 
使 其 仅 计算 一 次 ， 并 将 其 存放 在 临时 变量 上 中 。 
for k=0 to n/2—1 
t=wy}) 
n= + 
miwa =t 
在 这 个 循环 中 ， 把 旋转 因子 oS RA yi. ， 把 所 得 乘积 存 人 上 中 ， 然 后 从 次 ] 中 增加 及 减 
去 上 +， 这 一 系列 操作 称 为 一 个 蝴蝶 操作 (bufferfly operation), FA 30-3 图 解说 明了 执行 步骤 。 


ye y+ oky yeah yl 


yl yh- ety 
(a) 


yo -oky 





图 30-3 ”一 个 蝴蝶 操作 。(a) 两 个 输入 向 量 从 左边 进入 ， 旋 转 因子 o R yk, 
和 与 差 在 右边 输出 。(b) 一 个 蝴蝶 操作 的 简化 草图 。 我 们 将 在 一 个 并 
行 FFT 电路 中 使 用 此 表达 


现在 来 说 明 如 何 使 FFT 算 法 采用 迭代 结构 而 不 是 递归 结构 。 在 图 30-4 中 ， 我 们 已 把 输入 向 
量 安 排 在 一 次 RECURSIVE-FFT 调用 相关 的 各 次 递归 调用 中 ， 将 输入 向 量 安排 成 树 形 结构 ， 其 
中 初始 调用 时 有 z 一 8。 树 中 的 每 一 个 结 点 对 应 每 次 过 程 递归 调用 ， 由 相应 的 输入 向 量 标记 。 每 
次 RECURSIVE-FFT 调用 产生 两 个 递归 调用 ， 除 非 该 调用 已 收 到 了 1 个 元 素 的 向 量 。 第 一 次 调 
用 作为 左 孩子 ， 第 二 次 调用 作为 右 孩子 。 
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图 30-4 过 程 RECURSIVE-FFT 递归 调用 时 产生 的 输入 向 量 树 。 初 始 调用 时 n=8 


观察 此 树 ， 我 们 注意 到 ， 如 果 把 初始 向 量 a 中 的 元 素 按 其 在 叶 中 出 现 次 序 进 行 安排 ， 就 可 以 
对 过 程 RECURSIVE-FFT 的 执行 进行 追踪 ， 不 过 是 自 底 向 上 而 不 是 自 项 向 下 。 首 先 ， 我 们 成 对 
取出 元 素 ， 利 用 一 次 蝴蝶 操作 计算 出 每 对 的 DFT， 然 后 用 其 DFT 取代 这 对 元 素 。 这 样 向 量 中 就 
包含 了 n/2 个 二 元 素 的 DFT。 下 一 步 ， 我 们 按 对 取出 这 n/2 个 DFT， 通 过 两 次 蝴蝶 操作 计算 出 
具有 四 个 元 素 向 量 的 DFT， 并 用 一 个 具有 四 个 元 素 的 DFT 取代 对 应 的 两 个 二 元 素 的 DFT。 于 是 
向 量 中 包含 n/4 个 四 元 素 的 DFT。 继 续 进 行 这 一 过 程 ， 直 至 向 量 包含 两 个 具有 n/2 个 元 素 的 
DFT， 这 时 ， 我 们 综合 应 用 n/2 次 蝴蝶 操作 ， 就 可 以 合成 最 终 的 具有 个 元 素 的 DFT. 
为 了 把 这 个 自 底 向 上 的 方法 变 为 代码 ， 我 们 采用 了 一 个 数组 AL0. .nn 一 1]， 初 始 时 该 数组 包 
含 输入 向 量 a 中 的 元 素 ， 其 顺序 为 它们 在 图 30-4 中 树叶 出 现 的 顺序 。( 我 们 在 后 面 将 说 明 如 何 确 
定 这 个 顺序 ， 这 也 称 为 位 逆序 置换 。) 因 为 需要 在 树 的 每 一 层 进 行 组 合 ， 于 是 引入 一 个 变量 s 以 计 
算 树 的 层次 ， 取 值 范围 为 从 1( 在 最 底层 ， 这 时 我 们 组 合 对 来 构成 二 元 素 的 DFT) BI lgz( 在 最 顶 
层 ， 这 里 我 们 要 对 两 个 具有 n/2 个 元 素 的 DFT 进行 组 合 ， 以 产生 最 后 结果 )。 因 此 ， 这 个 算法 有 
如 下 结构 : 
1 for s=1 to lgn 
2 for k=0 to n—1 by 2' 
3 combine the two 2 一 -element DFTs in 
A[k. .k 十 2 一 :一 1]and A[k+2"!. .k++2'—1] 
into one 2’-element DFT in A[k. . k+2'—1] 


我 们 可 以 用 更 精确 的 伪 代 码 来 描述 第 3 行 中 的 循环 主体 部 分 。 从 子 程序 RECURSIVE-FFT 中 复 
制 for 循 环 ， 让 六 与 A[& .4 十 2 一 一 1 一 致 ， 略 与 AL 十 2 于 ..A 十 2 一 1 一致。 在 每 次 蝴蝶 
操作 中 ， 使 用 的 旋转 因子 依赖 于 s 的 值 ; 它 是 w FE, HP m 王 2:。( 引 入 变量 m 仅 为 使 代码 
易 读 。) 我 们 又 引入 另 一 个 临时 变量 w， 使 得 能 恰当 地 执行 蝴蝶 操作 。 当 用 循环 主体 来 取代 第 3 
行 的 整个 结构 时 ， 就 得 到 下 面 的 伪 代 码 ， 它 是 稍 后 我 们 将 展示 的 并 行 实现 的 基础 。 这 个 代码 首 
先 调用 辅助 过 程 BIT-REVERSE-COPY(a，A)， 把 向 量 a 按 我 们 所 需要 的 初始 顺序 复制 到 数组 
A 中 。 


ITERATIVE-FFT(a) 
1 BIT-REVERSE-COPY(a,A) 
2 n=a. length //n is a power of 2 
3 for s=1 to lgn 

4 m=? 

5 wu = em 

6 for k=0 ton—1 by m 

7 w=1 

8 for j=0 to m/2—1 

9 t=wA[k+j+m/2] 
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10 u=A[k+j] 

11 Alk+j]=u+t 

12 A(k+j+m/2]=u-t 
13 WWW m 

l4 return A 


BIT-REVERSE-COPY 是 如 何 把 输入 向 量 中 的 元 素 按 希 望 的 顺序 放 人 数组 A? 在 图 30-4 
中 ， 叶 出 现 的 顺序 是 一 个 位 逆序 置换 。 也 就 是 说 ， 如 果 让 rev(k) 为 的 二 进 制 表 示 各 位 逆序 所 形 
成 的 lgn 位 的 整数 ， 那 么 我 们 希望 把 向 量 中 的 元 素 w 放 在 数组 的 ALrev(C&)] 位 置 上 。 例 如 ， 在 
图 30-4 中 ， 叶 出 现 的 次 序 为 0，4，2，6，1，5，3，7; 这 个 序列 用 二 进 制 表示 为 000，100， 
010，110，001，101，011，111， 当 把 二 进 制 表示 各 位 逆序 后 ， 得 到 序列 000, 001, 010, 011, 
100，101，110，111。 为 了 获得 一 般 情 况 下 的 位 逆序 置换 ， 注 意 到 在 树 的 最 顶层 ， 最 低位 为 0 的 
下 标 在 左 子 树 中 ， 以 及 最 低位 为 1 的 下 标 在 右 子 树 中 。 在 每 一 层 去 掉 最 低位 后 ， 我 们 沿 着 树 往 下 
继续 这 一 过 程 ， 直 到 在 叶子 得 到 由 位 逆序 置换 给 出 的 顺序 。 

由 于 很 容易 计算 函数 rev(&) ， 因 此 过 程 BIT-REVERSE-COPY 相对 简单 : 

BIT-REVERSE-COPY(a,A) 

l n=a. length 

2 for k=0 to 7 一 1 

3 A[rev(k)]=a: 


这 种 迭代 的 FFT 实现 方法 的 运行 时 间 为 O(n ign). WH BIT-REVERSE-COPY(a，A) 的 运 
行 时 间 当 然 是 O(nlgn)， 因 为 迭代 了 7 次 ， 并 可 以 在 O(Clgz) 时 间 内 ， 把 一 个 0~"* 一 1 之 间 的 lgn 
位 整数 逆序 。( 在 实际 中 ， 通 常事 先知 道 的 初始 值 ， 我 们 就 可 以 编制 出 一 张 表 ， 把 映射 为 
rev(k)， 使 BIT-REVERSE-COPY 的 运行 时 间 为 8(n)， 且 该 式 中 隐 含 的 常数 因子 较 小 。 此 外 ， 
我 们 也 可 以 采用 思考 题 17-1 中 描述 的 聪明 的 摊 还 逆序 二 进 制 计数 器 方案 )。 为 了 完成 
ITERATIVE-FFT 的 运行 时 间 是 (nlgn) 的 证 明 ， 需 要 说 明 最 内 层 循环 体 (第 8 一 13 行 ) 执 行 次 数 
LMH 8(nlgn)。 对 s 的 每 个 值 ， 第 6 一 13 行 的 for HAIER To n/m=n/2' 次 ， 第 8 一 13 行 的 最 
内 层 循 环 和 迭代 了 m/2 二 2”!' 次 。 因 此 ， 


lg lgn 
= 2 2 = 2 = ee 
s=1 5 一 1 


并 行 FFT 电路 

我 们 可 以 利用 能 高 效 实现 一 个 迭代 FFT 算法 的 许多 性 质 ,， 来 产生 一 个 高 效 的 并 行 FFT 算 
法 。 我 们 将 把 并 行 FFT 算法 表示 成 一 个 电路 。 图 30-5 给 出 了 n==8 时 ， 已 知 ? 个 输入 ， 一 个 并 行 
FFT 电路 计算 FFT。 该 电路 开始 时 对 输入 进行 位 逆序 置换 ， 其 后 电路 分 为 lgn 级 ， 每 一 级 由 n/2 
个 并 行 执行 的 蝴蝶 操作 所 成 。 电 路 的 深度 定义 为 任意 的 输入 和 任意 的 输出 之 间 最 大 的 可 以 达到 
的 计算 元 素数 目 。 因 此 ， 上 面 电路 的 深度 为 Ogn). 

并 行 FFT 电 路 的 最 左边 的 部 分 执行 位 逆序 置换 ， 其 余部 分 模拟 迭代 的 ITERATIVE-FFT 
过 程 。 因 为 最 外 层 for 循环 的 每 次 迭代 执行 n/2 次 独立 的 蝴蝶 操作 ， 于 是 电路 并 行 地 执行 它 
们 。 在 ITERATIVE-FFT 内 每 次 迭代 的 值 ;对 应 于 图 30-5 中 的 一 个 阶段 的 蝴蝶 操作 。 对 于 
s=1, 2, =, lgn， 阶 段 s: 有 n/2’ 组 蝴蝶 操作 (对 应 于 ITERATIVE-FFT 中 每 个 & 值 )， 每 组 
中 有 2 一 :个 蝴蝶 操作 (对 应 于 ITERATIVE-FFT 中 的 每 个 j 值 )。 图 30-5 所 示 的 蝴蝶 操作 对 应 
于 最 内 层 循环 的 蝴蝶 操作 (ITERATIVE-FFT 的 第 9 一 12 行 )。 此 外 ， 还 要 注意 ， 蝴 蝶 中 用 到 
的 旋转 因子 对 应 于 ITERATIVE-FFT 中 用 到 的 那些 旋转 因子 : 在 阶段 ;， 我 们 使 用 os 


Wms ata one, 其 中 m=2', 


il 


ah al 
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图 30-5 一 个 计算 FFT 的 并 行 电路 ， 这 里 的 输入 为 zx 一 8。 每 个 蝴蝶 操作 采用 两 条 线路 上 的 数值 和 一 
个 旋转 因子 来 当做 输入 ， 并 且 它 产生 两 条 线路 上 的 数值 作为 输出 。 不 同 阶段 的 蝴蝶 操作 加 以 
标记 ， 对 应 于 ITERATIVE-FFT 过 程 的 最 外 层 循环 迭代 。 只 有 最 顶层 和 最 底层 通过 一 个 蝴 
蝶 操 作 的 线路 才 与 此 蝴蝶 操作 相互 作用 ; 而 通过 一 个 蝴蝶 操作 中 间 的 线路 不 会 影响 该 蝴蝶 操 
作 ， 它 们 的 值 也 不 会 被 该 蝴蝶 操作 改变 。 例 如 ， 在 第 2 阶段 顶端 的 蝴蝶 操作 不 会 影响 线路 1 
(输出 标示 为 y 的 线路 ); 它 的 输入 与 输出 只 在 线路 0 和 2 上 (分 别 标示 为 yo 和 ye). HER 
具有 深度 @( lgn)， 并 且 一 共 执 行 了 8(Czlgz) 个 蝴蝶 操作 





练习 
30.3-1 请 说 明 如 何 用 ITERATIVE-FFT 计算 出 输入 向 量 (0，2，3， 一 1，4，5，7，9) 的 DFT, 
30.3-2 ”请 说 明 如 何 实现 一 个 FFT 算法 ， 注 意 把 位 逆序 置换 放 在 计算 的 最 后 而 不 是 在 开始 。( 提 


T: 考虑 逆 DFT.) 

30.3-3 在 每 个 阶段 中 ，ITERATIVE-FFT 计算 旋转 因子 多 少 次 ? 重 写 ITERATIVE-FFT, 使 其 
在 阶段 s 中 计算 旋转 因子 2 一 次 。 

*30.3-4 假设 FFT 电路 的 蝴蝶 操作 中 加 法 器 有 时 会 发 生 错误 : 不 论 输 入 如 何 ， 它 们 的 输出 总 是 
为 0。 假 设 确 有 一 个 加 法 器 失效 ， 但 你 并 不 知道 是 哪 一 个 。 描 述 你 如 何 能 够 通过 给 整个 
FFT 电路 提供 输入 值 并 观察 其 输出 ， 找 到 那个 失效 的 加 法 器 。 你 的 方法 效率 如 何 ? 


思考 题 
30-1 (FIR) 
a. 说 明 如 何 仅 用 三 次 乘法 ， 就 能 求 出 线性 多 项 式 az 十 与 cx 十 4 的 乘积 。( 提 示 : 有 一 个 
乘法 运算 是 (a 十 b)。(c 十 qd).) 
b. 试 写 出 两 种 分 治 算法 ， 求 出 两 个 次 数 界 为 n 的 多 项 式 乘 积 ,使 其 在 O(n ) 运 行 时 间 内 。 
第 一 个 算法 把 输入 多 项 式 的 系数 分 成 高 阶 系数 一 半 与 低 阶 系数 一 半 ， 第 二 个 算法 应 该 a 
根据 其 系数 下 标的 奇偶 性 来 进行 划分 。 92( 
c 证 明 : 请 说 明 如 何 用 OG" ) 步 计算 出 两 个 位 整数 的 乘积 ， 其 中 每 一 步 至 多 常数 个 1 
位 的 值 进行 操作 。 
30-2 (44-44) K Toeplitz) 42) 特 普 利 茨 矩 阵 是 一 个 nXn 和 矩阵 A=(a; )， 其 中 对 于 i 二 2，3，…， 
n, j=2, 3, =, n, WE aj 一 am。 
a 两 个 特 普 利 茨 矩阵 的 和 是 否 一 定 是 特 普 利 蒋 矩阵? 乘积 又 如 何 ? 
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b。 试 说 明 如 何 表示 特 普 利 茨 和 矩阵 才能 在 O(0z) 时 间 内 求 出 两 个 z>Xz 特 普 利 茨 矩 阵 的 和 。 

e 请 给 出 一 个 运行 时 间 为 O(nlgn) 的 算法 ， 能 够 计算 出 nXn 特 普 利 医 和 矩阵 与 一 个 维 向 
量 的 乘积 。 请 运用 (b) 中 的 表示 。 

d. 请 给 出 一 个 高 效 算 法 计算 出 两 个 nX n 特 普 利 茨 矩 阵 的 乘积 ， 并 分 析 此 算法 的 运行 时 间 。 

(多 维 快速 傅 里 叶 变 换 ) 我们 可 以 将 式 (30. 8) 定 义 的 一 维 离散 傅 里 叶 变换 推广 到 4 HEL. 

这 时 输入 是 一 个 d 维 的 数组 A 二 (a; joss AER mo ms oes na HP mmen = 

n。 定 义 d 维 离散 傅 里 叶 变 换 如 下 : 


ami q= 
Dh, sky vr sk, = 2 pI Say, grt g@: wih aft! wd 
4,=0j,=0 i= 
其 中 Ok <n » 0k, <m ae | OKR <No 


a. 证 明 : 我 们 可 以 依次 在 每 个 维度 上 计算 一 维 的 DFT 来 计算 一 个 d 维 的 DFT。 也 就 是 
说 ， 首 先 沿 着 第 1 维 计算 n/n 个 独立 的 一 维 DFT。 然 后 ， 把 沿 着 第 1 维 的 DFT 结果 作 
为 输入 ， 我 们 计算 沿 着 第 2 HEN n/m 个 独立 的 一 维 DFT。 利 用 这 个 结果 作为 输入 ， 我 
们 计算 沿 着 第 3 维 的 n/n, 个 独立 的 一 维 DFT， 如 此 下 去 ， 直 到 第 4 维 。 

b. 证 明 : 维度 的 次 序 并 无 影响 ， 于 是 可 以 通过 在 d 个 维度 的 任意 顺序 中 计算 一 维 DFT 来 
计算 一 个 a 维 的 DFT。 

c 证 明 : 如 果 采 用 计算 快速 傅 里 叶 变换 计算 每 个 一 维 的 DFT， 那么 计算 一 个 d 维 的 DFT 
的 总 时 间 是 O(n ign), 5 d 无 关 。 

( 求 一 个 多 项 式 在 某 点 的 所 有 阶 导 数 ) 已 知 一 个 次 数 界 为 n WERA), RELH t 

阶 导数 如 下 : 

A(z) #t=0 


d 


A® (x) = oar (zx) #1<t<n-1 


0 #t>n 
从 A(z) 的 系数 表达 (ae ，a ，…，a， 和 一 个 已 知 点 ro RAAHE A” (C), Hrs 
0， Ls Ei. at 
a BERR (bos bis s by WE 


A(x) = Sa (x— To)’ 


说 明 如 何在 ODE AHA A® (zo)， 其 中 二 OPTE PEE m= 
b. 请 解释 如 何在 O(n lgn) 时 间 内 找到 bos bis $999: O9 已 知 A(x +e), 其 中 k=0, 


A(x tut) = Es Spee] 
其 中 ，f(j)=a; + jl, 并 且 
oe #1) <i<s 
gD) = 
0 rae) ee 
d. 请 解释 如 何在 O(n Ign) Bt a] ASR AC ao ton AA, HEP R=0, 1, +, nn 一 1。 请 总 
结 说明 : 我 们 可 以 在 O(nlgn) 时 间 内 ， 求 出 A(z) 所 有 非 平凡 导数 在 zo 的 值 。 
(多 项 式 在 多 个 点 的 求 值 ) 我 们 已 经 看 到 ， 运 用 霍 纳 法 则 ， 如 何在 O(n) 时 间 内 求 出 次 数 
界 为 nn 的 多 项 式 在 单个 点 的 值 。 同 时 ， 我 们 也 发 现 ， 远 用 FFT 能 在 O(nlgn) 时 间 内 求 出 
这 样 的 一 个 多 项 式 在 所 有 nn 个 单位 复数 根 处 的 值 。 现 在 我 们 就 来 说 明 如 何在 O(n lg?) BY 
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间 内 ， 求 出 一 个 次 数 界 为 n 的 多 项 式 在 任意 7 个 点 的 值 。 
为 了 做 到 这 一 点 ， 我 们 将 假设 下 面 未 经 证 明 的 结论 : 当 一 个 这 样 的 多 项 式 除 以 另 一 个 
多 项 式 时 ， 我 们 可 以 在 OOzlgz) 时 间 内 计算 出 该 多 项 式 的 余 式 。 例 如 ， 多 项 式 32° +2 — 
3z 十 1 除 以 字 十 z 十 2， 余 式 为 
(32° + 2° —3x+1) mod (2? +24+2) 一 一 7z 十 5 


给 定 一 个 多 项 式 A(z) = Sa! 的 系数 表达 和 个 点 zz sete ， 我 们 希望 计算 出 


个 值 A(z)，A(z)，…，A(z 1)。 对 0<i<j<<n 一 1， 定 义 多 项 式 P; (x) = [| (zx 一 xi) 
k=i 


和 和 多项式 Q; (x) 二 A(x) mod P(x). HEME, Q OKAEZ Eji 

a. TEAR: 对 任意 点 z, A(x) mod (x 一 z) 二 A(z)。 

b. 证 明 : Qu (Zz) 二 A(z)， 以 及 ,1(7X)= 二 A(z)。 

c 证 明 : 对 i<k<j, RITE Qi (x) =Q; (x) mod Py (x), WR Qj (x) =Q, (x)mod P,; (x). 
d. ih — MATA A O(n ig?) WAH, WORM AC), Alay), s+, Alay1). 

30-6 (运用 模 算 术 的 FFT) 如 定义 所 述 ， 离 散 傅 里 叶 变 换 (DFT) 计 算 时 需要 用 复数 ， 这 会 由 于 
舍 人 误差 而 导致 精确 度 丢 失 。 对 某 些 问题 而 言 ， 答 案 中 仅 包 含 整 数 ， 并 且 通 过 使 用 一 种 基 
于 模 算术 的 FFT 的 不 同形 式 ， 我 们 可 以 保证 计算 的 答案 是 准确 的 。 一 个 此 类 问题 的 例子 
如 下 : 求 两 个 整 系数 多 项 式 的 乘积 。 练 习 30. 2-6 给 出 了 一 种 解决 方法 ， 即 运用 一 个 长 度 
为 Q(Cz) 位 的 模 来 处 理 ? 个 点 上 的 DFT。 下面 给 出 了 另 一 种 方法 ， 即 用 一 个 更 为 合理 的 长 
度 为 O( lgn) 的 模 ; 它 要 求 你 事先 了 解 第 31 章 的 内 容 。 设 ”为 2 FF. 

a. 假定 我 们 寻找 最 小 的 &， 使 得 p=knt+1 是 素数 。 请 给 出 下 列 结论 的 简单 而 有 启发 性 的 
理由 : 为 什么 我 们 希望 & 大 约 是 lnz。(& 的 值 可 能 比 Inn 大 很 多 或 者 小 很 多 ， 但 是 我 们 
合理 的 期 望 ， 平 均 起 来 只 需 检 查 Ogm MRAK k OR p 的 期 望 长 度 与 n 的 长 度 
相 比 如 何 ? 

B gE zZ 的 生成 元 , 并 设 w=g* modp. 

b. 说 明 DFT 与 逆 DFT EH p 的 意义 下 是 定义 完备 的 逆 运 算 ， 其 中 忆 是 主 n 次 单位 根 。 

c 证 明 : 在 模 记 意义 下 ，FFT 与 其 逆 可 在 O(nlgn) 时 间 内 运行 ， 其 中 长 度 为 O( ign) trk 
字 上 操作 需要 单位 时 间 ， 并 假定 算法 已 知 训 和 也 。 

d. 请 计算 出 向 量 (0，5，3，7，7，2，1，6) 在 模 p=17 下 的 DFT. TER. = 3 E ZKE 
成 元 。 

本 章 注 记 

Van Loan 的 书 [343] 对 快速 傅 里 叶 变 换 做 了 特别 好 的 论述 。Press、Teukolsky、Vetterling 和 
Flannery 在 文献 L[283，284] 中 很 好 地 描述 了 快速 傅 里 叶 变换 及 其 应 用 。 对 于 信和 号 处 理 这 个 流行 的 
FFT 应 用 领域 ， 详 细 介 绍 请 参考 Oppenheim 和 Schafer[266]， 以 及 Oppenheim 和 Willsky[267] 的 
教科 书 。Oppenheim 和 Schafer 的 书 也 介绍 了 如 何 处 理 ? 不 是 2 的 整数 次 宕 的 情形 。 

傅 里 叶 分 析 并 不 局 限于 一 维 的 数据 。 它 在 图 像 处 理 中 得 到 了 广泛 应 用 ， 用 来 分 析 二 维 或 更 
高 维 数据 。Gonzalez 与 WoodsL146] 和 Pratt[L281] 的 书 中 讨论 了 多 维 傅 里 叶 变 换 以 及 它们 在 图 像 
处 理 中 的 应 用 ， 另 外 ，Tolimieri、An 与 LuL338] 和 Van Loan[343j 的 书 中 讨论 了 多 维 快速 傅 里 叶 
变换 的 数学 原理 。 

Cooley 与 Tukey[L76] 因 在 20 世纪 60 年 代 发 明 FFT 而 声名 远 播 。 事 实 上 ，FFT 在 之 前 已 经 
被 发 现 了 好 几 次 , 但 是 它 的 重要 性 在 现代 数字 计算 机 出 现 之 前 并 没有 被 充分 了 解 。 尽 管 Press、 
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Teukolsky、Vetterling 和 Flannery 将 这 个 方法 的 起 源 归 功 于 1924 年 的 Runge 和 Konig， 但 是 一 
篇 Heideman, Johnson 和 Burrus 的 论文 [163] 将 FFT 的 历史 一 直 追 溯 到 1805 年 的 C. F. Gauss. 
Frigo 和 Johnson[117] 开 发 了 一 个 快速 的 、 可 扩展 的 FFT 实现 ， 称 为 FFTW( 西 方 的 最 快 的 
快速 傅 里 叶 变 换 (fastest Fourier transform in the West)), FFTW 设计 的 初衷 是 为 了 解决 多 个 维 
度 的 DFT 计算， 具有 同等 问题 规模 大 小 。 在 实际 计算 DFT 之 前 ，FFTW 执行 一 个 计划 信息 表 
(planner) ， 它 通过 一 系列 的 试 运行 ， 确 定 在 主机 上 对 于 给 定 的 问题 规模 ， 如 何以 最 好 的 方式 来 
分 解 FFT 进行 计算 。FFTW 能 够 针对 硬件 的 缓存 进行 高 效 的 自 适 应 调整 ， 而 且 一 旦 子 问 题 规模 
足够 小 ，FFTW 能 够 用 优化 的 直线 型 程序 (无 循环 程序 ) 解 决 。 此 外 ， 对 于 任意 问题 规模 nE n 
是 一 个 大 素数 ) FFTW 都 有 不 凡 的 表现 ， 费 时 仅 OCrign). 
尽管 标准 的 傅 里 叶 变 换 假设 输入 表示 点 均匀 地 分 布 在 时 间 域 ， 其 他 的 技术 可 以 在 不 均匀 分 
布 (nonequispaced) 的 数据 下 近似 地 计算 FFT。WareL348] 的 文章 提供 了 一 个 概述 。 


| 第 31 章 


Introduction to Algorithms, Third Edition 
数论 算法 


数论 曾经 被 视 为 一 种 虽然 优美 但 却 没 什么 用 处 的 纯 数 学 学 科 。 如 今 ， 数 论 算法 已 经 得 到 了 
广泛 的 使 用 。 这 很 大 程度 上 要 归功 于 人 们 发 明了 基于 大 素数 的 加 密 方法 。 快 速 计 算 大 素数 的 算 
法 使 得 高 效 加 密 成 为 可 能 ， 而 目前 其 安全 性 的 保证 则 依赖 于 缺少 高 效 将 合 数 分 解 为 大 素数 之 积 
(或 求解 相关 问题 ， 如 计算 离散 对 数 ) 方 法 的 现状 。 本 章 介绍 一 些 数 论 知 识 以 及 相关 的 算法 ， 它 们 
是 上 文 这 类 应 用 的 基础 。 

31. 1 节 介 绍 数论 的 一 些 基本 概念 ， 例 如 ， 整 除 性 、 等 模 和 唯一 因子 分 解 。31. 2 节 研 究 世界 
上 最 古老 算法 之 一 的 欧 几 里 得 算法 ， 它 用 于 计算 两 个 整数 的 最 大 公约 数 。31. 3 节 回 顾 模 运 算 的 
概念 。31. 4 节 研 究 整数 a 的 倍数 模 n 的 结果 集合 ， 并 阐释 用 欧 几 里 得 算法 求 等 式 azt 二 b(mod n) 
的 全 部 解 的 方法 。31. 5 节 介 绍 中 国 余数 定理 。31. 6 节 考 察 整数 a NRK n 所 得 的 结果 集合 ， 描 
述 反复 平方 算法 ， 用 于 在 已 知 a、2 和 的 情况 下 ， 高 效 计算 a modn 的 结果 。 这 一 运算 是 进行 
高 效 素 数 检测 和 许多 现代 密码 学 内 容 的 核心 部 分 。 在 此 之 后 ，31. 7 节 描 述 RSA 公 钥 加 密 系统 。 
31. 8 节 讨 论 一 种 随机 性 素数 测试 方法 。 该 方法 可 用 来 高 效 地 查找 大 素数 ， 这 正 是 为 RSA 加 密 系 
统 创建 密 钥 所 必需 的 。 最 后 ，31. 9 节 回 顾 一 个 简单 而 有 效 的 小 整数 因子 分 解 启发 式 算法 。 有 趣 
的 是 ， 由 于 RSA 的 安全 性 依赖 于 大 整数 因子 分 解 的 难度 ， 人 们 怒 怕 更 希望 因子 分 解 是 一 个 无 多 
项 式 解 法 的 难题 。 

输入 规模 和 算术 计算 的 代价 

由 于 我 们 将 处 理 的 对 象 是 大 整数 ， 本 章 需 要 调整 对 于 输入 规模 大 小 和 基本 算术 运算 代价 的 





理解 。 
在 本 章 中 ,“ 大 输入 ”通常 指 包含 “大 整数 ”的 输入 ， 而 不 是 包含 “很 多 整数 ”的 输入 ( 像 排序 问 
题 中 那样 )。 因 此 ， 我 们 利用 输入 所 需 的 位 数 来 度量 输入 的 大 小 ， 而 不 仅仅 是 输入 中 整数 的 数目 。 
给 定 & 个 整数 输入 ai ，a ，…，w ， 如 果 算 法 可 以 在 关于 Iga, Iga, ++, lga, 的 多 项 式 时 间 内 
完成 ， 即 算法 在 关于 二 进 制 编码 后 的 输入 长 度 的 多 项 式 时 间 内 完成 ， 则 该 算法 称 为 多 项 式 时 间 
算法 。 

在 本 书 的 大 部 分 章节 中 ， 将 基本 算术 运算 (乘法 、 除 法 或 者 计算 余数 ) 视 为 只 耗费 单位 时 间 的 
原 语 操作 是 非常 方便 的 。 通 过 计算 算法 中 包含 的 这 类 算术 运算 的 数目 ， 可 以 为 合理 评估 算法 在 
计算 机 上 的 实际 运算 时 间 提 供 基 准 。 然 而 ， 当 输入 很 大 时 ， 基 本 运算 也 会 变 得 耗 时 。 因 此 ， 用 数 
论 算 法 所 需 的 位 运算 数目 作为 基准 来 衡量 算法 的 时 间 代价 更 为 方便 且 合 适 。 在 此 模型 中 ， 将 两 
个 8 位 整数 用 常规 方法 相 乘 需要 @(B?) 次 位 运算 。 同 样 ， 用 最 朴素 的 方法 计算 一 个 8 位 整数 除 以 
另 一 个 较 短 整数 的 商 或 余数 需要 耗 时 8(8?) 。( 见 练习 31. 1-12。) 如 今 ， 人 们 已 经 有 了 更 快 的 计算 
方法 。 例 如 ， 一 个 简单 的 分 治 算法 可 以 在 两 个 8 位 整数 相 乘 的 问题 上 达到 8@(B8”) 的 运行 时 间 。 
而 已 知 最 快 的 算法 则 只 需要 8B(Blg BlglgP) 的 运行 时 间 。 然 而 在 实际 问题 中 ，@(B?) 的 算法 往往 效 
果 最 好 。 我 们 也 将 以 该 界 作为 算法 分 析 的 基准 。 

本 章 将 既 使 用 算法 所 需 的 算术 运算 的 数目 ， 也 使 用 其 所 需 位 运算 的 数目 来 分 析 算法 。 


31. 1 基础 数论 概念 


本 节 将 简单 回顾 基础 数论 中 关于 整数 集 Z={…， 一 2， 一 1，0，1，2} 和 自然 数 集 N= {0， 
1，2，…} 的 一 些 概念 。 
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整除 性 与 约 数 

一 个 整数 可 以 被 另外 一 个 整数 整除 是 数论 中 的 一 个 关键 概念 。 符 号 d|a( 读 作 “4 整除 a”) 的 含 
义 是 ， 存 在 某 个 整数 &， 使 得 a 二 kd。 任 何 整 数 均 可 整除 0。 如 果 a 二 0 且 dla, 那么 ld| 三 |al|。 如 
Edla, WEK a Æ d HRR. WMR a 不能 整除 a， 则 写作 dta. 

如 果 dlja 且 4d 宇 9， 则 称 4 是 a HAM. EB, dla 当 且 仅 当 一 41a， 即 a 的 任何 约 数 的 负数 
同样 可 以 整除 a。 因 此 ， 不 失 一 般 性 ， 可 规定 约 数 为 非 负 数 。 非 零 整数 a 的 约 数 应 至 少 为 1， 且 
不 会 大 于 |a| 。 例 如 ，24 的 约 数 是 1，2，3，4，6，8，12 和 24。 

任何 正 整 数 a 均 可 被 平凡 约 数 1 和 其 自身 a 所 整除 。 整 数 a 的 非 平 凡 约 数 称 为 a 的 因子 。 例 
如 ，20 的 因子 是 2，4，5 和 10。 

素数 与 合 数 

如 果 一 个 整数 a 二 1 且 只 能 被 平凡 约 数 1 和 它 自身 所 整除 ， 则 这 个 数 是 素数 。 素 数 有 许多 特 
殊 的 性 质 。 它 在 数论 中 也 扮演 着 十 分 重要 的 角色 。 前 20 个 素数 按 序 排列 如 下 : 

2535557511,13,17,19,23,29,31,37,41,43,47,53,59,61,67,71 
练习 31. 1-2 要 求 读者 证 明 存 在 无 穷 多 个 素数 。 如 果 一 个 整数 a> 且 不 是 素数 ， 则 称 之 为 合 数 。 
例如 ，39 是 一 个 合 数 ， 因 为 3| 39。 称 整数 1 为 基本 单位 ， 并 且 它 既 不 是 素数 也 不 是 合 数 。 同 样 ， 
整数 0 和 所 有 负 整 数 既 不 是 素数 也 不 是 合 数 。 

除法 定理 、 余 数 和 等 模 

给 定 一 个 整数 n， 我 们 可 以 将 整数 集 划分 为 n 的 倍数 和 非 n 倍数 两 部 分 。 通 过 计算 非 n 倍数 
除 以 ”的 余数 可 以 对 非 倍数 进行 有 效 分 类 。 而 许多 数论 理论 正 是 通过 这 种 分 类 来 改进 对 nn HE 
数 和 非 倍数 的 划分 。 下 面 的 定理 给 出 该 改进 的 理论 基础 。 这 里 ， 我 们 忽略 了 其 证 明 ( 证 明 参 见 
Niven 和 Zuckerman[ 265] 等 ) 。 

定理 31. 1( 除 法 定理 ) ”对 于 任何 整数 a 和 任何 正 整 数 n， 存 在 唯一 整数 gq 和 rr， 满足 0 二 r<m 
E a 二 qn 十 r。 a 

FK gq 二 La/nj 为 除法 的 商 ,， 值 r=a mod n 为 除法 的 余数 。nla 当 且 仅 当 a modn=0, 

根据 整数 模 的 余数 ,我们 可 以 将 所 有 整数 划分 成 n 个 等 价 类 。 包 含 整数 a 的 模 等 价 类 为 

La], = {a+ kn:k € Z} 


例如 ，[3],=(…， 一 11， 一 4，3，10，17，…}， 这 个 集合 同时 也 可 以 表示 为 [一 4]， 和 [10], 。 
a€ [Lb], 和 a 夺 b(mod n) 是 等 价 的 。 所 有 这 类 等 价 类 的 集合 是 
Z, = {La]n:0<a<n-—1} (31.1) 
当 读者 看 到 
Z, = {0,1,.…,n— 1} (31. 2) 


这 个 定义 时 ， 按 照 式 (31. 1) 理 解 即 可 : 0 代表 [0],，1 代表 [1],， 等 等 ， 即 用 每 个 等 价 类 最 小 的 
非 负 元 素来 表示 该 等 价 类 。 然 而 ， 我 们 应 该 记 着 相应 的 等 价 类 。 例 如 ， 在 我 们 说 一 1 EZ, 的 一 
个 元 素 时 ， 实 际 上 指 的 是 [n 一 1],， 因 为 一 1 寺 n 一 1(mod n), 
公约 数 与 最 大 公约 数 
WR d 是 a 的 约 数 并 且 d 也 是 2 HARM, Wd 是 a 与 5 的 公约 数 。 例 如 ，30 的 约 数 包括 1、 
2、3、5、6、10、15 和 30， 因 此 24 与 30 的 公约 数 为 1、2、3 和 6。 需要 注意 的 是 ，1 是 任意 两 
个 整数 的 公约 数 。 
公约 数 的 一 条 重要 性 质 是 : 
d|a 且 dlb 蕴涵 着 d| (a+b) Hd|(a—d) (31. 3) 
更 一 般 地 ， 对 任意 整数 zx 和 >y， 有 
d|a Hd|b 蕴涵 着 d| (azr 十 by) (31. 4) 
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并 且 ， 如 果 alb, HAlal<|ol, 或 者 b=0, 而 这 说 明 
alb Hbla 蕴涵 着 a 一 士 (31.5) 
两 个 不 同时 为 0 的 整数 a 与 的 公约 数 中 最 大 的 称 为 其 最 大 公约 数 ， 记 作 gcd(a，6)。 例 如 ， 
gcd(24, 30)=6, ged(5, 7)=1, gcd(0, 9=9. WR a 5b 不 同时 为 0， 则 gcd(a，5) 是 一 个 在 
1 与 min(|a| ，|2|) 之 间 的 整数 。 定 义 gcd(0，0) 二 0， 该 定义 是 使 gcd 函数 的 基本 性 质 ( 如 下 面 
的 等 式 (31. 9)) 普 遍 成 立 所 必 不 可 少 的 。 


下 列 性 质 是 gcd 函数 的 基本 性 质 : 
gcd(a,b)= gcd(b,a) (31. 6) 
gcd(a,b)= gcd(— a,b) (31.7) 
gcd(a,b)= gcd( lal, lol) (31. 8) 
gcd(a,0)= |a| (31. 9) 
gcd(a,ka)= |a| MERREZ (31. 10) 


下 面 的 定理 给 出 了 gcd(a，5) 的 另外 一 个 有 用 特征 。 

定理 31.2 wREE RH a fob 不 都 为 0， 则 gcdl(a，b) 是 a 与 b 的 线性 组 合集 {azx 十 by: x, 
EZ} 中 的 最 小 正 元 素 。 

证 明 设 * 是 a 与 2 的 线性 组 合集 中 的 最 小 正 元 素 ， 并 且 对 某 个 z，yEZ， 有 s=artby. 
设 "一 La/sj， 则 式 (3. 8) 说 明 

amods 一 4 一 = a— qlar +by) = a(1—gqr) + b(— qy) 

因此 ，a mod s 也 是 a 与 5 的 一 个 线性 组 合 。s 是 这 个 线性 组 合 中 的 最 小 正 数 ， 由 于 O<a mod s<s, 
故 有 amod s 二 0。 因 此 有 sla， 类 似 地 ， 可 得 到 slo. AE, s 是 a 与 5 的 公约 数 ， 所 以 
gcd(a, DS>s, AW ecdla, DAN Re 与 整除， 并 且 是 wa 与 的 一 个 线性 组 合 ， 所 以 
由 式 (31.4) 可 知 ged(a, b) |s. {HAF gcd(a, b)|s Ms>0, Alb gcd(a, 中 二;s。 将 上 面 已 证 
明 的 gcd(a，b) 三 5 与 gcd(a, DSS HAREK, BEB gcd(a，b) 二;s， 因 此 证 明了 ;是 a 与 5b 的 最 
大 公约 数 。 国 

推论 31.3 对 任意 整数 a 与 b， 如果 dla d|b, A) d|gedla, b). 

证 明 根据 定理 31.2，gcd(a, 5) 是 a 与 5b 的 一 个 线性 组 合 ， 所 以 由 式 (31.4) 可 知 ， 该 推论 
成 立 。 m 

推论 31.4 对 所 有 整数 a 和 b 以 及 任意 非 负 整数 n， 有 

gcd(an,n) = n gcd(a,b) 
证 明 ”如果 n=0, 该 推论 显然 成 立 。 如 果 n0, Mj gcd(an，bn) 是 集合 {anz 十 bny: zx, 


yE2Z} 中 的 最 小 正 元 素 ， 即 集合 {faz 十 by: xT，yE2Z}) 中 最 小 正 元 素 的 n 售 。 É 
推论 31.5 对 于 任意 正 整 数 n、a fob, wX% nlab A gcdla, n)=1, R) nlb. 
证 明 证明 过 程 留 作 练习 31. 1-5. 
互 质数 


如 果 两 个 整数 a 与 5 只 有 公约 数 1， 即 gcd(a,， 56) 二 1， 则 a 与 6 称 为 互 质数 。 例 如 ，8 和 15 
是 互 质数 ， 因 为 8 的 约 数 为 1、2、4、8， 而 15 的 约 数 为 1、3、5、15。 下 面 的 定理 说 明 如 果 两 
个 整数 分 别 与 一 个 整数 p 为 互 质数 ， 则 其 积 与 p 互 质 。 
定理 31.6 对 任意 整数 a、b 和 pp， 如 果 gcdl(a, p)=1 且 gcd(b, p)=1, R] ged(ab, p)=1. 
证 明 由 定理 31. 2 可 知 ， 存 在 整数 zx、y、z' 和 y 满足 
ar 十 加 一 1 
br'+ py'’=1 
把 上 面 两 个 等 式 两 边 分 别 相 乘 ， 经 过 整理 得 
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ab(ax') + plybx' + y'ax + pyy') =1 


因为 1 是 ab 与 p 的 一 个 正 线 性 组 合 ， 所 以 应 用 定理 31. 2 就 可 以 证 明 结 论 。 m 
对 于 整数 n, m, s m, 如 果 对 任何 ;到 7 都 有 gcd(n; 5 nj)=1, WFR ER m, m, os m 
两 两 互 质 。 
唯一 因子 分 解 定理 


下 面 的 结论 说 明 关 于 素数 整除 性 的 一 个 基本 而 重要 的 事实 。 

定理 31.7 对 所 有 素数 户 和 所 有 整数 a,， b, WR plab, M pla 或 p15( 或 两 者 都 成 立 )。 

证 明 采用 反 证 法 , it plab, 但 pta 并 且 pt5。 因 此 ,gcdla, p)=1 H ged(b, p)=1, 
这 是 因为 p 的 约 数 只 有 1 和 pp， 又 因为 假设 a 和 5。 都 不 能 被 p 整除 。 由 定理 31.6 可 知 ， 
ged(ab, p)=1; 由 假设 plab 可 知 gcd(ab， 力 一 如 ， 于 是 产生 了 矛盾， 从 而 证 明定 理 成 立 。 a 

从 定理 31.7 可知， 任意 一 个 合 数 的 素 因子 分 解 式 是 唯一 的 。 

定理 31. 8( 唯 一 因子 分 解 定 理 ) 合 数 a 仅 能 以 一 种 方式 写成 如 下 乘积 形式 : 

a = pi p? pF 

其 中 pi ARK, Ahleh, He 为 正 整 数 。 

证 明 证 明 过 程 留 作 练习 31. 1-11。 加 

例如 ， 数 6000 可 以 唯一 地 分 解 为 2 + 35°, 


31. 1-1 证 明 : #7 a>b>c, H c=a+b, Ii) c mod a 二 4b。 

31.1-2 证 明 有 无 穷 多 个 素数 。( 提 示 : 证 明 素数 pi, por > pi 都 不 能 整除 (pip,…pi) 十 1)。) 
31. 1-3 WEH: 如 果 alb 且 51c， 则 alc。 

31.1-4 WEH: WR p 是 素数 并 且 O<k<p, Mi gcd(k, p)=1. 

31.1-5 证 明 推 论 31. 5。 


31.1-6 WE: WR p 是 素数 日 0 二 k=p， 则 zp| p ERRAR a, b 和 素数 p， 有 


(a+b)? = a’ +b (mod p) 
31.1-7 证 明 : WR a Alb PARERS, HWE alb, WAHE x, 
(x mod b) moda = x moda 
在 相同 的 假设 下 ,证 明 对 任意 整数 zx 和 >y， 如 果 zx 三 y(mod 5)， 则 z=y(mod a), 
31.1-8 对 任意 整数 ti 之 0， 如 果 存 在 一 个 整数 a， 满足 a* = 二 nx， 则 称 整数 n 是 一 个 RE. WR 
对 于 茶 个 整数 二 1，n 二 1 是 一 个 上 次 窘 ， 则 称 n 是 非 平凡 窒 。 说 明 如 何在 关于 6B 的 多 项 
式 时 间 内 判定 一 个 8 位 整数 n 是 否 是 非 平凡 短 。 
31. 1-9 证 明 等 式 (31. 6)~(31. 10), 
31. 1-10 WEH: 最 大 公约 数 运算 满足 结合 律 ， 即 证 明 对 所 有 整数 a、5 Alc, 
gcd(a,gcd(b,c)) = gcd(gcd(a,b),c) 


“31.1-11 证 明定 理 31. 8。 


31.1-12 试 写 出 计算 8 位 整数 除 以 短 整 数 的 高 效 算 法 ， 以 及 计算 8 位 整数 除 以 短 整数 的 余数 的 
高 效 算 法 。 所 给 出 的 算法 的 运行 时 间 应 为 O’). 

31. 1-13 ” 写 出 一 个 高 效 算法 ， 用 于 将 8 位 二 进 制 整数 转化 为 相应 的 十 进 制 表示 。 证 明 : 如 果 长 
度 至 多 为 8 的 整数 的 乘法 或 除法 运算 所 需 时 间 为 M8) ， 则 执行 二 进 制 到 十 进 制 转换 所 
需 的 时 间 为 OMO., GET: 应 用 分 治 法 ， 分 别 使 用 独立 的 递归 计算 结果 的 前 段 
Ala Be.) 
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31.2 最 大 公约 数 

在 本 节 中 ， 我们 将 描述 高 效 计算 两 个 整数 最 大 公约 数 的 欧 几 里 得 算法 。 在 对 其 运行 时 间 进 
行 分 析 的 过 程 中 ， 我 们 将 发 现 它 与 斐 波 那 契 数 存在 着 惊人 联系 ， 由 此 可 知 欧 几 里 得 算法 最 坏 情 
况 下 的 输入 。 

在 本 节 中 ， 我 们 仅 对 非 负 整数 进行 讨论 。 由 式 (31. 8) 可 知 ，gcd(a, 5b) 二 gcd(|a| ,12| ) 这 一 


限制 是 有 道理 的 。 
原则 上 讲 ， 可 以 根据 a 和 6 的 素 因 子 分 解 求 出 正 整 数 a 和 5 的 最 大 公约 数 gcd(a，b)。 的 确 ， 如 果 
a= pi pip (31. 11) 
b= pf pfp! (31. 12) 


其 中 使 用 了 零 指数 ， 从 而 使 得 素数 集合 dis Por ors DXF a 和 2 相同 ， 正 如 练习 31. 2-1 要 求 
读者 证 明 的 ， 
gcd(a,b) = pE printer Se? pr Sy) (31. 13) 
我 们 将 在 31.9 FP BEAD, EAE A KS SF A A F RK th AH AE 3K FB) & HK FT TTS. 
因此 ， 利 用 这 种 方法 来 计算 最 大 公约 数 不 大 可 能 获得 高 效率 。 
计算 最 大 公约 数 的 欧 几 里 得 算法 基于 如 下 定理 。 
定理 31. 9(GCD 递归 定理 ) ”对 任意 非 负 整 数 a 和 任意 正 整 数 b， 
gcd(a,b) = gcd(b,a mod b) 
证 明 下面 将 证 明 gcd(a, b)49 gedlb, amod 65) 可 以 互相 整除 ， 这 样 由 等 式 (31.5) 可 知 ， 它 
们 一 定 相等 (因为 它们 都 是 非 负 整数 )。 
首先 证 明 gcdla, b) | gcd(5，a modb), WMR d=gcdla, b), 那么 dla 且 4d15。 由 等 
式 (3.8) 可 知 ，(a mod 65) 二 a 一 qb， 其 中 gq 二 La/5]。 因 为 a modb 是 a Fb 的 线性 组 合 ， 所 以 由 等 
式 (31.4) 可 知 ，d| (a mod 65)。 因 此 ， 由 于 dlb 且 4d1(a mod 5)， 由 推论 31.3 可 得 d|gcd(b， 
a mod 5b)， 或 者 有 等 价 结论 
gcd(a,b) | gcd(b,a mod b) (31. 14) 
证 明 gcd(5，a modb) | gcd(a，5) 的 过 程 几乎 与 上 述 过 程 相 同 。 如 果 设 d=gced(b, amodd), 
Mi d|6 Hd|(amodb), HF a=qb+(a modb), HH q= a/b), Ar a fb 和 (a mod5) 的 一 个 
线性 组 合 。 由 等 式 (31. 4) 可 得 dla. HF dlb 且 d1a， 故 根据 推论 31.3, d| gcd(a, b), 或 者 有 
等 价 结论 
gcd(b,a mod b) | gcd(a,b) (31. 15) 
运用 式 (31. 5) ， 再 根据 式 (31. 14) 与 式 (31. 15) ， 就 可 以 完成 对 本 定理 的 证 明 。 m 
欧 几 里 得 算法 
欧 几 里 得 ( 约 公元 前 300 年 ) 的 《几何 原本 ) 描 述 了 下 列 gcd 算法， 实际 上 这 一 算法 出 现 的 时 间 
可 能 还 要 早 些 。 我 们 将 其 描述 为 一 个 由 定理 31. 9 直接 得 到 的 递归 程序 ， 其 输入 a Alb 都 是 任意 
非 负 整数 。 
EUCLID(a,6) 
1 ifs==0 
2 return a 
3 else return EUCLID(6,a mod b) 


下 面 举例 说 明 EUCLID 的 运行 过 程 。 考 虑 gcd(30，21) 的 计算 过 程 : 


O 存在 量子 计算 机 的 因子 分 解 算法 ， 即 秀 尔 算法 (Shor”s Algorithm) 。 一 一 译 者 注 


933 


934 


935 


936 


548 + 第 七 部 分 算法 问题 选编 


EUCLID(30,21) = EUCLID(21,9) = EUCLID(9,3) = EUCLID(3,0) = 3 

该 计算 过 程 三 次 递归 调用 了 EUCLID。 

过 程 EUCLID 的 正确 性 可 以 从 定理 31. 9 以 及 下 列 性 质 推出 : 如 果 算 法 在 第 2 行 返 回 a， 则 
8 一 0。 因 此 由 式 (31. DTA, gcd(a, 6) 一 gcd(Ca，0) 王 wa。 因为 在 递归 调用 的 过 程 中 第 二 个 参数 
的 值 单调 递减 且 始 终 非 负 ， 所 以 算法 不 可 能 无 限 递归 下 去 。 因 此 ，EUCLID 总 能 终止 并 求 出 正确 
答案 。 

欧 几 里 得 算法 的 运行 时 间 

下 面 来 分 析 EUCLID 算法 在 最 坏 情况 下 的 运行 时 间 ， 我 们 把 它 看 成 输入 a 与 5 的 大 小 的 函数 。 不 
失 一 般 性 ， 设 a 二 5b 二 0。 为 了 确定 这 个 假设 的 合理 性 ， 注 意 如 果 bao, Wj EUCLID, b) AVEA 
归 调 用 EUCLID(5，a)， 即 如 果 第 一 个 自 变量 小 于 第 二 个 自 变 量 ， 则 EUCLID 进行 一 次 递归 调用 
以 对 调 两 个 自 变量 ， 然 后 继续 执行 。 类 似 地 ， 如 果 5 二 a 二 0， 则 过 程 在 进行 一 次 递归 调用 后 就 终 
止 执行 ， 因 为 a mod b=0, 

过 程 EUCLID 的 运行 时 间 与 其 递归 调用 的 次 数 成 正比 。 在 我 们 的 分 析 过 程 中 ， 用 到 了 由 递 
HRG. 22) 定 义 的 斐 波 那 契 数 F, . 

引 理 31. 10 ”如 果 a>b>1 并 且 EUCLID, DHATI AS) 次 递归 调用 ， 则 a 宇 Fiys，b 宇 Fin。 

证 明 通过 对 & 进 行 归纳 来 证 明 引 理 。 作 为 归纳 的 基础 ， 设 k=l, W bF., LAF 
a>b, HA a 宇 2 二 Fi 。 因 为 b>(a mod 5)， 即 在 每 次 调用 中 ， 第 一 个 变量 严格 大 于 第 二 个 变量 ， 
因此 对 每 次 递归 调用 ,假设 a 二 6 成立。 

假设 执行 一 1 次 递归 调用 时 引 理 成 立 。 下 面 将 证 明 若 执行 & 次 递归 调用 ， 引 理 同 样 成 立 。 因 
为 >0， 所 以 有 5 二 >0， 并 且 EUCLID(ae， 包 递归 调用 EUCLID(，a modb), 该 函数 依次 进行 了 
k 一 1 次 递归 调用 。 根 据 归纳 假设 可 知 6 二 Fw1( 因 此 也 就 证 明了 引 理 的 一 部 分 )， 且 amodb>F,. R 
们 有 

b+ (a modb) = 6+ (a—b|a/b)) <a 

因为 a>b>0 可 导出 La/5] 宇 1， 所 以 
a © b+ (a modb) > Fy, +F, = Fiz E 

下 面 的 定理 是 这 个 引 理 的 一 个 直接 推论 。 

定理 31. 11(Lamé 定理 ) ERHARD 1, wR a>b>l, Hb<F,,,, A) EUCLID(a, 6)4 
递归 调用 次 数 少 于 次 。 

通过 证 明 当 & 宇 2 时 ，EUCLID(Fiii，F) 恰 好 进行 了 一 1 次 递归 调用 ， 可 以 证 明定 理 
31.11 中 的 上 界 是 最 优 的 。 对 于 k= 二 2 的 基本 情况 ，EUCLID(F;，F; ) 恰 好 进行 1 次 调用 ， 变 为 
EUCLID, 0) (我 们 必须 从 k= 二 2 开始 ， 因 为 二 1 时 ,无法 得 到 FF), HABIAK, Bit 
EUCLID(F，F_,) 恰 好 进行 了 & 一 2 BRIA. WIA ko 2, ARORA SOR F =F, + 
Fis NHY 31. 1-1 有 Fu. mod = Fy. Ft. H 

gcdCF F) = gcd( F, , Fy mod F;) = ged(F,, Fy.) 

因此 ，EUCLID(Fiy, ，F) 的 调用 次 数 恰好 比 EUCLID(F,，F_1) 多 一 次 ， 即 恰好 & 一 1 次 ， 从 而 
达到 定理 31. 11 中 的 上 界 。 

由 于 FRAAS, HF EHAR. 24) 定 义 的 黄金 分 割 率 (1 十 V5)/2， 所 以 EUCLID 执行 
中 递归 调用 的 次 数 为 O( lg 5)。( 更 紧 的 界 见 练习 31. 2-5,) 因 此 ， 如 果 过 程 EUCLID 作用 于 两 个 8 
位 数 ， 则 它 将 执行 OCD) UA AEH AI OCS ) 次 位 操作 (假设 8 位 数 的 乘法 和 除法 运算 要 执行 OC(B?) 
次 位 操作 )。 思 考题 31-2 要 求 读者 证 明 位 操作 次 数 的 界 为 O). 

欧 几 里 得 算法 的 扩展 形式 

现在 重 写 欧 几 里 得 算法 以 计算 出 额外 的 有 用 信息 。 特 别 地 ， 我 们 推广 该 算法 用 于 计算 出 满 
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足下 列 条 件 的 整 系数 工 和 >y: 

d = gcd(a,b) = ax + by (31. 16) 
注意 ,xz 与 > 可 能 为 0 或 负数 。 我 们 将 会 发 现 这 些 系数 对 计算 模 乘 法 的 逆 是 非常 有 用 的 。 过 程 
EXTENDED-EUCLID 的 输入 为 一 对 非 负 整数 ， 其 返回 一 个 满足 式 (31. 16) 的 三 元 组 (d，x，y)。 


EXTENDED-EUCLID(a,b) 

1 ifb==0 

2 return(a,1,0) 

3 else(d’,x', y')=EXTENDED-EUCLID(4,a mod b) 
4 (d,z,y)=(d',y',z'—|a/b|y’) 

5 return(d,2x,y) 


图 31-1 演示 了 用 EXTENDED-EUCLID 计算 gcd(99，78) 的 过 程 。 





图 31-1 用 EXTENDED-EUCLID 计算 gcd(99，78) 。 每 行 显示 一 层 递 归 调 用 : 输入 a 和 6 
的 值 ， 计 算数 值 La/bj， 并 返回 值 4，z 和 >y。 返 回 的 三 元 组 (d，z，?y) 成 为 三 元 组 
(d'，zx'，y')， 在 更 高 一 层 递归 中 使 用 。 调 用 EXTENDED-EUCLID(99，78) 返 回 
(3， 一 11，14) ， 故 gcd(99, 78)=3=99 • (—11)+78 • 14 


过 程 EXTENDED-EUCLID f2it EUCLID 的 一 个 变形 。 第 1 行 等 价 于 EUCLID 第 1 行 中 
的 测试 “5 二 = 二 0”?。 如 果 b=0, M) EXTENDED-EUCLID 不 仅 返 回 第 2 行 中 的 d=a, 而且 返 回 系 
数 zx==1 Al y=0, 使 得 a 二 az 十 by。 如 果 bÆ#0, W) EXTENDED-EUCLID 首先 计算 出 满足 d'= 
gcd(b, a mod b) Ñl 

d' = br' + (a mod b) y' (31. 17) 
h(a’, x’, y). Xt EUCLID 来 说 ， 在 这 种 情况 下 ， 有 d=gcd(a, 6)=d'=ged(b, a modb), 
为 了 得 到 满足 d 一 az 十 by 的 x 和 y， 利 用 等 式 d= 二 d' 和 式 (3. 8) 来 改写 式 (31. 17): 
d= tbr'+(a—bla/b))y' = ay'+b(2' —|a/bly') 

Ke, HAF r= y 和 y=2'—La/bly' 时 ， 就 可 满足 等 式 &= az 十 by， 从 而 证 明了 过 程 
EXTENDED-EUCLID 的 正确 性 。 

由 于 在 EUCLID 中 ， 所 执行 的 递归 调用 次 数 与 EXTENDED-EUCLID 中 所 执行 的 递归 调用 
次 数 相等 ， 因 此 ，EUCLID 与 EXTENDED-EUCLID 的 运行 时 间 相 同 ， 两 者 相差 不 超过 一 个 常数 
AS, BIX} a>b>0. 递归 调用 的 次 数 为 Odg b). 


练习 
31.2-1 WEH: 由 式 (31. 11) 和 式 (31. 12) 可 推 得 式 (31. 13). 
31. 2-2 计算 调用 过 程 EXTENDED-EUCLID(899，493) 的 返回 值 为 Cg，z，y)。 
31. 2-3 WEH: 对 所 有 整数 a, 有 和 nn， 
gcd(a,n) = gcd(a + kn,n) 
31.2-4 仅 用 常数 大 小 的 存储 空间 ( 即 仅 存 储 常数 个 整数 值 ) 把 过 程 EUCLID 改写 成 迭代 形式 。 
31.2-5 MRa>b>0, WH: EUCLID, 656) 至 多 执行 1 十 log,b 次 递归 调用 。 把 这 个 界 改进 
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Fy1+log,(b/ged(a, b)). 


31.2-6 过程 EXTENDED-EUCLID(F,+, ，F) 返 回 什么 值 ? 证 明 答案 的 正确 性 。 
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31.2-7 利用 递归 等 式 gcd(ao，a1，…，a,) 二 gcd(ao，gcd(a1，*…，a,)) 定 义 多 于 两 个 变量 的 
gcd 函数 。 说 明 ged 函数 的 返回 值 与 其 参数 次 序 无 关 。 同 时 说 明 如 何 找 出 满足 gcd(ao， 
aa，…，aw) 一 az 十 az 十 … 十 anz 的 整数 zu，z ，…，z。 证 明 所 给 出 的 算法 执行 除 
法 运算 的 次 数 为 O(n 十 lg (max{ao，ail，*…，a,}))。 

31.2-8 fon DEB, +, a, 的 最 小 公 倍 数 定义 为 ltm(a ，as，…，a,)， 即 每 个 a; 的 倍数 中 
的 最 小 非 负 整数 。 说 明 如 何 使 用 (具有 两 个 自 变量 的 )gcd 函数 作为 子 程序 才能 高 效 计算 
出 lcm(al ，as ，…，an) 。 

31. 2-9 证 明 : m, m, n, Alm 是 两 两 互 质 的 当 且 仅 当 

gcd(m m nam) = ged(m n snan) = 1 

更 一 般 地 ， 证 明 : m, m, ot, m 两 两 互 质 ， 当 且 仅 当 从 n 中 导出 的 [lgk1| 对 整数 互 为 质 
数 。 


31.3 ize 
可 以 把 模 运 算 非 正式 地 与 通常 的 整数 运算 一 样 看 待 ， 如 果 执 行 模 n 运算 ， 则 每 个 结果 值 z 都 
由 集合 {0，1，…，n 一 1) 中 的 某 个 元 素 所 取代 ， 该 元 素 在 模 n 的 意义 下 与 x 等 价 ( 即 用 zmodn 来 
取代 z) 。 如 果 仅 限于 运用 加 法 、 减 法 和 乘法 运算 ， 则 用 这 样 的 非 正式 模型 就 足够 了 。 模 运算 模 
型 最 适合 于 用 群 论 结构 来 进行 描述 ， 下 面 就 给 出 更 为 形式 化 的 模型 。 
有 限 群 
群 (S， 名 ) 是 一 个 集合 S 和 定义 在 S 上 的 二 进 制 运 算 由 ， 该 运算 满足 下 列 性 质 : 
1. HATE: 对 所 有 a，pES， 有 a 四 5ES。 
2. 单位 元 : 存在 一 个 元 素 eE S， 称 为 群 的 单位 元 ， 满 足 对 所 有 a€ S, eWa=aPe=a, 
3. 结合 律 : 对 所 有 a, b, cES, FA(Ca@hH@c=aOb@c). 
4. 逆 元 : 对 每 个 a€ S， 存 在 唯一 的 元 素 OES, MA a 的 逆 元 ， 满 足 四 0 一 Oase, 
例如 ， 考 察 一 个 熟知 的 在 加 法 运算 下 整数 Z 所 构成 的 群 (Z， 十 ): 0 是 单位 元 ，a WICH 
一 a。 如 果 群 (S， 由 ) 满 足 交换 律 ， 即 对 所 有 a，4bE S， 有 a 名 5b 二 b 四 xc， 则 它 是 一 个 交换 群 。 
如 果 群 (S， 四 ) 满 足 |S| 一 cc， 则 它 是 一 个 有 限 群 。 
由 模 加 法 与 模 乘 法 所 定义 的 群 
通过 对 模 盖 运用 加 法 与 乘法 运算 ， 可 以 得 到 两 个 有 限 交 换 群 ， 其 中 ”是 正 整数 。 这 些 群 基于 
31. 1 节 中 定义 的 整数 模 n 所 形成 的 等 价 类 。 
我 们 需要 合适 的 二 元 运算 来 定义 Z 上 的 群 ， 该 运算 可 以 通过 重新 定义 普通 的 加 法 运算 与 乘 
法 运算 得 到 。Z, 上 的 加 法 与 乘法 运算 很 容易 定义 ， 因 为 两 个 整数 的 等 价 类 唯一 决定 了 其 和 或 积 
的 等 价 类 。 也 就 是 说 ， 如 果 a=a (mod n) fil b=b' (mod n), BA 
a+b=a' +6'(mod n) 
ab= a'b' (mod n) 
因此 ， 定 义 模 n 加 法 与 模 n 乘法 如 下 (分 别 用 十 , M en BAN): 
[a], +,L6],= [a+b], (31. 18) 
[a], *,L6],= Cab], 
(Z, 上 的 减法 可 类 似 定义 为 [aj, 一 ,[5j], 二 [a 一 bj,， 但 下 面 将 会 看 到 ， 除 法 的 定义 要 复杂 一 些 .) 


晶 ”原文 直译 应 为 阿 贝尔 群 ， 和 交换 群 同 义 。 一 一 译 者 注 
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这 些 事实 说 明 在 Z 中 进行 计算 时 ， 可 以 很 方便 地 使 用 每 个 等 价 类 的 最 小 非 负 元 素 作 为 其 代表 ， 
这 种 方法 也 具有 一 般 性 。 我 们 对 这 些 代表 元 素 像 整数 那样 执行 加 法 、 减 法 与 乘法 ,但 每 个 结果 x 
都 由 其 所 对 应 类 的 代表 元 素 代替 ( 即 用 x mod n 来 代替 )。 

运用 该 模 n 加 法 的 定义 ， 定义 模 n 加 法 群 (Z,， 十 ;)， 它 的 规模 为 | Z| 二 n。 图 31-2(a) 给 出 
了 群 (Zs ， 十 。) 的 运算 表 。 





(a) (b) 
图 31-2 两 个 有 限 群 ， 其 等 价 类 由 其 代表 元 素 表 示 。(a) 群 (Z，+ 十 *)。 
(b) 群 (Zi;， * 15) 


定理 31. 12 ”系统 (Z,， 十 ,) 是 一 个 有 限 交 换 群 。 

证 明 式 (31. 18) 表 明 (Z,， 十 ,) 是 封闭 的 。 由 十 满足 交换 律 与 结合 律 可 以 推出 十 , 满足 交换 
律 与 结合 律 : L940 

(Cal, +,06],) +.0¢J,= [a 十 ;十 ,[cj, = [la +b) +c], = [a+ (+o), 
=(a),+.l6+¢], = Ca), +, Cb], +.0¢].) 
[a], HC], = [a+6], = (6+a], = [6], + [La], 

(CZ,， 十 ,) 的 单位 元 是 0( 即 [0],)。 元 素 a( 即 [aj,) 的 (加 法 ) 逆 元 是 元 素 一 a( 即 [一 aj, 或 [n 一 aj,)， 
因为 [aj, 十 ,[ 一 aj,==[a 一 aj,= 二 [0j,。 a 

BAK n FEW EM, AE Nn 乘法 群 (Z; ，…,)。 该 群 中 的 元 素 是 Pin 互 质 的 元 
素 组 成 的 集合 Z: 

Z; = {[aj, € Z, : gcd(a,n) = 1} 
为 了 表明 Z 是 良 定 义 的 ， 注 意 到 ， 对 O<a<n 以 及 所 有 整数 k ， 有 a=Catkn)(modn), 。 因 此 根 
据 练习 31. 2-3， 因 为 gcd(a，n) 二 1， 所 以 对 所 有 整数 k，gcd(a 十 kn，n) 二 1。 因 为 [aj,==[a 十 kn: 
kEZ)， 所 以 集合 Z; 是 良 定义 的 ， 下 面 是 这 种 群 的 一 个 例子 : 

7={1, 2; 4, 7, 8, 11, 13, 14) (oa 
其 中 定义 在 群 上 的 运算 是 模 15 乘法 运算 。( 这 里 把 元 素 [a]is 表 示 为 a。 例如 ， 把 [7jis 表 示 为 7。) 
图 31-2(b) 显 示 了 群 (Zi;， * 15) 例如 ， 在 Zs, 8 * 11=13(mod 15), 该 群 的 单位 元 为 Lis, 

定理 31. 13 系统 (Z; ，“。，,) 是 一 个 有 限 交 换 群 。 

证 明 定理 31.6 说 明 (Z; ，…,) 是 封闭 的 。 和 定理 31. 12 证 明 过 程 中 对 十 , 的 证 明 类 似 ， 可 以 
TE +, 也 满足 交换 律 和 结合 律 。 其 单位 元 为 [1],。 为 了 证 明 逆 元 的 存在 , 设 a 是 Z; 中 的 一 个 元 
素 ， 并 设 (Z&，z，J) 为 EXTENDED-EUCLID(a，7z) 的 输出 结果 ， 则 d= 二 1， 因 为 a€EZ* ， 而 且 

ar 十 zy 一] (31. 19) 
或 者 等 价 地 ， 
ax = 1(mod n) 
Att, Lel, 是 [aj, 对 模 n 乘法 的 逆 元 。 进 一 步 ， 因 为 等 式 (31. 19) 说 明了 zn 的 最 小 正 线性 组 
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合 必然 是 1， 所 以 断言 [xr], EZ 。 因 此 由 定理 31. 2 推出 ged, 7) 二 1。 关 于 逆 元 的 唯一 性 证 明 
留 到 推论 31. 26。 a 

作为 计算 乘法 逆 元 的 一 个 例子 , w a=5 H n=11, W EXTENDED-EUCLID(a, n)i& Fl 
(d, z, y= 二 (1， 一 2，1), 于 是 1==5。( 一 2) 十 11。1。 因 此 [一 2jn( 即 [9jy) 是 [5ju 的 乘法 
wz. 

为 了 方便 起 见 ， 在 本 章 的 后 面部 分 遇 到 群 (Z.， 十 ,) 和 (Z; ，“，,) 时 ， 仍 然 用 代表 元 素来 表示 
等 价 类 ， 并 且 分 别 用 通常 的 运算 记号 十 和 。 (或 并 置 ， 故 ab 二 a* 6) 来 表示 运算 十 , M no AHN, 
模 半 等 价 也 可 以 用 Z, 中 的 等 式 说 明 。 例 如 ， 下 列 两 种 表示 等 价 : 

ax= b(mod n) 
Ca], *nLr],= [Co], 
为 了 方便 表示 ， 当 从 上 下 文 能 看 出 所 采用 的 运算 时 ， 有 时 仅 用 S 来 表示 群 (S$， 铝 )。 因 此 可 以 用 
Z,Al Z; 分 别 来 表示 群 (Z.， 十 ,) 和 (Z: ，…,)。 
一 个 元 素 a 的 (乘法 ) 首 元 表示 为 (a ' modz) 。Z; 中 的 除法 由 等 式 a/bŒab | (mod n) EL. 
942 | 例如 , 在 如 中 ， 有 7 ! 寺 13(mod15)， 因为 7.13==91 三 1(mod 15)。 这 样 就 有 4/7=—4 + 13= 


7(mod 15), 
Z 的 规模 表示 为 %(z) 。 这 个 函数 称 为 欧 拉 phi 函数 ， 满 足下 式 : 
= 二 二 
$(n) = n I | 1 P ) (31. 20) 


其 中 尹 能 整除 =” KERR COR n ERR, MEE n A). PEMA RIAA PE EIER. MAE 
观 上 看 ， 开 始 时 有 一 张 n 个 余数 组 成 的 表 {0，1，…，n 一 1}， 然 后 对 于 每 个 能 整除 的 素数 p， 
在 表 中 划 掉 所 有 zp 的 倍数 。 例 如 ， 由 于 45 的 素 约 数 为 3 和 5， 所 以 


#(45) = 45(1-4.) (1-2) =45(4) (4) = 24 


如 果 p ERR, WZ ={1, 2, =, p—-1}, 并 且 


= 1——) = p—1 31:21 
$p) = pl L) = p (31. 21) 
如 果 n 是 合 数 ， 则 $8() 二 n 一 1， 尽 管 它 可 以 表示 为 
$n) > a (31. 22) 
e” In Inn 十 —— 
In Inn io 


其 中 n>3, Wit y=0. 577 215 664 9… 是 欧 拉 常数 。 当 nn 二 5 时 ， 一 个 更 简单 的 (也 更 松弛 ) 的 下 界 
是 


$n) 之 一 一 一 a] (31. 23) 
n ae 
式 (31. 22) 中 的 下 界 事 实 上 是 最 好 的 ， 因 为 
和 (31. 24) 
neo n/Ininn 


FH 
MRS, O)A—ME, S'S, FHAS, DEME, MCS’, ORAS, DHFR., 
943) 例如 ， 在 加 法 运算 下 ， 偶 数 形成 一 个 整数 的 子 群 。 下 列 定理 提供 了 识别 子 群 的 一 个 有 用 工具 。 
定理 31. 14( 一 个 有 限 群 的 非 空 封闭 子 集 是 一 个 子 群 ) wR, OA-TARH, SRS HH 
任意 一 个 非 空子 集 并 满足 对 所 有 a，pES ， 有 aa 四 pbES ， 则 (S ， 四 ) 是 (S， 四 ) 的 一 个 子 群 。 
证 明 证 明 过 程 留 作 练习 31. 3-3。 a 
例如 ， 集 合 {0，2，4，6)} 形 成 Zs 的 一 个 子 群 ， 因 为 它 是 非 空 的， 而且 在 十 运算 下 具有 封闭 
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性 ( 即 在 十 * 下 它 是 封闭 的 )。 

下 列 定理 对 子 群 的 规模 作出 了 一 个 非常 有 用 的 限制 ， 证 明 在 此 略 去 。 

定理 31. 15( 拉 格 朗 日 定理 ) ”如 果 (S， 四) 是 一 个 有 限 群 ，(S'， OORS, Dit, 
则 |S'| 是 |S| 的 一 个 约 数 。 

对 一 个 群 S HFRS’, WR SAS. WICH S' 称 为 群 S 的 真子 群 。31. 8 节 中 对 Miller-Rabin 
素数 测试 过 程 的 分 析 将 用 到 下 面 的 推论 . 

推论 31.16 如果 S' 是 有 限 群 S 的 真子 群 ， 则 |S'| 夺 |S|/2。 

由 一 个 元 素 生 成 的 子 群 

定理 31. 14 给 出 了 一 种 用 于 生成 有 限 群 (S， 人 名) 的 子 群 的 有 趣 方 法 : 选择 一 个 元 素 a, 根据 
群 上 的 运算 取出 由 a 能 生成 的 所 有 元 素 。 具体 地 ， 对 & 宇 1 EN a ME: 


a? = O a= aa Do 


kt 
例如 ， 如 果 取 群 Z 中 的 元 素 a=2. Fra, a, oH 
2.4.0,2,4,0,2,4,0,°°° 

ER ZP, Ha” =kamodn, REZ 中 . fia =a" modn, Ha 生成 的 子 群 用 (oa 或 ((a)， 由 ) 
来 表示 ， 其 定义 如 下 : 

(a) = (201])} 
我 们 称 a ERTE), RE a 是 (4a) 的 生成 元 。 因 为 S 是 有 限 集 ， 所 以 (4a) 是 S 的 有 限 子 集 ， 它 
可 能 包含 S 中 的 所 有 元 素 。 由 四 满足 结合 律 可 知 ， 


a” @a® =a? 
故 (a) 具 有 封闭 性 ， 根 据 定理 31.14，(4) 是 S 的 一 个 子 群 。 例 如 , 在 Z 中 ， 有 
(0) = {0} 


(1) = {0,1,253,455} 
(2) = {0,2,4} 
类 似 地 , 在 ZZ 中， 有 
(1) = {1} 
(2) = {1,2,4} 
(3) = {1,2,3,4,5,6} 
TERE S Pa Be MAW a a” = 的 最 小 正 整数 上 ， 用 ord(a) BRA. 
定理 31. 17 ERARE, OE ACS, —PFAKHMFTECHERF RARER, 
Bp ord(a)=| <a) | 。 
证 明 设 三 ord(a)。 因 为 ao2 =e J HX k> A att =a? O a” =a”, MWR i Sz, 则 对 某 
4 j<i, 有 a"”==a”。 因 此 ,在 a 后面 不 会 出 现 新 元 素 ， 于 是 (4a) 二 {a a, +, a}, WA 
| 《a) | 过 ti。 为 了 证 明 | 《a) | Se, 我 们 证 明 序列 a, a, +, a 中 的 元 素 各 不 相同 。 假 设 不 成 
立 ， 即 对 某 个 满足 1 二 i<=<j 达 it 的 i Aj fia’ =a”. MAX kE, Aad” =a”, (APE 
AM =E =e, A itaj, Mit EW eo? 一 e 的 最 小 正 值 ， 这 样 就 产生 了 矛盾 。 
因此 ， 序 列 a, a ，…，a"” 中 的 每 个 元 素 都 是 不 同 的 ，|(a) | 宇 t。 于 是 得 出 结论 
ord(a)=| (a)|。 ad 
HEE 31.18 序列 a”, a, A AREA, KAMA t=ord(a), BP a® =a” 当 且 仅 
4 i=j(mod t). 
IARR i EL aO J e, HELa Ham, Hp r=ord(a), 与 上 述 推论 一 致 。 
推论 31. 19 ”如果 (S， 四 ) 是 具有 单位 元 e 的 有 限 群 ， 则 对 所 有 aE S， 


944 


945 


946 
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a's? = e 


证 明 OAS BA A EBERT, ordla)||S|, Kie |S|=0Cmodt), $E t=ordla). ATLA 


al =a” = ¢ E 


练习 

31.3-1 画 出 群 (Z ， 十 ,) 和 群 (Z ，…;) 的 运算 表 。 通 过 找 这 两 个 群 的 元 素 间 的 一 一 对 应 关系 a， 
满足 at+b=c(mod 4) 当 且 仅 当 ala) * a(b)=alc)(mod 5)， 来 证 明 这 两 个 群 是 同 构 的 。 

31.3-2 FIA ZA ZW ATH. 

31.3-3 证 明定 理 31. 14, 

31.3-4 证 明 : WR p 是 素数 且 e 是 正 整 数 ， 则 

op) = pp— 1) 

31.3-5 WEH: 对 任意 n>l 和 任意 aeEZ; ， 由 式 falc) =ar mod n 所 定义 的 函数 f。: Z; 一 Z; 是 

Z; 的 一 个 置换 。 


31.4 求解 模 线 性 方程 


现在 来 考虑 求解 下 列 方程 的 问题 : 
ax = b(mod n) (31. 25) 
KPa >0, n>0. KPABGABTH OA. Ain, 7631.7 节 中 ， 我 们 将 它 用 在 RSA 公 钥 加 密 系 
统 中 ， 作 为 寻找 密 钥 过 程 的 一 部 分 。 假 设 已 知 a, 5 和 n， 希 望 找 出 所 有 满足 式 (31. 25) 的 对 模 n 
的 x 值 。 这 个 方程 可 能 没有 解 ， 也 可 能 有 一 个 或 多 个 这 样 的 解 。 
Ala RIRH a RAY ZAR. F(a) ={a®: x2>0}=({axmodn: zx 二 0)， 所 以 当 且 仅 
当 [5]E adit, 方程 (31. 25) 有 一 个 解 。 拉 格 朗 日 定理 (定理 31. 15) 告 诉 我 们 ，| (a) | 必定 是 nn 的 
约 数 。 下 列 定理 准确 地 刻画 了 (a) 的 特性 。 
EH 31.20 ”对 任意 正 整 数 a fon, wWRd=gedla, n), IÆ ZP, 
(a) = (ld) = {0,d,2d,***,((n/d) — 1)d} (31. 26) 
因此 ， 
| <a) | = n/d 
证 明 首先 证 明 dE (a)。 注 意 到 EXTENDED-EUCLID(a, nn) 可 生成 整数 A y, E44 
az'+ny'=d,. Ask ax'=d(modn), ， 所 以 dE (a)。 换 句 话 说 ，d 是 Z, Pa 的 一 个 倍数 。 
由 于 de (a), BRL d 的 所 有 倍数 均 属 于 (a);， 这 是 因为 a 的 倍数 的 倍数 其 本 身 仍然 是 a 的 倍 
数 。 所 以 ，(a) 包 含 了 集合 {0，d，2d，…，((n/d) 一 1)d} 中 的 每 一 个 元 素 。 也 就 是 说 ，(d) 和 (a)。 
现在 来 证 明 (a)S(d)。 如 果 mE (a);， 则 对 某 个 整数 z+， 有 mm 二 ax mod n， 所 以 对 某 个 整数 
y， 有 m 王 az 十 ny。 然 而 ，dla 且 d |n， 所 以 由 式 (31.4) 有 dlm。 因 此 ,mE€ (d)。 
由 以 上 这 些 结论 ， 得 到 (a) = 二 (4d)。 注 意 到 在 0 和 nn 一 1 之 间 ( 包 括 0 和 nn 一 1) 恰 有 n/ad 个 4 的 
倍数 ， 这 说 明了 | (a) | =n/d. ga 
推论 31.21 Saws d|b, FA ax=b(modn) HF RHE r AM, KB d=gedla, n). 
证 明 4AM 4LO]e (at, HE az=b( mod n) 有 解 。 由 定理 31. 20， 这 等 同 于 
(bmodn) € {0,d,2d,+*+,((n/d) — 1)d} 
WR OKK, WHK d|b Rt, bE l(a) 成立， 这 是 由 于 (a) 的 成 员 恰 恰 是 d 的 倍数 。 如 果 
b<0 bn, WWE d|b 当 且 仅 当 & 1 (6 mod n) 时 成 立 ， 可 得 推论 ， 这 是 由 于 5 和 6b modn 可 
以 由 的 倍数 区 分 开 ， 而 其 本 身 是 d 的 倍数 。 al 
推论 31. 22 FA ar=blmod NRF MR NAMPA HR, RAAR, KB d=ged(a, n), 
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证 明 ”如果 ax=b(mod 7) 有 一 个 解 ， 则 bE (ea?。 根 据 定理 31.17，ord(a) 一 | (a) | ， 而 且 推论 
31. 18 和 定理 31. 20 意味 着 ， Xf i=0, 1, e, 序列 ai mod n 是 周期 性 的 ， 其 周期 为 | (a) | =n/d, 
如 果 bE 《a)， 则 对 i 二 0，1，…，n 一 1， 5 在 序列 ai mod n 中 恰好 出 现 d 次 ， 因 为 当 i 从 0 增加 到 
n 一 1 时 ， 长 度 为 n/d 的 一 组 值 (a) 恰 好 重复 了 4d 次 ， 这 4 个 满足 az mod n=b 的 位 置 的 下 标 zx， 就 是 
方程 ax=b( mod nn) 的 解 。 G 
定理 31.23 Ad=gcdla, n), IRA HAMM x! fo y, A d=ax'+ny' (例如 EXTENDED- 
EUCLID 所 计算 出 的 结果 )。 如 果 d|b， 则 方程 ar 三 b(mod n) 有 一 个 解 的 值 为 x, KZ 
a) = 2'(b/d) mod n 
证 明 有 
aro 三 ar (b/d) (mod n) 
= d(b/d)(modn) (因为 ar' =d(modn)) 
= b(mod n) a 
因此 zo 是 ar=b(mod n) 的 一 个 解 。 
定理 31.24 假设 方程 ar 三 b(modn) 有 和解 ( 即 d|b， 这 里 d= 二 gcd(a，n))， 且 zo 是 该 方程 
的 任意 一 个 解 。 因 此 ， 该 方程 对 模 n 恰 有 d 个 不 同 的 解 ， 分 别 为 xX; 二 zo 十 i(n/d)， 这 里 i= 
OF Ly, 5, T a 
证 明 因为 n/d>0 FF AMF i=0, 1, «+, d—-1, A OSi(n/d)<n, PFW n, {A x, 
zi，…，xzd_1 都 是 不 相同 的 。 因 为 zo 是 ax=b( mod n) 的 一 个 解 ， 故 有 ax, mod n=6b(mod n), A 
tk, ¥ti=0, 1, =, d—-1, F&F 
ax; mod n = a(x +in/d) mod n 
= (ary +ain/d) mod n 
= ax, modn (因为 dja 意味 着 ain/d 是 一 个 n 的 倍数 ) 


=b (modn) 
MAY ax;=b(modn), ， 故 zx; 也 是 一 个 解 。 根 据 推论 31. 22 可 知 ， 方 程 ax=b(modn) tei d ME, 
因此 zo， Tis ”9 Zd_i 必 定 是 方程 的 全 部 解 。 a 


现在 已 经 为 求解 方程 ax=b( mod nn) 完成 了 数学 上 的 必要 准备 ， 下 列 算法 可 输出 该 方程 的 所 
有 解 。 输 入 a 和 为 任意 正 整 数 ，2 为 任意 整数 。 

MODULAR-LINEAR-EQUATION-SOLVER(a,b,n) 

1 (d,2z',y')=EXTENDED-EUCLID(a,n) 

2 ifdlb 

3 2o=2' (b/d) mod n 

4 for i=0 to d 一 1 

5 print(2)+i(n/d)) mod n 

6 


else print“no solutions” 


TEATS BEA Kt A PRED AS. Ae ETT HE 142=30( mod 100) GK, a=14, b=30, 
7 一 100) 。 在 第 1 行 中 调用 EXTENDED-EUCLID, #21) (d, z’, y')=(2, —7, 1). AW 2/30, 
所 以 执行 第 3 一 5 行 。 在 第 3 行 ， 计 算出 x =(—7) (15) mod 100=95, 4 4~5 行 的 循环 输出 这 两 
个 解 95 和 45。 

过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 工作 方式 如 下 。 第 1 行 计 算出 d= 
gcdla，nn) 及 两 个 值 c A y, WE d =ar tny, FRH zx' 是 方程 az' 三 dmodz 的 一 个 解 。 
如 果 a 不 能 整除 6， 则 由 推论 31.21 可 知 ， 方 程 az=b( mod n) 没 有 解 。 第 2 行 检查 是 否 有 4d16; 
如 果 没 有 ， 则 第 6 行 报告 方程 无 解 。 否 则 ， 第 3 行将 根据 定理 31. 23， 计 算出 方程 ax 志 6b(mod n) 


947 


948 
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949 


950 


的 一 个 解 zo。。 已 知 一 个 解 后 ， 定 理 31. 24 说 明 ， 通 过 加 上 对 模 等 于 (n/4d) 的 倍数 ， 可 以 得 到 其 
他 d 一 1 个 解 。 第 4 一 5 行 的 for 循环 输出 所 有 d 个 解 ， 从 zo 开始 ， 每 两 个 解 之 间 模 相差 (n/d)。 

MODULAR-LINEAR-EQUATION-SOLVER 执行 O(lgn 十 gcd(a，n)) 次 算术 运算 ， 因 为 
EXTENDED-EUCLID 需要 执行 O(lgz) 次 算术 运算 ， 并 且 第 4 一 5 FF for 循环 中 的 每 次 迭代 均 要 执 
行 常数 次 算术 运算 。 

定理 31. 24 的 下 述 推论 给 出 了 几 个 非常 有 趣 的 特例 。 

推论 31. 25 ”对 任意 n>1， 如 果 gcd(a，n) 二 1， 则 方程 az 三 b(mod n) 对 模 n 有 唯一 解 。 图 

如 果 5 二 1， 则 要 求 的 是 a 对 模 n 的 乘法 逆 元 ， 这 是 一 种 常见 的 重要 有 趣 情形 。 

推论 31. 26 ”对 任意 nn 二 1， 如 果 gcdl(a，n) 二 1， 那 么 方程 ax 三 1(modn) 对 模 n 有 唯一 解 ; FS 
则 方程 无 解 。 a 

由 于 推论 31. 26， 在 a 和 nn 互 质 时 ， 可 以 用 记号 a! modn 来 表示 a Min HAWG. wR 
gcd(a, n)=1, WF ax=1 (mod nn) 的 唯一 解 就 是 EXTENDED-EUCLID 所 返回 的 整数 zx， 因 为 
方程 

gcd(a,n) = 1 = ax + ny 

意味 着 at 三 1(mod n)。 因 此 ， 运 用 EXTENDED-EUCLID 可 以 高 效 地 计算 出 c-: mod n, 


练习 


31.4-1 找 出 方程 35x 夺 10(mod 50) 的 所 有 解 。 

31. 4-2 WH: 只 要 gcdla, n)=1, Tr ax=ay(mod n) 就 意味 着 x 三 y(mod n)。 通 过 一 个 ged 
(a, M>l 情况 下 的 反例 ， 证 明 条 件 gcd(a，nn) 二 1 是 必要 的 。 

31.4-3 考察 下 列 对 过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 第 3 行 的 修改 : 
3 x =2x'(b/d) mod (n/d) 
能 否 正确 运行 ? 解释 能 或 者 不 能 的 原因 。 


“31.4-4 令 p 为 一 个 素数 ， 且 f(z) 三 fo 十 fz 十 … 十 fx'(mod p—s t KEDR, HRA f: 是 


MZ, ABH. WR f(a)=0(mod p)， 则 将 a€EZ, 称 为 MBIT. TEA: 如 果 a 是 f 的 一 
个 零 元 ， 则 对 某 个 :一 1 次 的 多 项 式 gl), A f(z) 夺 (x 一 a)g(x) (mod p)。 通 过 对 t 进 
行 归纳 来 证 明 : WR p ERM, 次 多 项 式 f(x) 对 模 p ELA t 个 不 同 的 零 元 。 


31.5 中 国 余数 定理 


大 约 在 公元 100 年 ， 中 国 数 学 家 孙子 解决 了 这 个 问题 ， 找 出 所 有 整数 +， 它 们 被 3，5 和 7 除 
AY, 余数 分 别 为 2，3 和 2。 一 个 这 样 的 解 为 zx 一 23， 所 有 的 解 是 形 如 23 十 105&(& 为 任意 整数 ) 的 
整数 。“ 中 国 余数 定理 ”提出 ， 对 一 组 两 两 互 质 的 模 数 ( 如 3，5 和 7) 来 说 ， 其 取 模 运算 的 方程 组 
与 对 其 积 (如 105) 取 模 运 算 的 方程 之 间 存 在 着 一 种 对 应 关系 。 

中 国 余数 定理 有 两 个 主要 应 用 。 设 整数 n 因 式 分 解 为 n 二 mn,…n， 其 中 因子 ni; 两 两 互 质 。 
首先 ， 中 国 余数 定理 是 一 个 描述 性 的 “结构 定理 ”， 它 用 等 同 于 笛 卡 儿 积 Z, XZ, Xo XL, 的 结 


构 描 述 了 乙 ,的 结构 ， 其 中 第 i 个 分 量 定义 了 对 模 n; 的 分 量 方式 加 法 与 乘法 运算 。 其 次 ， 这 种 描述 
有 助 于 设计 出 高 效 的 算法 ， 因 为 处 理 Z, 系统 中 的 每 个 系统 可 能 比 处 理 模 n 运算 效率 更 高 (从 位 操 
作 次 数 看 )。 
定理 31. 27( 中 国 余数 定理 ) 令 n= 二 nno…nm， 其 中 因子 ni 两 两 互 质 。 考 虑 以 下 对 应 关系 : 
A> (Qj as, sa) (31. 27) 
ÈRE aCZ,, a,€Z,, MAXi=1, 2, +, k, 


a; = a mod n; 
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因此 ， 映 射 (31. 27) 是 一 个 在 Z, 与 笛 卡 儿 积 Zp, XZ, X X Za 之 间 的 一 一 对 应 ( 双 射 )。 通 过 在 合 
适 的 系统 中 对 每 个 坐标 位 置 独立 地 执行 操作 ， 对 Z, 中 元 素 所 执行 的 运算 可 以 等 价 地 作用 于 对 应 
的 & 元 组 。 也 就 是 说 ， 如 果 

a> (a; saz," GD) 


b> (b, +b, $e sb) 


那么 
(a+b) mod n<((a,; +b,) mod n ,***, (a, +b) mod n, ) (31. 28) 
(a— b) mod n +>( (a, — bı) mod m ,***, (a, — & ) mod 7) (31. 29) 
(ab) mod n = (ab mod nm »*** sab, mod n; ) (31. 30) 
证 明 ”两 种 表示 之 间 的 变换 是 相当 直接 的 。 从 a 转换 为 (ca a ，…，at) 十 分 简单 ， 仅 需 执 
行 & 次 模 运算 。 


从 输入 (al azs ，…， a ) 算 出 a 要 复杂 一 点 。 从 定义 m,=n/n, (XF i=1, 2, =, AF, 
于 是 m; 是 除了 n; 以 外 的 所 有 nj 的 乘积 : Mi = Ni N2 ** Ni- Niti? Me o 接着 ， 对 ;三 1，2，…&， 定 义 
ci = m,(m;' mod n;) (31. 31) 
等 式 (31. 31) 总 是 良 定义 的 : 因为 m; 和 n; 互 质 (根据 定理 31.6)， 推 论 31. 26 PRUE m ' mod n, FFE. 
a,» FA a, ary os ax 的 函数 ， 计算 a 的 方式 如 下 : 
a= (acı azc: 十 … 十 akckt)(modz) (31. 32) 
现在 证 明 对 i= 1, 2, +, ky ÆA C31. 32) 能 保证 a 三 a; (mod n,), HEM, MR IAI, MW m= 
O(mod n;), XR c;=m;=0Cmod n;)。 而 且 注 意 到 ， 由 等 式 (31. 31) 知 ，c; 三 1(mod n;)。 因 此 
得 到 这 个 既 中 看 又 中 用 的 对 应 关系 
ci (0,0,°%°,0,1,0,...,0) 
这 是 一 个 除了 在 第 i 个 坐标 上 为 1 外 其 余 坐 标 均 为 0 的 向 量 。 因 此 ， 在 某 种 意义 上 ，c; 构 成 了 这 
种 表示 的 “ 基 ”。 所 以 对 每 个 i， 有 


a= ajc; (mod n;) 
=aym;(m;' modn;) (modn;) 
=a; (mod n;) 


这 正 是 我 们 希望 证 明 的 : XPi=1, 2, +, k, AM a; 计 算 a 的 方法 得 到 了 满足 约束 条 件 a= 
ai(mod n;) 的 结果 a。 由 于 能 进行 双向 变换 ， 所 以 这 种 对 应 关系 是 一 一 对 应 。 最 后 ， 由 于 对 任何 x 
和 i 二 1]，2，…,， ky A x mod ni 二 (x mod n) mod n;， 所 以 根据 练习 31.1-7， 可 以 直接 推出 
式 (31. 28) 一 (31. 30) 成 立 。 a 
下 面 的 推论 将 在 本 章 的 后 面 用 到 。 
推论 31.28 如 果 加 ，n,。，*…，n 两 两 互 质 ， 且 nn 二 nn,…nm， 则 对 任意 整数 a, as es 
Qt， 关于 未 知 量 工 的 联 立 方程 组 
x=a;(mod n;),i = 1,2,.…,k 
对 模 n 有 唯一 解 。 
推论 31.29 如 果 加 ，n。，…，n 两 两 互 质 ，n 二 mno*…nt， 则 对 所 有 整数 工 和 a， 
x = a(mod n;) 
(HEP i=1, 2, +, 上) 当 且 仅 当 
x = a(mod n) 
作为 中 国 余数 定理 应 用 的 例子 ， 假 设 已 给 出 两 个 方程 : 
a = 2(mod 5) 
a = 3(mod 13) 
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那么 am =2, n=m=5, a=3, Am=m=13, MHH F n=nm =65, 所 以 我 们 希望 算出 
amod65, X 13-'=2(mod 5) fl 5-'=8(mod 13)， 所 以 有 
cı = 13(2 mod 5) = 26 
cz = 5(8 mod 13) = 40 
以 及 
三 2。26 十 3。40 (mod 65) 
=52+120 (mod 65) 
=42 (mod 65) 
31-3 是 对 模 65 的 中 国 余数 定理 的 说 明 。 


a 





图 31-3 XF m=5 Mme = 13 中 国 余数 定理 的 一 个 说 明 。 对 这 个 例子 ， 
ci 一 26，c: 一 40。 在 第 ; 行 第 7 列 显示 的 是 对 模 65 的 a 的 值 ， 使 
得 a mod 5=i fila mod 13=j, TER, 第 0 行 第 0 列 的 值 为 0。 
类 似 地 ， 第 4 行 第 12 列 包含 64( 等 价 于 一 1)。 因 为 =26, E 
下 移动 一 行 让 a 增加 26。 类 似 地 ，c: =40 表示 往 右 移动 一 列 ， 
让 a 增加 40。 让 a 增加 1 对 应 于 沿 着 对 角 线 往 右 下 移动 ， 从 底 
端 折返 到 顶端 ， 以 及 从 右 端 折返 到 左 端 


因此 ， 如 果 要 执行 模 n 运 算 ， 则 既 可 以 直接 对 模 进 行 计算 , 为 了 方便 ， 也 可 以 分 别 对 模 n 
变换 表示 后 的 模 n; 进 行 计算 。 这 两 种 计算 是 完全 等 价 的 。 


练习 

31.5-1 找 出 所 有 解 ， 使 方程 x 三 4(mod 5) Al z=5(mod 11) 同 时 成 立 。 

31.5-2 找 出 被 9，8，7 除 时 ， 余数 分 别 为 1，2，3 的 所 有 整数 z。 

31.5-3 论证 : 在 定理 31. 27 的 定义 下 ， 如 果 geda, n)=1, W 

(a mod n)<((a;! mod n ), (aa mod m ),***, Caz’ mod m)) 

31.5-4 在 定理 31.27 WELF, WH: 对 于 任意 的 多 项 式 f， 方程 f(z) 夺 0C(mod nn) 的 根 的 个 数 
等 于 f(x2)=0(mod nm)，f(zx) 夺 0(mod n;)，…，f(z) 夺 0(mod ni) 中 每 个 方程 根 的 个 数 
的 积 。 


31.6 RHF 
正如 我 们 经 常 考虑 一 个 对 模 n 的 已 知 元 素 a 的 倍数 一 样 ， 现 在 考虑 对 模 的 a 的 寡 组 成 的 序 
列 ， 其 中 cEZ: : 
a al az ,as (31. 33) 
模 n。 从 0 开始 编号 ， 序列 中 的 第 0 个 值 为 a modn=1, $ i MEA ai modz。 例 如 ， 对 模 7，3 
FEA 
i 0 1 2 3 4 5 6 7 8 9 10 ll … 
3'mod7 1 3 2 6 4 5 1 3 2 6 4 5 eee 


而 对 模 7，2 HEA 
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i 0 1 2 3 4 5 6 7 8 9 10 11 
2 mod7 1 2 4 1 2 4 1 2 4 1 2 4 


EEH H, SORR a 反复 相 乘 生成 的 Z; 的 子 群 ， 令 ord, (a) (对 模 n，a 的 阶 ) 表 示 a 在 
Zi 中 的 阶 。 例 如 , FEZ? H, (2)={1, 2, 4}, ord (2) 二 3。 用 欧 拉 phi 函数 $(n) 的 定义 作为 
Z 的 规模 (参见 31. 3 节 )， 就 可 以 将 推论 31.19 转化 为 用 Z; 表示 ， 从 而 得 到 欧 拉 定 理 ， 再 具体 
用 Z; 表示 (其 中 p 是 素数 )， 就 得 到 费 马 定理 。 
定理 31. 30( 欧 拉 定 理 ) 对 于 任意 整数 nl, aX” =1(modn HHA aEZ; 都 成 立 。 = 
定理 31. 31( 费 马 定理 ) wR p 是 素数 ， 则 a =l (mod p) 对 所 有 aCZ; 都 成 立 。 
证 明 根据 等 式 (31. 21)， 如 果 p RRA, Md p)=p—1. a 
HFOEZ;, MRAM Z, PRT 0 以 外 的 每 一 个 元 素 都 适用 。 然 而 ， 对 所 有 acz, W 
R p 是 素数 ， 则 有 a’=almod p). 
如 果 ord, (g)=|Z; | ， 则 对 模 nw，Z; 中 的 每 个 元 素 都 是 g 的 一 个 军 ， 且 g 是 Z 的 一 个 原 根 
或 生成 元 。 例 如 ， 对 模 7，3 是 一 个 原 根 , 但 2 不是。 如 果 Z 包含 一 个 原 根 ， 就 称 群 Z; 是 循环 
的 。 下 列 定理 是 由 Niven 和 Zuckerman[265] 首 先 证 明 的 ， 在 此 略 去 其 证 明 过 程 。 
定理 31.32 对 所 有 的 素数 力 >2 和 所 有 正 整 数 e， 使 得 Z 是 循环 群 的 n 二 1 HA 2, 4, p 
fo 2p’. C] 
如 果 g FEZ; 的 一 个 原 根 且 a 是 Z 中 的 任意 元 素 ， 则 存在 一 个 z， 使 得 g* 圭 al(modn)。 这 个 
z 称 为 对 模 n 到 基 g 上 的 a 的 一 个 离散 对 数 或 指数 ， 将 这 个 值 表示 为 ind, g(a). 
定理 31. 33( 离 散 对 数 定理 ) ”如 果 g 是 Z 的 一 个 原 根 ， 则 当 且 仅 当 等 式 r= ylmod $8(n)) 成 
立时 ， 有 等 式 g =g (mod n) KZ. 
证 明 首先 假设 x 三 y(mod $8(n))， 则 对 某 个 整数 k 有 工 二 y 十 k$(n)。 因 此 ， 
gi (mod n) 
= g’ + (g*”)* (modn) 
=g .] (mod n) (根据 欧 拉 定 理 ) 
=," (mod n) 
反之 ， 假 设 g =g (mod n)。 因 为 g HARA APSIAE AR <g> PI—TPocR, H|) | =a), HEI 
31. 18 意味 着 g 的 寡 的 序列 是 一 个 周期 为 %(z) 的 周期 序列 。 所 以 ， 如 果 g =g (mod n), ， 则 必 有 
x=y(mod $(n)). a 
现在 关注 以 一 个 素数 的 宕 为 模 的 1 的 平方 根 。 下 面 的 定理 将 用 在 31. 8 节 中 讨论 的 素数 测试 
算法 中 。 
定理 31.34 如 果 户 是 一 个 奇 素数 且 e 宇 1， 则 方程 
a’? = 1(mod p°) (31. 34) 
仅 有 两 个 解 ， 即 x 二 1 和 xz 一 一 1。 
证 明 方程 (31. 34) 等 价 于 
pl (z 一 1)(Cz 十 1) 
由 于 p>2, A p| IDR pl (z+), ， 但 它们 不 同时 成 立 。( 和 否则 ， 由 性 质 (31. 3)，p 也 能 整除 
它们 的 差 (z 十 1) 一 (z 一 1) 王 2。.) 如 果 pt(z—-1), WW gcd(p’, z—1)=1, MAH 31.5, 4 
Pl (zx 十 1)。 也 就 是 说 ，zx 三 一 1(mod p). XEHE, WE p+(z 十 1)， 则 ged, z+1)=1, MEA 
推论 31. 5 意味 着 p| (zx 一 1)， 所 以 xz 三 1(mod pr)。 因 此 ,z= 二 一 1(mod #), RH z—=1(mod p), m 
如 果 一 个 数 r 满足 方程 x* 夺 1(mod n), 但 xz 不 等 于 以 n 为 模 的 1 的 两 个 “平凡 ”平方 根 : 1 或 
一 1， 则 z 是 一 个 以 n 为 模 的 1 的 非 平 凡 平方 根 。 例 如 ，6 是 以 35 为 模 的 1 的 非 平凡 平方 根 。 下 
面 给 出 定理 31. 34 的 一 个 推论 ， 它 将 用 于 31. 8 节 中 讨论 的 Miller-Rabin 素数 测试 过 程 的 正确 性 
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证 明 。 
推论 31.35 如 果 对 模 n 存在 1 的 非 平凡 平方 根 ， 则 nn 是 合 数 。 
证 明 ”根据 定理 31. 34 的 逆 否 命题 ， 如 果 对 模 n 存 在 1 的 非 平凡 平方 根 ， 则 不 可 能 是 奇 素 
PRS ARBRE. WR 如 三 1(mod 2)， 则 zx 三 1(mod 2)， 故 1 的 所 有 对 模 2 的 平方 根 都 是 平凡 
的 。 因 此 , ?不 能 是 素数 。 最 后 ， 为 了 使 1 的 非 平凡 平方 根 存在 ， 必 有 n>]. Alt, n 必定 
是 合 数 。 5 
用 反复 平方 法 求 数 的 寡 
数论 计算 中 经 常 出 现 一 种 运算 ， 就 是 求 一 个 数 的 客 对 另 一 个 数 的 模 运 算 ， 也 称 为 模 取 寡 。 更 
明确 地 说 ， 希 望 有 一 种 高 效 的 方法 来 计算 a mod n 的 值 ， 其 中 a, 5 为 非 负 整 数 ，n 是 一 个 正 整 
数 。 在 许多 素数 测试 程序 和 RSA 公 钥 加 密 系统 中 ， 模 取 短 运算 是 一 种 很 基本 的 运算 。 采 用 5 的 
二 进 制 表示 ， 反 复 平方 法 可 以 高 效 地 解决 这 个 问题 。 
956 Bboy bears ts bis by EO MOH RA (AIH RANA & 十 1 位 长 ，b 为 最 高 有 效 位 ， 
bo 为 最 低 有 效 位 )。 随 着 c 的 值 从 0 到 成 倍增 长 ， 下 列 过 程 最 终 计算 出 a mod n。 
MODULAR-EXPONENTIATION(a,b,n) 
c=0 
d=1 
letb: ,bi_1,*** ,bo)be the binary representation of b 
for i=k downto 0 
c=2e 
d=(d+d)modn 
if == 1 
< 一 < 十 1 
9 d=(d* a) modn 
10 returnd 


在 每 次 迭代 中 ， 第 6 行 平方 操作 的 使 用 解释 了 “反复 平方 ”这 个 名 称 的 由 来 。 举 一 个 例子 ， 对 
a 二 7，b 二 560， 以 及 n= 二 561， 这 个 算法 计算 图 31-4 中 给 出 的 对 模 561 的 序列 的 值 ， 所 用 到 的 指 
数 序列 出 现在 表格 以 < 标示 的 行 中 。 


on now fF WH 一 


ce a ee a ie ee Se ee ee 
it os «+ oO I 0 
ci 2 4 8 17 35 70 140 280 560 
d|7 49 157 526 160 241 208 166 67 1 


图 31-4 4a=7, b=560= (1000110000), n=561 Bf, MODULAR-EXPONENTIATION 
计算 (modz) 的 结果 。 数 值 在 每 次 for 循环 执行 后 显示 。 最 终结 果 为 1 


这 个 算法 并 不 真 的 需要 变量 <， 只 是 用 它 使 得 下 面 两 部 分 的 循环 不 变 : 
仅 在 第 4 一 9 行 的 for TEAR HEUER AT 


1.c 的 值 与 2 的 二 进 制 表示 的 前 缀 (6b;，6_，，…，bi+1) 相 同 ， 且 

2. d=a‘ modn, 

下 面 使 用 这 个 循环 不 变 式 : 

初始 化 : 最 初 ，i 二 &， 使 得 前 缀 4b，b_1，…，6i41) 是 空 的， 这 对 应 于 c 二 0。 此 外 ，d 二 1= 


957] a° modn, 
保持 : 令 c 和 d' 表 示 在 for 循环 的 一 次 迭代 的 结束 处 c 和 4d 的 值 ， 因 此 ， 它 们 是 下 一 次 迭代 
前 的 值 。 每 次 迭代 更 新 c 二 2c( 如 果 b= 二 0) 或 者 c 二 2c 十 1( 如 果 B=, 使 得 c 在 下 一 次 迭代 之 前 
是 正确 的 。 如 果 6: 二 0， M d’ =d mod n=(a‘)? modn 二 a* modn 二 a modn, MR b:=1, Wi d'= 
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da mod n 二 (a')*a mod n=a**! mod n=a" mod n。 无 论 哪 种 情况 ， 在 下 一 次 迭代 之 前 ， 都 有 d= 
a‘ modn, 

终止 : 在 终止 时 ,i 二 一 1]。 因 此 ，c 二 56， 因为 c< 具 有 65 的 二 进 制 表示 的 前 级 (b:，b-1，…，b%) 的 
1H. KRE, d=a mod n=a’ mod n。 

如 果 输 入 a, 5 与 n 都 是 8 位 的 数 ， 则 需要 的 算术 运算 的 总 次 数 是 008)， 并 且 需 要 的 位 操作 
的 总 次 数 是 OCB") 。 


练习 

31.6-1 画 出 一 张 表 ， 展 示 2 中 每 个 元 素 的 阶 。 找 出 最 小 的 原 根 g， 并 画 出 一 张 表 ， 对 所 有 
xEZi 给 出 相应 的 ind,*(z) 的 值 。 

31.62 写 出 一 个 模 取 适 算法 ， 要 求 该 算法 检查 5b 的 各 位 的 顺序 为 从 右 向 左 ， 而 非 从 左 向 右 。 

31.6-3 ”假设 已 知 %z) ， 说 明 如 何 运 用 过 程 MODULAR-EXPONENTIATION， 对 任意 a€Z; , 
tt Wa! mod n 的 值 。 


31.7 RSA 公 和 钥 加 密 系统 


通过 公 钥 加 密 系统 ， 可 以 对 传输 于 两 个 通信 单位 之 间 的 消息 进行 加 密 ， 即 使 窃听 者 窃听 到 
被 加 密 的 消息 ， 也 不 能 对 其 进行 破译 。 公 钥 加 密 系统 还 能 让 通信 的 一 方 ， 在 电子 消息 的 末尾 附加 
一 个 无 法 伪造 的 “数字 签名 ”。 这 种 签名 是 纸 质 文件 上 的 手写 签名 的 电子 版 本 。 任 何人 都 可 以 轻松 
地 核对 签名 ,但 却 不 能 伪造 它 ， 如 果 这 一 消息 中 的 任何 位 有 所 变化 ， 整 个 签名 就 失去 了 效力 。 因 
此 ， 数 字 签 名 可 以 为 签名 者 身份 和 其 签署 的 信息 内 容 提供 证 明 。 对 于 电子 签署 的 商业 性 合同 、 电 
子 支票 、 电 子 购 货 单 和 其 他 一 些 各 方 希望 进行 认证 的 电子 信息 来 说 ， 这 是 一 种 理想 的 工具 。 

RSA 公 钥 加 密 系统 主要 基于 以 下 事实 : 寻求 大 素数 是 很 容易 的 ， 但 要 把 一 个 数 分 解 为 两 个 
大 素数 的 积 却 相当 困难 。31. 8 节 描 述 了 一 个 能 有 效 地 找 出 大 素数 的 过 程 ， 而 31. 9 节 将 讨论 大 整 
数 的 分 解 问题 。 

公 钥 加 密 系 统 

在 一 个 公 钥 加 密 系统 中 ， 每 个 参与 者 都 拥有 一 把 公 钥 和 一 把 密 钥 。 每 把 密 钥 都 是 一 段 信息 。 
例如 ,在 RSA 加 密 系统 中 ， 每 个 密 钥 均 由 一 对 整数 组 成 。 在 密码 学 中 常 以 参与 者 “Alice” 和 
“Bob” 作 为 例子 : 用 Ps 和 SA 分 别 表 示 Alice 的 公 钥 和 密 钥 ， 用 Ps 和 Ss 分 别 表示 Bob 的 公 钥 和 
密 钥 。 

每 个 参与 者 均 自 己 创建 公 钥 和 密 钥 。 密 钥 需 要 保密 ， 但 公 钥 则 可 以 对 任何 人 透露 ， 甚 至 可 以 
公之于众 。 事 实 上 ， 假 设 每 个 参与 者 的 公 钥 都 能 在 一 个 公开 目录 中 看 到 ， 这 样 通常 是 很 方便 的 ， 
这 使 得 任何 参与 者 都 可 以 容易 地 获得 任何 其 他 参与 者 的 公 钥 。 

公 钥 和 密 钥 指定 了 可 用 于 任何 信息 的 函数 。 设 D 表 示人 允许 的 信息 集合 。 例 如 ，D 可 能 是 所 有 
有 限 长 度 的 位 序列 的 集合 。 在 最 简单 、 最 原始 的 公 钥 加 密 设想 中 ， 要 求 公 钥 与 密 钥 指定 一 种 从 D 
到 其 自身 的 一 一 对 应 的 函数 。 对 应 Alice 的 公 钥 已 的 函数 用 PA() 表 示 ， 对 应 她 的 密 钥 SA 的 函数 
表示 成 SA()， 因 此 PO) 与 S40 〇 函数 都 是 D 的 排列 。 假 定 已 知 密 钥 Pa 或 Ss， 可 以 有 效 地 计算 出 
函数 P AOM SO. 

系统 中 任何 参与 者 的 公 钥 和 密 钥 都 是 一 个 “匹配 对 ?”， 它 们 指定 的 函数 互 为 反 函 数 。 也 就 是 
说 ， 对 任何 消息 MED, A 

M = S,4(Pa(M)) (31. 35) 
M = P,4(S,4(M)) (31. 36) 
无 论 用 哪 种 次 序 ， 运 用 两 把 密 钥 Ps 和 SA 对 M 相继 进行 变换 后 ， 最 后 仍然 得 到 消息 M. 
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在 公 钥 加 密 系统 中 ， 要 求 除了 Alice 外 ， 没 人 能 在 较 实 用 的 时 间 内 计算 出 函数 Sa()。 对 于 送 
给 Alice 加 密 邮 件 的 保密 性 与 Alice 的 数字 签名 的 有 效 性 ， 以 下 假设 十 分 关键 : Alice 必须 对 Safi 
密 ; 如 果 她 不 能 做 到 这 一 点 ， 就 会 失去 她 的 唯一 性 ， 并 且 加 密 系统 也 不 能 把 唯一 性 赋予 她 。 假 设 
即使 每 个 人 都 知道 Ps ， 井 且 能 够 有 效 地 计算 出 SORAR Ps()， 依 然 要 保证 只 有 Alice 能 够 

959] 计算 出 Ss()。 为 了 设计 一 个 可 行 的 公 钥 加 密 系统 ， 必 须 解 决 以 下 问题 : 如 何 创 建 一 个 系统 ， 在 

该 系统 中 可 以 公开 其 变换 PA() ， 而 不 至 于 因此 而 公开 其 相应 的 逆 变 换 SA() 的 计算 方法 。 这 项 任 
务 看 起 来 很 可 怕 ， 然 而 我 们 将 看 到 如 何 去 完 成 它 。 

在 一 个 公 钥 加 密 系统 中 ， 加 密 的 工作 方式 如 图 31-5 所 示 。 假 定 Bob 要 给 Alice 发 送 一 条 加 密 
的 消息 M， 使 得 该 消息 对 于 窃 密 者 像 一 串 无 意义 的 乱码 。 发 送 消息 的 方案 如 下 : 

。 Bob 取得 Alice 的 公 钥 Pa (根据 一 个 公开 的 目录 或 直接 向 Alice 索取 ) 。 

。 Bob 计算 出 相应 于 M 的 密 文 C 王 PaACM)， 并 把 C RIK Alice. 

。 当 Alice 收 到 密 文 C 后 ， 她 运用 自己 的 密 钥 SA 恢复 原始 信息 : SA(CC) 王 SACPACMD ) 一 M。 
HF SOM PORWR RR, STU Alice 能 够 根据 C 计算 出 M。 因 为 只 有 Alice 能 够 计算 出 
Sa()， 所 以 也 只 有 Alice 能 根据 C 计算 出 M。 因 为 Bob 运用 PaO 对 M 进行 加 密 ， 所 以 只 有 Alice 
可 以 理解 接收 的 消息 。 


Bob Alice 





图 31-5 ” 公 钥 系统 的 加 密 过 程 。Bob 使 用 Alice WAH PA 来 加 密 消息 M， 然 后 通过 信道 传送 结果 密 
X C= Pa(M)# Alice。 一 个 截获 传送 密 文 的 窃 密 者 得 不 到 关于 M 的 信息 。Alice 收 到 C, 
并 且 使 用 密 钥 来 解密 ， 以 得 到 最 初 消息 M 一 Sa(C) 


类 似 地 ， 在 公 钥 系统 的 设想 中 可 以 很 容易 地 实现 数字 签名 。( 有 其 他 方式 可 以 解决 构造 数字 
签名 的 问题 ， 但 在 这 里 我 们 不 讨论 。) 假 设 现在 Alice 希望 把 一 个 数字 签署 的 答复 M 发 送 给 Bob, 
数字 签名 方案 的 过 程 如 图 31-6 所 示 。 


Alice Bob 


签名 验证 





31-6 ” 公 钥 系统 的 数字 签名 过 程 。Alice 将 她 的 数字 签名 c= Ss (MM) 附加 到 消息 M 上， 来 对 消息 
M' 签 名 。 她 将 消息 /签名 对 (M' ，c) RIE Bob, Bob 通过 检查 等 式 M = Pa (co) 来 验证 它 。 
如 果 等 式 成 立 ， 则 他 接受 C(M' ，o) 作 为 Alice 已 经 签名 的 一 个 消息 


。 Alice 运用 她 的 密 钥 S\ 和 等 式 c 一 SsCM ) 计 算出 信息 M 的 数字 签名 c。 
。 Alice 把 消息 /签名 对 CM ，o) 发 送 给 Bob. 
。 当 Bob 收 到 CM' ，o) 时 ， 他 可 以 利用 Alice 的 公 钥 ， 通 过 验证 等 式 M' 二 Pa(o) 来 证 实 该 消 
息 的 确 是 来 自 Alice。( 假 设 MAE Alice 的 名 字 ， 这 样 Bob 就 知道 应 该 使 用 谁 的 公 钥 。) 
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如 果 等 式 成 立 ， 则 Bob 可 以 得 出 消息 M 确实 是 Alice 签名 的 结论 。 如 果 等 式 不 成 立 ， 那 
么 Bob 就 得 出 结论 ， 要 么 是 信息 M 或 数字 签名 o 因 传 输 错 误 而 损坏 ， 要么 信息 对 
(M',，o) 是 一 个 故意 的 伪造 。 
因为 一 个 数字 签名 既 证 明了 签署 者 身份 ， 也 证 明了 签署 的 信息 内 容 ， 所 以 它 是 对 文件 末尾 的 手 
写 签名 的 一 种 模拟 。 
数字 签名 必须 可 被 任何 能 取得 签署 者 的 公 钥 的 人 所 验证 。 一 条 签署 过 的 信息 可 以 被 一 方 确 
认 后 再 传送 到 其 他 可 以 验证 签名 的 各 方 。 例 如 ， 这 条 消息 可 能 是 Alice 发 给 Bob 的 一 张 电子 支 
票 。Bob 确认 了 支票 上 Alice 的 签名 后 ， 就 可 以 把 这 张 支票 送 交 银行 ， 而 银行 也 可 以 对 签名 进行 
验证 ， 然 后 调拨 相应 的 资金 。 
签署 的 信息 未 必 是 加 密 的 ， 该 信息 可 以 是 “公开 的 >， 没有 受到 保护 。 如 果 把 上 述 有 关 加 密 和 
签名 的 两 种 方案 结合 起 来 使 用 ， 就 可 以 创建 出 同时 被 签署 和 加 密 的 消息 ， 签 署 者 首先 把 其 数字 
签名 附加 在 消息 的 后 面 ， 然 后 再 用 他 预定 的 接收 者 的 公 钥 对 最 终 的 消息 /签名 对 进行 加 密 。 接 收 
者 用 其 密 钥 对 收 到 的 消息 进行 解密 ， 以 同时 获得 原始 消息 和 数字 签名 。 然 后 ， 接 收 者 可 以 用 签署 
者 的 公 钥 对 签名 进行 验证 。 相 应 的 纸 质 文件 系统 的 实现 过 程 为 : 对 文件 签名 后 ， 将 文件 封 人 一 个 
纸 质 信封 和 内， 该 信封 只 能 由 预定 的 接收 者 打开 。 
RSA 加 密 系统 
在 RSA 公 钥 加 密 系统 中 ， 一 个 参与 者 按 下 列 过 程 创建 他 的 公 钥 和 密 钥 : 
1. 随机 选取 两 个 大 素数 p 和 9g， 使 得 pa, PN, RRM p Ma 可 能 各 有 1024 位 。 
2. 计算 n=pq. 
3. 选取 一 个 与 %%z) 互 质 的 小 奇数 e， 其 中 由 等 式 (31. 20), SD FFCP—-1)(q-D. 
4. IAR PC), 计算 出。 的 乘法 逆 元 4 的 值 。( 推 论 31. 26 TRUE d 存在 且 唯 一 。 给 定 e Mgl), 
可 以 利用 31.4 节 中 的 方法 计算 de) 
5. 将 对 P= 二 (e，n) 公 开 ， 并 作为 参与 者 的 RSA BA. 
6. 使 对 S= (d, MRE, HESSIAN RSA BH. 
对 于 这 个 方案 ， 域 DD 为 集合 Z,。 为 了 变换 与 公 钥 P= 二 (e，n) 相 关 的 消息 M， 计 算 


P(M) = M‘modn (31. 37) 
为 了 变换 与 密 钥 S=(d, n) FAK BIC, HA 
S(C) = C mod n (31. 38) 


这 两 个 等 式 对 加 密 与 签名 是 通用 的 。 为 了 创建 一 个 签名 ， 签 署 人 把 其 密 钥 应 用 于 待 签署 的 消息 ， 
而 不 是 密 文 中 。 为 了 确认 签名 ， 将 签署 人 的 公 钥 应 用 在 签名 中 ， 而 非 加 密 的 消息 中 。 

我 们 可 以 运用 31. 6 节 中 描述 的 过 程 MODULAR-EXPONENTIATION， 来 实现 上 述 公 钥 与 
密 钥 的 有 关 操 作 。 为 了 分 析 这 些 操作 的 运行 时 间 ， 假 定 公 钥 (e，w) 和 密 钥 (4，7n) 满 足 lge= 二 0(1)， 
Igd<p, H lgn 志 B。 然 后 ， 应 用 公 钥 需要 执行 O(1) 次 模 乘法 运算 和 OCB?) 次 位 操作 。 应 用 密 钥 需 
要 执行 0(B) 次 模 乘 法 运算 和 OCB ) 次 位 操作 。 

定理 31. 36(RSA 的 正确 性 ) RSA 等 式 (31. 37) 和 (31. 38) 定 义 了 满足 等 (31. 35) 和 (31. 36) 的 
Z,, #9 38 EHR, 

证 明 ”根据 等 (31. 37) 和 (31. 38) ， 对 任意 MEZ, Æ 

P(S(M)) = S(P(M)) = Me (mod n) 
因为 e 和 4d 是 对 模 $(n) 二 (pp 一 1)(g 一 1) 的 乘法 逆 元 ， 所 以 对 某 个 整数 &k， 有 
ed =1+k(p—1)(g—1) 

但 是 ， 如 果 M 关 0(mod p), WA 
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M* = MMP)” (mod p) 
= M((M mod p)?')**” (mod p) 
= MA) (mod p) (根据 定理 31. 31) 
=M (mod p) 
并 且 ， 如 果 M=0Cmod p), WA M =M(mod p)。 因 此 ， 对 所 有 M, 
M“ = M(mod p) 
类 似 地 ， 对 所 有 M, A 
M“ = M(mod q) 
因此 ， 根 据 中 国 余数 定理 的 推论 31. 29， 对 所 有 M, A 
“i = M(mod n) | 


RSA 加 密 系统 的 安全 性 主要 来 源 于 对 大 整数 进行 因 式 分 解 的 困难 性 。 如 果 对 方 能 对 公 钥 中 
HRE n 进行 分 解 ， 就 可 以 根据 公 钥 推导 出 密 钥 ， 这 是 因为 对 方 和 公 钥 创建 者 以 同样 的 方法 使 用 
因子 p 和 gq。 因 此 ， 如 果 能 够 轻易 地 分 解 大 整数 ， 也 就 能 够 轻易 地 打破 RSA 加 密 系统 。 这 一 命 
题 的 逆 命 题 是 ， 如 果 分 解 大 整数 是 困难 的 ， 则 打破 RSA 也 是 困难 的 。 经 过 20 年 的 研究 ， 人 们 
还 没有 发 现 比 分 解 模 nn 更 容易 的 方法 来 打破 RSA 加 密 系统 。 并 且 正 如 我 们 将 在 31.9 节 中 所 见 ， 
对 大 整数 进行 分 解 的 困难 程度 令 人 惊异 。 通 过 随机 地 选取 两 个 1024 位 的 素数 并 求 出 它们 的 积 ， 
就 可 以 创建 出 一 把 无 法 用 现行 技术 在 可 行 的 时 间 内 “破解 ”的 公 钥 。 在 数论 算法 的 设计 方法 还 缺 
乏 根 本 突破 的 情况 下 ， 细 心地 遵循 所 推荐 标准 来 执行 ，RSA 加 密 系统 可 以 为 实际 应 用 提供 高 度 
的 安全 性 。 

然而 ， 为 了 通过 RSA 加 密 系 统 实现 安全 性 ， 应 该 在 很 长 ( 数 百 位 乃至 一 千 位 ) 的 整数 上 操作 ， 
以 防御 因 式 分 解 技 术 可 能 的 进步 。2009 年 ，RSA 模 数 通常 是 在 768 到 2048 位 的 范围 内 。 要 建立 
这 样 大 小 的 模 数 ， 必 须 能 够 有 效 地 找 出 大 素数 。31. 8 节 将 讨论 这 个 问题 。 

为 了 提高 效率 ,通常 运用 一 种 “混合 的 ”或 “ 密 钥 管理 ”模式 的 RSA， 来 实现 快速 的 无 公 钥 加 
密 系统 。 在 这 样 一 个 系统 中 ， 加 密 密 钥 与 解密 密 钥 是 相同 的 。 如 果 Alice 希望 私下 把 一 条 长 消息 
M 发送 给 Bob， 她 从 快速 无 公 钥 加 密 系 统 中 选取 一 把 随机 密 钥 K， 然 后 运用 K 对 M 进行 加 密 ， 
得 到 密 文 C。 这 里 ，C 和 M 一 样 长 , 但 K 相当 短 。 然 后 ， 她 利用 Bob 的 公开 RSA 密 钥 对 K 进行 
加 密 。 因 为 K 很 短 ， 所 以 计算 Pa(K) 的 速度 也 很 快 ( 比 计算 Ps(CM) 的 速度 快 很 多 )。 然 后 ， 她 把 
(C，Ps(K)) 传 送 给 Bob, Bob 对 Psp(K) 解 密 后 得 到 K， 然 后 再 用 K 对 C 进行 解密 ， 得 到 M。 

类 似 地 ， 可 以 使 用 一 种 混合 的 方法 来 提高 数字 签名 的 执行 效率 。 在 这 种 方法 中 ， 使 RSA 与 
一 个 公开 的 抗 冲突 散 列 函 数 h 相 结 合 ， 这 个 函数 是 易于 计算 的 ,但 是 对 这 个 函数 来 说 ， 要 找 出 两 
条 消息 M 和 M', 使 得 h(MD 二 CM')， 在 计算 上 是 不 可 行 的 。h(M) 的 值 是 消息 M 的 一 个 短 ( 如 
256 位 “指纹”。 如 果 Alice 希望 签署 一 条 消息 M， 她 首先 把 函数 h 作用 于 M 得 到 指纹 h(M)， 然 
后 用 她 的 密 钥 加 密 h(M)。 她 将 CM，S(h(MD ) 作 为 她 签署 的 M 的 版 本 发 送 给 Bob, Bob 可 以 通 
过 计算 h(M), HK 已 应 用 于 收 到 的 S*(AnCM) ) 验 证 其 是 否 等 于 h(MD) 来 验证 签名 的 真实 性 。 
为 没有 人 能 够 创建 出 两 条 具有 相同 指纹 的 消息 ， 所 以 在 计算 上 不 可 能 既 改 变 了 签署 的 消息 ， 又 
保持 了 签名 的 合法 性 。 

最 后 ， 我 们 注意 到 利用 证 书 可 以 更 轻松 地 分 配 公 钥 。 例 如 ， 假 设 存 在 一 个 “可 信 的 权威 ”T， 
每 个 人 都 知道 他 的 公 钥 。Alice 可 以 从 工 获 取 一 条 签署 的 消息 (她 的 证 书 )， 声 明 “Alice 的 公 钥 是 
PA”。 由 于 每 个 人 都 知道 Pr， 所 以 这 个 证 书 是 “自我 认证 ”。Alice 可 以 将 她 的 证 书包 含 在 签名 信 
息 中 ， 使 得 接收 者 可 以 立即 得 到 Alice 的 公 钥 ， 以 验证 她 的 签名 。 因 为 她 的 密 钥 是 被 工 签署 的 ， 
所 以 接收 者 知道 Alice 的 密 钥 确实 是 Alice 本 人 的 密 钥 。 
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31.7-1 考虑 一 个 RSA 密 钥 集合 ， 其 中 p=11, q=29, n=319, e=3. RAPA d 值 应 
当 是 多 少 ? 对 消息 M=100 加 密 后 得 到 什么 消息 ? 

31.7-2 WEH: 如 果 Alice 的 公开 指数 e 等 于 3， 并 且 对 方 获得 了 Alice 的 秘密 指数 4， 其 中 
0 二 d 二 $(n) ， 则 对 方 能 够 在 关于 n 的 位 数 的 多 项 式 时 间 内 对 Alice 的 模 进行 分 解 。( 尽 
管 不 用 证 明 下 列 结论 ， 但 你 也 许 会 对 下 列 事实 感 兴趣 : 即使 条 件 e 王 3 被 去 除 ， 上 述 结 
论 仍 然 成 立 。 参 见 Miller[L255]。) 

“31.7-3 WH: 在 如 下 意义 中 ，RSA 是 乘法 的 : 

P4(M,) P4(M,) = P4(M,M,) (mod n) 

利用 这 个 事实 证 明 : 如 果 对 方 有 一 个 过 程 ， 对 ,中 的 用 Ps 加 密 的 消息 ， 它 能 够 有 效 地 
解密 出 其 中 的 百 分 之 一 ， 则 他 可 以 运用 一 种 概率 性 算法 ， 以 较 大 概率 为 每 一 条 用 Ps 加 
密 的 信息 进行 解密 。 


31.8 素数 的 测试 


在 本 节 中 ， 我 们 要 考虑 寻找 大 素数 的 问题 。 首 先 讨 论 素数 的 密度 ， 接 着 讨论 一 种 似乎 可 行 ， 
但 不 完全 可 行 的 测试 素数 的 方法 ， 然 后 介绍 一 种 由 Miller 和 Rabin 发 现 的 有 效 的 随机 素数 测试 
算法 。 

素数 的 密度 

在 很 多 应 用 领域 ， 如 密码 学 中 ， 需 要 找 出 大 的 “随机 ”素数 。 幸 运 的 是 ， 大 素数 并 不 少 ， 因 此 
测试 适当 的 随机 整数 ， 直 至 找到 素数 的 过 程 是 可 行 的 。 素 数 分 布 函数 x(n) 描 述 了 小 于 或 等 于 n 
的 素数 的 数目 。 例 如 x(10) = 二 4， 因 为 小 于 或 等 于 10 的 素数 有 4 个 ， 分 别 为 2，3，5，7。 素 数 定 
理 给 出 了 x(n) 的 一 个 有 用 近似 。 

定理 31. 37( 素 数 定理 ) 


.NAN) __ 
lim n/ lnn 1 


即使 对 于 较 小 的 z， 近 似 计 算式 zw Inn 也 可 以 相当 精确 地 给 出 x(n) 的 估计 值 。 例 如 ， 当 
n=10 时， 其 误差 不 超过 6%， 这 里 wn) 二 508 47534, H. n/lnn™482 549 42。( 对 数论 研究 者 来 
Be» 10° 是 一 个 小 数字 。) 

我 们 可 以 把 随机 选取 一 个 整数 mw， 并 判断 它 是 否 为 素数 这 一 过 程 视 为 伯 努 利 试验 ( 见 C. 4 
节 )。 通 过 素数 定理 ， 成 功 ( 即 一 个 随机 选取 的 整数 n 是 素数 ) 的 概率 为 1/ ljnz。 这 种 几何 分 布 说 
明 ， 为 了 获得 一 次 成 功 需要 多 少 次 试验 ， 而 由 于 等 式 (C. 32), 试验 的 期 望 值 近似 为 Inz。 因 此 ， 
为 了 找 出 一 个 长 度 与 n 相同 的 素数 ， 要 检查 在 n 附近 随机 选取 的 大 约 Inn 个 整数 。 例 如 ， 为 了 找 
出 一 个 1024 位 长 的 素数 ， 大 约 需 要 测试 n2 a710 个 随机 选取 的 1024 位 长 的 整数 的 素性 。( 当 
然 ， 通 过 只 选择 奇数 ， 就 可 以 把 这 个 数字 减少 一 半 。) 

在 本 节 的 余下 部 分 ， 将 要 考虑 确定 一 个 大 的 奇数 是否 为 素数 的 问题 。 为 了 表示 上 的 方便 ， 
假定 nn 具有 下 列 素数 分 解 因 子 : 





n= py* pte pt (31. 39) 

RE rl, pis ps > pien 的 素数 因子 ， 且 el1，e;，…，e, 是 正 整 数 。 当 上 且 仅 当 r=1 并 且 
@ 二 1 时 ，n 是 素数 。 

解决 这 个 素数 测试 问题 的 一 种 简便 方法 是 试 除 。 试 着 用 每 个 整数 2，3，…, [Vnj 分 别 去 除 n。 

KF 2 的 偶数 可 以 跳 过 。) 很 容易 看 出 ，n 是 素数 当 且 仅 当 没有 一 个 试 除数 能 整除 上”。 假 定 每 次 试 


965 


566 + 第 七 部 分 算法 问题 选编 


967 


除 需要 常数 时 间 ， 则 最 坏 情况 运行 时 间 是 On), AE n 的 长 度 的 指数 。( 回 顾 一 下 ， 如 果 n 表 
示 成 8 位 的 二 进 制 数 ， 则 e= lg(z" 十 1)]， 因 此 Vz 王 8(28? )。) 因 此 ， 只 有 当 很 小 或 恰好 有 人 小 素 
数 因 子 时 ， 试 除法 才能 较 好 地 执行 。 当 试 除法 可 以 执行 时 ， 它 的 优点 是 不 仅 能 确定 n 是 素数 还 是 
合 数 ， 而 且 当 是 合 数 时 ， 它 能 确定 出 的 一 个 素数 因子 。 

在 本 节 中 ， 我 们 所 感 兴趣 的 仅仅 是 确定 一 个 指定 的 数 n 是 否 是 素数 ; 如 果 是 一 个 合 数 ， 将 
不 考虑 找 出 其 素数 因子 。 正 如 将 在 31. 9 节 中 看 到 的 那样 ， 计 算 一 个 数 的 素数 因子 分 解 的 计算 开 
销 是 很 高 的 。 令 人 惊讶 的 是 ， 确 定 一 个 数 是 否 是 素数 ， 要 比 确定 一 个 合 数 的 素 因 子 分 解 容 易 
得 多 。 

伪 素 数 测 试 过 程 

现在 来 考察 一 种 “几乎 可 行 ”的 素数 测试 方法 ， 事 实 上 ， 对 于 很 多 实际 应 用 ， 这 种 方法 已 经 足 
够 好 了 。 后 面 还 将 改进 这 种 方法 ， 以 消除 其 中 的 小 缺陷 。 令 ZZ 表示 .中 的 非 零 元 素 : 

Zt = {1,2,.…,n— 1} 

MR n ERR, WZ SZ. 

如 果 nn 是 一 个 合 数 ， 且 

a"! = 1(modn) (31. 40) 

MER n 是 一 个 基 为 a 的 伪 素 数 。 费 马 定 理 ( 定 理 31. 31) 意 味 着 如 果 n EZA, Wl z 中 的 每 一 
个 a, 7 都 满足 等 式 (31. 40) ， 因 此 ， 如 果 能 找 出 任意 的 ecEZ ， 使 得 不 满足 等 式 (31. 40)， 那 
么 nn 就 当然 是 合 数 。 令 人 惊讶 的 是 ， 它 的 北 命 题 也 几乎 成 立 ， 因 此 ， 对 于 素数 测试 ， 这 一 标准 几 
平 是 完美 的 。 对 a 二 2， 测 试看 n 是 否 满足 等 式 (31. 40) 。 如 果 不 满足 ， 则 通过 返回 COMPOSITE 
声明 n 是 合 数 。 否 则 ， 返 回 PRIME， 猜 测 n 是 素数 (实际 上 ， 此 时 我 们 所 知道 的 只 是 n 或 者 是 素 
数 ， 或 者 是 基于 2 的 伪 素 数 ) 。 

下 列 过 程 就 是 用 这 种 方法 测试 n 的 素性 过 程 。 它 使 用 了 31.6 节 中 的 MODULAR- 
EXPONENTIATION 过 程 。 假 设 输入 nn 是 一 个 大 于 2 的 整数 。 

PSEUDOPRIME(n) 

1 if MODULAR-EXPONENTIATION(2,n—1,n)Æl(mod n) 


2 return COMPOSITE // definitely 
3 else return PRIME // we hope! 


这 个 过 程 可 能 会 产生 错误 ,但 是 只 有 一 种 类 型 。 也 就 是 说 ， 如 果 它 判定 n 是 合 数 ， 那 么 结果 
总 是 正确 的 。 然 而 ， 如 果 它 判定 n 是 素数 ， 那 么 只 有 当 n 是 基于 2 的 伪 素 数 时 过 程 才 会 出 错 。 

这 个 过 程 出 错 的 概率 有 多 大 ? 机 会 非常 少 。 在 小 于 10 000 WK ntt, RATER 22 MAE 
会 产生 错误 。 最 靠 前 的 四 个 这 样 的 值 分 别 为 341，561，645 和 1105。 我 们 不 证 明 它 ， 然 而 当 
8-~co 时 ， 该 过 程 对 随机 选取 的 8 位 数 进行 测试 ， 错 误 的 概率 趋 于 0。 如 果 像 Pomerance[279] 那 
样 ， 能 更 精确 地 估计 给 定 规 模 的 基于 2 的 伪 素 数 的 个 数 ， 就 可 以 得 到 被 上 述 过 程 判定 为 素数 的 一 
个 随机 选取 的 512 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10”， 而 被 上 述 过 程 判 定 为 素数 的 一 个 
随机 选取 的 1024 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10% 。 因 此 ， 如 果 只 是 尝试 为 某 个 应 用 
找到 一 个 大 素数 ， 可 以 通过 随机 选取 大 的 数字 ， 直 到 它们 其 中 之 一 使 得 PSEUDOPRIME 返回 
PRIME， 这 在 所 有 实际 使 用 中 几乎 永远 不 会 出 错 。 但 是 当 测试 素数 的 数字 不 是 随机 选取 时 ， 就 
需要 一 个 更 好 的 方法 来 进行 素数 测试 。 后 面 将 会 看 到 ， 如 果 稍 微 巧妙 一 点 ， 再 加 上 一 些 随机 性 ， 
就 会 得 到 一 个 在 所 有 输入 情况 下 都 工作 良好 的 素数 测试 程序 。 

遗憾 的 是 ， 我 们 不 能 完全 通过 选取 另外 一 个 基数 (例如 a=3) 检 查 等 式 (31. 40) 的 方法 ， 来 消 
除 所 有 的 错误 ， 因 为 对 所 有 aEZ; ， 总 存在 满足 等 式 (31. 40) 的 合 数 n， 它 们 被 称 为 Carmichael 
B QERA geda, MSLAM aZ ) 时 ， 等 式 (31. 40) 不 成 立 ， 然 而 如 果 n 只 有 大 素数 
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因子 ,很 难 通 过 寻找 这 样 的 a KPH n 是 合 数 .) 前 三 个 Carmichael 数 是 561, 1105 和 1729, 
Carmichael 数 极 少 ; 例如 ， 在 小 于 100 000 000 的 数 中 ， 只 有 255 个 Carmichael 数 。 练 习 31. 8-2 
解释 了 这 种 数 很 少 的 原因 。 

下 一 步 来 说 明 如 何 对 素数 测试 方法 进行 改进 ， 使 得 测试 过 程 不 会 把 Carmichael 数 当成 素数 。 

Miller-Rabin 随机 性 素数 测试 方法 

Miller-Rabin 素数 测试 方法 对 简单 测试 过 程 PSFUDOPRIME 做 了 两 点 改进 ， 克 服 了 其 中 存 
在 的 问题 : 

。 它 试验 了 多 个 随机 选取 的 基 值 >， 而 非 仅仅 一 个 基 值 。 

。 当 计算 每 个 模 取 短 的 值 时 ， 在 最 后 一 组 平方 里 ， 和 寻找 一 个 以 n 为 模 的 1 的 非 平凡 平方 根 。 

如 果 发 现 一 个 ,终止 执行 并 输出 结果 COMPOSITE。31. 6 节 的 推论 31. 35 证 明了 用 这 种 
方法 检测 合 数 的 正确 性 。 

下 面 是 Miller-Rabin 素数 测试 的 伪 代 码 。 输 入 n>2 是 一 个 等 待 素 性 测试 的 奇数 ，* EM Zp 
随机 选取 的 要 进行 试验 的 基 值 的 个 数 。 代 码 运 用 随机 数 生成 程序 RANDOM; RANDOM(1, 
n 一 1) 返 回 一 个 满足 1<a<n—1 的 随机 选取 的 整数 a。 代码 中 还 使 用 一 个 辅助 过 程 WITNESS, 
当日 仅 当 a 为 合 数 n 的 “证 据 ” 时 ( 即 用 a 来 证 明 ( 其 证 明 方 法 将 在 后 面 给 出 )n 为 合 数 是 可 能 的 )， 
WITNESS(a, nn) 为 TRUE。 测试 WITNESS(a， 台 是 一 个 对 作为 过 程 PSEUDOPRIME 基础 (用 4a 二 2) 
的 测试 

a™! 关 1(modn) 
的 扩展 ， 但 是 更 加 有 效 。 首 先 要 介绍 并 证 明 WITNESS 的 构造 过 程 ， 然 后 展示 如 何 把 它 应 用 于 
Miller-Rabin 素数 测试 过 程 。 令 "一 1 王 2， 其 中 eel H u 是 奇数 ; 即 "一 1 的 二 进 制 表示 是 奇数 
u 的 二 进 制 表示 后 面 跟 上 恰好 上 NE. A, a =la) (mod n)， 所 以 可 以 通过 先 计算 a* mod 
n， 然 后 对 结果 连续 平方 + 次 来 计算 a”' modn。 

WITNESS(a,n) 

1 let ¢ and u be such that >1,u is odd, and n—1=2'u 

2 2)=MODULAR-EXPONENTIATION(a,u,) 

3 for i=1 tor 

4 并 一 1 modn 

5 if Zi 一 一] and Zi- 天 1 and Zi- 天 7 一 1 

6 return TRUE 

7 ifz,-~l 

8 return TRUE 

9 return FALSE 


这 个 WITNESS 的 伪 代码 通过 首先 在 第 2 FTP x =a" mod n， 然 后 在 第 3 一 6 47H) for Hf 
环 的 一 行 中 对 结果 平方 上 次 ,来 计算 o" : modn。 通 过 在 i 上 归纳 ， 计 算 的 序列 tos tis s zA 
值 满足 等 式 x, =a"" (mod n)(i=0, 1, =, t), FREEBIE, z,=a"!(modn), Ril, AEE 
4 行 后 执行 一 个 平方 步骤， 如 果 第 5 一 6 行 检测 到 1 的 一 个 非 平凡 平方 根 是 刚 被 发 现 的 ， 则 循环 
可 能 提前 结束 。 如 果 这 样 ， 则 算法 终止 并 返回 TRUE., WE r =a (mod n) 所 计算 的 值 不 等 于 
1， 则 第 7 一 8 行 返回 TRUE， 就 像 在 这 个 情况 中 PSEUDOPRIME 返回 COMPOSITE。 如 果 在 第 
6 行 或 第 8 行 没有 返回 TRUE， 则 第 9 行 返回 FALSE。 

现在 来 论证 如 果 WITNESS, nn) 返 回 TRUE， 则 可 以 用 a 作为 证 据 构造 出 n 是 合 数 的 证 明 。 

如 果 WITNESS 从 第 8 行 返 回 TRUE， 则 它 已 经 发 现 r, =a"! mod n 关 1。 然 而 ， 如 果 n 是 素 
数 ， 则 根据 费 马 定理 (定理 31. 31)， 对 任何 a€ Zr ，a”! 三 1(mod n) 成 立 。 因 此 ,nn 不 可 能 为 素 
数 ， 并 且 等 式 a™! mod n 关 1 证 明了 这 一 事实 。 
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如 果 WITNESS 从 第 6 行 返回 TRUE， 则 它 已 经 发 现 x;_! 是 一 个 以 为 模 的 1 的 非 平凡 平方 
根 ， 因 为 x;_1 关 士 1(mod n), (A =x =l (mod n). HE 31.35 说 明 仅 当 n 是 合 数 时 ， 才 可 能 
存在 以 为 模 的 1 的 非 平凡 平方 根 ， 因 此 说 明 zx;_! 是 以 为 模 的 1 的 非 平 凡 平方 根 ， 也 就 证 明了 
n ERM 

这 样 就 完成 了 有 关 WITNESS 正确 性 的 证 明 。 如 果 调 用 WITNESS(a, n)i& [8] TRUE, Wn 
必 为 合 数 ， 并 且 根 据 证 据 a 以 及 程序 返回 值 为 TRUE 的 原因 (从 第 6 行 还 是 第 8 行 返回 )， 可 以 
很 容易 确定 n EAR. 

在 这 里 ， 我 们 以 序列 X= 二 《x。，zxzi，*…，ZX,) 的 函数 形式 简短 地 展示 WITNESS 的 行为 的 男 一 
种 描述 ， 稍 后 在 分 析 Miller-Rabin 素数 测试 的 效率 时 ,会 发 现 它 很 有 有用。 注意， 如 果 对 某 个 
0 过 i 过 月 n=l, 则 WITNESS 可 能 不 会 计算 序列 的 余下 部 分 。 然而 如 果 计 算 ， 则 Titis Zi+29 9 
Zz 的 值 都 将 是 1， 并 且 我 们 考虑 序列 X 中 的 这 些 位 置 都 是 1。 有 四 种 情况 : 

1.X 一 (…，cd)， 其 中 4d 关 1: 序列 X 不 是 以 1 结尾 。 从 第 8 行 返回 TRUE; a 是 n 为 合 数 的 
证 据 ( 由 费 马 定理 ) 。 

2.X 王 (1，1，…，1): FJ] X EKRE 1. KE] FALSE, a 不 是 ”为 合 数 的 证 据 。 

3.X=(e, —1, 1, =, 1: 序列 XX 以 1 结尾 ,而且 最 后 一 个 非 1 的 数 等 于 一 1。 返 回 
FALSE, a 不 是 nn 为 合 数 的 证 据 。 

4.X 一 (…，d，1，…，1)， 其 中 d 尖 士 1: 序列 X 以 1 结尾， 但 最 后 一 个 非 1 的 数 不 是 一 1。 

从 第 6 行 返 回 TRUE; a 是 为 合 数 的 证 据 ， 因 为 d 是 一 个 1 的 非 平凡 平方 根 。 

现在 检查 利用 WITNESS 的 MILLE-RABIN 素数 测试 过 程 。 再 一 次 ,假设 nn 是 一 个 大 于 2 的 
奇数 。 


MILLER-RABIN (n, s) 


1 forj=l1 tos 
2 a=RANDOM(1,n—1) 

3 if WITNESS(a,n) 

4 return COMPOSITE // definitely 

5 return PRIME // almost surely 


过 程 MILLE- RABIN 是 为 了 证 明 nn 是 合 数 所 进行 的 概率 性 搜索 。 主 循环 (从 第 1 行 开始 ) 从 
Zi 中 挑选 个 a 的 随机 值 (第 2 行 )。 如 果 所 挑选 的 一 个 a 值 是 n 为 合 数 的 证 据 ， 则 过 程 MILLE- 
RABIN 在 第 4 行 返回 COMPOSITE。 这 样 的 结果 总 是 正确 的 ， 由 WITNESS 的 正确 性 证 明 可 以 
看 出 。 如 果 在 s 次 试验 中 没有 发 现 证 据 ， 则 MILLE-RABIN 假定 这 是 因为 证 据 不 存在 ， 因 此 假 
设 ”为 素数 。 我 们 将 看 到 如 果 s 足够 大 ， 则 这 个 输出 结果 很 可 能 是 正确 的 ， 但 也 存在 这 样 一 种 微 
小 的 可 能 性 ， 即 过 程 在 选择 a 时 运气 不 佳 ， 因 为 过 程 虽然 没有 发 现 证 据 ， 但 证 据 却 确实 存在 。 

为 了 说 明 MILLE-RABIN 的 操作 过 程 ， 今 nn 为 Carmichael $561, (#4 n—1=560=2' + 35, 
t 二 4，u 二 35。 假 定 过 程 选择 a=7 作为 基 ，31.6 节 的 图 31-4 说 明 WITNESS 计算 2, 三 os 三 
241(mod 561) ， 因 此 计算 序列 X=(241, 298, 166, 67, 1), RL, ERA —ULHER PRM 
了 一 个 1 的 非 平凡 平方 根 ， 因 为 a =67(mod n), a&=1(modn), Ak, a=7 是 nn 为 合 数 的 证 
4, WITNESS(7, nn) 返回 TRUE， 因 而 MILLE-RABIN 返回 COMPOSITE, 

如 果 nn 是 一 个 8 位 数 ， 则 MILLE-RABIN 需要 执行 0(s8) 次 算术 运算 和 O(s83) 次 位 操作 ， 
为 从 渐 近 意义 上 说 ， 它 需要 执行 的 工作 仅 是 s 次 模 取 寡 运 算 。 

MILLE-RABIN 素数 测试 的 出 错 率 

如 果 MILLE-RABIN 返回 PRIME， 则 它 仍 有 一 种 很 小 的 可 能 性 会 产生 错误 。 然 而 ， 不 像 
PSEUDOPRIME， 出 错 的 可 能 性 并 不 依赖 于 n; 对 该 过 程 也 不 存在 坏 的 输入 。 相 反 ， 它 取决 于 
的 大 小 和 在 选取 基 值 a 时 “抽签 的 运气 ”。 另外， 由 于 每 次 测试 都 比 简单 地 检查 等 式 (31. 40) 更 严 
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格 ， 因 此 从 总 的 原则 上 ， 对 随机 选取 的 整数 xn， 其 出 错 率 应 该 是 很 小 的 。 下 列 定理 阐述 了 一 个 更 
精确 的 论点 。 

定理 31.38 如 果 n 是 一 个 奇 合 数 ， 则 nn 为 合 数 的 证 据 的 数目 至 少 为 (n 一 1)/2。 

证 明 ”证 明 过 程 说 明了 非 证 据 的 个 数 最 多 为 (n 一 1)/2， 意 味 着 定理 成 立 。 

首先 ， 我 们 断言 任何 非 证 据 都 必须 是 Z 的 一 个 成 员 。 为 什么 呢 ?” 考 虑 任意 的 非 证 据 a。 它 
必须 满足 oo 三 1(mod n)， 或 者 等 价 地 ，a*， a” *=1(modn), Alt, Wr ax=1(mod n) 有 一 个 
解 ， 即 er: 。 由 推论 31.21 可 知 ，gcd(a，n) |1， 这 反 过 来 意味 着 gcd(a，n) 二 1。 因 此 , a ÈZ 
的 一 个 成 员 ， 所 有 的 非 证 据 都 属于 Z 。 

为 了 完成 证 明 ， 要 说 明 不 只 是 所 有 的 非 证 据 都 包含 在 Z 内， 而 且 它 们 都 包含 在 Z 的 一 个 
真子 群 B 中 (回顾 一 下 ， 如 果 B 是 Z 的 一 个 子 群 但 B 不 等 于 2Z; ， 则 BEZ 的 一 个 真子 群 ) 。 
根据 推论 31.16, #4) B)/<|Z;|/2. AA |Z | 三 n 一 1， 所 以 得 到 |1B| 三 (n 一 1)/2。 因 此 ， 非 证 
据 的 个 数 至 多 是 (n 一 1)/2， 所 以 证 据 的 数目 必须 至 少 有 (n 一 1)/2。 

下 面 说 明 如 何 找 出 一 个 Z 的 包含 所 有 非 证 据 的 真子 群 B。 具 体 分 两 种 情况 。 

情况 1: 存在 一 个 zxEZ; ， 使 得 

x" 'Fl(mod n) 
换 句 话说 ,nn 不 是 一 个 Carmichael 数 。 如 我 们 先前 所 注意 到 的 ， 因 为 Carmichael 数 极 少 ， 情 况 1 
是 由 “实际 ”所 产生 的 主要 情况 (例如 ， 这 里 7 已 经 被 随机 选取 ， 而 且 被 测试 其 素数 性 )。 

令 B={bEZ; : b”' 三 1(modn)}。 显 然 ，B 是 非 空 的 ， 因 为 1€ B。 因 为 BER n 的 乘法 下 
是 封闭 的 ， 所 以 由 定理 31.14，B 是 Z 的 一 个 子 群 。 注 意 ， 每 个 非 证 据 都 属于 B， 因 为 一 个 非 
证 据 a 满足 a”' 三 1(mod z) 。 因 为 rEZ 一 B， 所 以 BEEZ; 的 一 个 真子 群 。 

情况 2: 对 所 有 的 EZ, 

x"! = 1(mod n) (31. 41) 
换 句 话说 ，n 是 一 个 Carmichael 数 。 这 个 情况 实际 上 非常 少 。 然 而 ， 正 如 现在 要 说 明 的 ， 
MILLE-RABIN 测试 (不 同 于 伪 素 数 测试 ) 可 以 有 效 地 确定 Carmichael 数 的 合 数 性 。 

在 这 种 情况 下 ,nn 不 可 能 是 一 个 素数 突 。 为 搞 清楚 为 什么 ， 反 之 我 们 假设 n= ， 其 中 pp 是 一 个 
素数 ，e 二 1。 按 如 下 方式 推导 出 了 矛盾。 因为 n 假 设 是 奇数 ， 故 p 也 必须 是 奇数 。 定 理 31. 32 意味 着 Z 
是 一 个 循环 群 : 它 包含 一 个 生成 元 g， 使 得 ord, (g)=| ZF | =$Q) =p A—-1/p)=(p—- Dp | DH 
公式 来 自 等 式 (31. 20))。 根 据 式 (31. 41)， 有 g”! 三 1(mod n)。 则 离散 对 数 定理 (定理 31. 33， 取 
y 三 0) 意 味 着 nn 一 1 三 0(mod $(n)), 或 者 

(p—1)p |p —1 
这 对 e>l 是 一 个 矛盾 ， 因 为 (p 一 1)p”' 可 以 被 素数 pp 整除 ,但 是 p' 一 1 不能。 因此 ,nn 不 是 一 个 
RB. 

AAA AM n RET RBG. RATE EAE RMA mn。 ， 其 中 和 nw 都 是 大 于 1 的 奇数 
且 互 质 。( 有 多 种 方法 来 做 这 个 分 解 ， 选 择 哪 一 种 并 没有 关系 。 例 如 ， 如 果 n= pi pepe, MAT 
EE ny = pit, M no =p? ps… pe.) 

回顾 一 下 ， 定义 t Alu 使 得 n—1=2u, 其 中 t>1, u 是 奇数 ， 且 对 于 输入 a, WE 
WITNESS 计算 序列 

5 la“ a ae" ,a 》 
(所 有 的 计算 都 是 根据 模 nn 计 算 的 )。 

WMR EZ, jE{0, 1, =, th} A vw* 寺 一 1(mod n)， 则 称 整数 对 (v， 站 为 可 接受 的 。 可 接 
受 的 对 是 肯定 存在 的 ， 因 为 是 奇数 ; 可 以 选择 v==n 一 1 和 j 二 0， 使 得 (n 一 1，0) 是 一 个 可 接受 
对 。 现 在 挑选 最 大 可 能 的 jj， 使 得 存在 一 个 可 接受 对 (v，j)， 调 整 使 得 (w， 力 是 一 个 可 接受 
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B= {x € Z? :x™" =+ i(mod n)} 
因为 BER n 的 乘法 下 是 封闭 的 ， 故 它 是 ZS 的 一 个 子 群 。 因 此 ， 由 定理 31.15，| 了 B| 整除 | 到 | 。 
每 一 个 非 证 据 都 必定 是 B 的 成 员 ， 因 为 由 一 个 非 证 据 产生 的 序列 X 必须 或 者 全 部 为 1， 或 者 在 第 
j 个 位 置 之 前 ， 包 含 一 个 一 1( 根 据 j 的 最 大 性 )。( 如 果 (a，j”) 是 可 接受 的 ， 其 中 a 是 一 个 非 证 
据 ， 则 根据 我 们 选择 7 UIR, VA j Sj.) 
现在 ， 利 用 v 的 存在 性 说 明 存 在 一 个 wEZ; 一 B， 且 因此 BEZ 的 一 个 子 群 。 因 为 
v“=—1(modn), 根据 中 国 余数 定理 的 推论 31. 29， 有 女生 一 1(modmm ) 。 根 据 推论 31. 28， 存 
在 一 个 w， 同 时 满足 
w= v(mod n) 
w= l (mod m) 
因此 ， 
w?“=— 1(mod nm) 
w*"= 1(mod m) 
由 推论 31. 29, w?"~l(mod m, ) 意 味 着 w" Fl (modn), mH w**A—1(mod n,) BR w**F-1 
(mod n)。 因 此 ， 得 出 w**At1(modn), ， 所 以 wE 也。 
接 下 来 还 要 证 明 wEZ; 。 首 先 分 别 对 模 ni 和 模 ns 进行 处 理 。 对 模 ni， 注意 到 由 于 VEZ, 
有 gcd(v，n) 二 1， 所 以 有 gcd(v，n)= 二 1; WẸ v 5n 没有 任何 公约 数 ， 它 当然 不 会 与 n, 有 任何 
公约 数 。 因 为 ww 三 v(mod n), PV gcd(w， n)=1, HE m, WZA) w=1(mod n,) 意 味 着 gcd 
(Ww，7) 三 1。 结合 这 些 结果 ， 利 用 推论 31. 6， 它 意味 着 gcd(w， nin,) 二 gcd(w，n) 二 1。 也 就 是 
wE Z; 。 
因此 ，wEZ; —B, MAW BEZ 的 一 个 真子 群 的 结论 完成 情况 2。 
在 两 种 情况 中 的 任何 一 个 ， 我 们 看 出 为 合 数 的 证 据 的 数目 都 至 少 为 (n 一 1)/2。 o 
EH 31.39 ”对 于 任意 奇数 7 盖 2 和 正 整数 S，MILLER-RABIN(Cz，s) 出 错 的 概率 至 多 为 2 一 。 
证 明 利用 定理 31. 38， 可 以 看 到 如 果 交 是 合 数 ， 则 每 次 执行 第 1 一 4 行 的 for 循环， 发现 
为 合 数 的 证 据 z 的 概率 至 少 为 1/2。 只 有 当 MILLER-RABIN 运气 太 差 ， 在 主 循环 总 共 次 迭代 
中 ， 每 一 次 都 没 能 发 现 ”为 合 数 的 证 据 时 ， 过 程 才 会 出 错 。 而 这 种 每 次 都 错过 发 现 证 据 的 概率 至 
多 为 2 一 。 a 
如 果 nn 是 素数 ，MILLER-RABIN 总 是 输出 PRIME, 而 如 果 n 是 合 数 ，MILLER-RABIN $ 
出 PRIME 的 概率 至 多 为 2 “。 
然而 ， 当 对 一 个 大 随机 整数 ”应 用 MILLER-RABIN 时 ， 为 了 正确 地 解释 MILLER-RABIN 
的 结果 ,我们 需要 考虑 n 是 素数 的 优先 概率 。 假 设 固定 了 一 个 长 度 位 数 6， 并 且 随 机 选择 了 一 个 
长 度 为 8 位 的 整数 来 检测 优先 级 。 令 A Ran 是 素数 的 事件 。 由 素数 定理 (定理 31.37)，n 是 素 
数 的 概率 接近 
Pr{A} ~ 1/ Inn ~ 1. 443/8 
4 B RIR MILLER-RABIN 返回 PRIME 的 事件 ， 我 们 有 Pr{B| A} =O RAS Ht, Pr{B|A}) 
和 Pr{B|A}<2- RKE, Pr(B|A}>1—27). 
然而 在 MILLER-RABIN 返回 PRIME 的 情况 下 ，n 是 素数 的 概率 Pr{A1B} 的 值 是 多 少 呢 ? 
通过 贝 叶 斯 定理 的 变形 (等 式 (C. 18))， 有 
Pe A Aa IIS x ee TE D 
在 s 超 过 lg( lnn 一 1) 之 前 ， 这 个 概率 不 超过 1/2。 直 观 上 ， 为 了 得 到 信心 (由 于 不 能 找到 n BAK 
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的 证 据 )， 来 克服 对 于 ”是 合 数 的 优先 偏好 ， 需 要 很 多 原始 测试 。 对 于 一 个 有 P= 1024 位 的 数 ， 
原始 测试 大 约 需 要 
Ig( Inn—1) ~ lg(f/1. 443) + 9 

次 。 在 任何 情况 下 ， 对 几乎 所 有 可 以 想象 到 的 应 用 ， 选 取 * 一 50 应 该 是 足够 的 。 

事实 上 情况 要 更 好 。 如 果 通 过 对 随机 选取 的 大 奇 整数 应 用 MILLER-RABIN 来 找 出 大 素数 ， 
则 选取 较 小 的 * 值 (如 3) 也 未 必 导 致 错误 的 结论 (在 此 不 做 证 明 )。 因 为 对 一 个 随机 选取 的 奇 合 数 
z， 刀 为 合 数 的 非 证 据 的 预计 数目 可 能 要 比 (" 一 1)/2 少 得 多 。 

然而 ， 如 果 整 数 不是 随机 选取 的 ， 则 运用 改进 过 的 定理 31. 38， 所 能 证 明 的 最 佳 结论 是 非 
证 据 数 目 至 多 为 (n 一 1)/4。 并 且 ， 确实 存在 整数 x， 使 得 非 证 据 的 数目 就 是 (n 一 1)/4。 


练习 


31.8-1 证 明 : 如 果 一 个 奇 整数 二 1 不 是 素数 或 素数 的 寡 ， 则 存在 一 个 以 z 为 模 的 1 的 非 平凡 
平方 根 。 

“31.8-2 可 以 把 欧 拉 定理 稍微 加 强 为 如 下 形式 : 对 所 有 a€ 72; ， 

a” = 1(mod n) 
Fi n= pt pee pr, HAMEKA 
A(n) = lcem($( pf). +e PC pF )) (31. 42) 

证 明 ACM | én), WAC) |n—-1, WAR ”为 Carmichael 数 。 最 小 的 Carmichael 数 为 
561=3 * 11°17; XH, A(n) =1cm(2, 10, 16) = 80, © AT LA RR 560. WE BH 
Carmichael 数 必须 既是 “无 平方 数 ”( 不 能 被 任何 素数 的 平方 所 整除 )， 又 是 至 少 三 个 素数 
的 积 。( 因 此 ，Carmichael 数 不 是 很 常见 。) 

31.8-3 证 明 : 如 果 工 是 以 n 为 模 的 1 的 非 平 凡 平方 根 ， 则 gcd(zx 一 1，n) 和 gcd(zx 十 1， Mé n 
的 非 平 凡 约 数 。 


“31.9 整数 的 因子 分 解 


假设 希望 将 一 个 整数 ”进行 因子 分 解 ， 也 就 是 分 解 为 素数 的 积 。 通 过 上 一 节 所 讨论 的 素数 测 
试 ， 可 以 知道 是否 是 合 数 ， 但 它 并 不 能 指出 n 的 素数 因子 。 对 一 个 大 整数 进行 因子 分 解 ， 似 
乎 要 比 仅 确定 n 是 素数 还 是 合 数 困 难得 多 。 即 使 用 当今 的 超级 计算 机 和 现行 的 最 佳 算法 ， 要 对 任 
意 一 个 1024 位 的 数 进 行 因子 分 解 也 还 是 不 可 行 的 。 

Pollard 的 rho 启发 式 方法 

对 小 于 尺 的 所 有 整数 进行 试 除 ， 保 证 完全 获得 小 于 R 的 任意 数 的 因子 分 解 。 下 列 过 程 用 相 
同 的 工作 量 ， 就 能 对 小 于 R* 的 任意 数 进行 因子 分 解 (除非 运气 不 佳 )。 由 于 该 过 程 仅 仅 是 一 种 启 
发 性 方法 ， 因 此 既 不 能 保证 其 运行 时 间 也 不 能 保证 其 运行 成 功 ， 尽 管 该 过 程 在 实际 应 用 中 非常 
有 效 。POLLARD-RHO 过 程 的 另 一 个 优点 是 ， 它 只 使 用 固定 量 的 存储 空间 。( 如 果 愿 意 ， 可 以 很 
容易 地 在 一 个 可 编程 的 掌上 计算 器 上 实现 POLLARD-RHO， 来 找 出 小 数 的 因子 。) 


POLLARD-RHO() 
1 i=l 

2 2,=RANDOM(0,n—1) 
3 yx 

4 k=2 

5 while TRUE 

6 i=i+1 

7 Zi 一 (2 一 1) modn 
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8 d=gcd(y— x; n) 
9 if d~1 and d#n 
10 print d 

11 ifi == k 

12 yF Ti 


13 k=2k 


其 执行 过 程 如 下 。 第 1 一 2 FE i EH 1, He IE ZT LER. 第 5 
行 开 始 的 while 循 环 将 一 直 进 行 兴 代 ， 来 搜索 的 因子 。 在 while 循环 的 每 一 次 迭代 中 ,第 7 行 运 
用 递归 式 

x; = (x, — 1) mod n (31. 43) 
计算 无 穷 序列 
EE AEE E PE (31. 44) 
H z; 的 下 一 个 值 ， 其 中 i 的 值 在 第 6 行 中 进行 相应 的 增加 。 为 了 清楚 ， 伪 代码 中 使 用 了 下 标 变量 
zi， 但 即使 去 掉 所 有 的 下 标 ， 程 序 也 以 同样 的 方式 执行 ， 因 为 仅 需要 保留 最 近 计 算出 的 z; 值 。 经 
过 这 个 修改 ， 此 过 程 只 使 用 了 一 个 常量 的 存储 空间 。 

程序 不 时 地 把 最 近 计 算出 的 xz; 的 值 存 人 变量 y 中 。 具 体 来 说 ， 存 储 的 值 是 那些 下 标 为 2 BFE 
的 变量 : 

第 3 行 保存 值 x,， 每 当 i=k& 时 ,第 12 行 就 保存 值 z。 第 4 行将 变量 & 初 始 化 为 2， 并 且 每 当 第 
12 行 更 新 y， 第 13 行 就 将 & 的 值 加 倍 。 因此 ， & 值 的 序列 为 i 2 dy Bre 并 且 总 是 给 出 要 
FEA y 的 下 一 个 值 的 xz: 的 下 标 。 

第 8 一 10 行 尝 试用 存 人 y 的 值 和 xz; 的 当前 值 找 出 n 的 一 个 因子 。 特 别 地 ， 第 8 行 计 算出 最 大 
公约 数 d 二 gcd(y 一 x;，n)。 如 果 第 9 行 中 发 现 了 4d 是 的 非 平凡 约 数 ， 则 第 10 行 输出 d 的 值 。 

最 初 ， 这 一 寻找 因子 分 解 的 过 程 似乎 有 点 神秘 。 但 是 注意 ，POLLARD-RHO 绝 不 会 输出 错 
误 的 答案 ; 它 输出 的 任何 数 都 是 n 的 非 平 凡 约 数 。 尽 管 POLLARD-RHO 可 能 不 输出 任何 信息 ， 
也 没有 保证 它 能 输出 约 数 。 不 过 ， 我们 将 看 到 ,我们 有 充分 的 理由 预计 ，POLLARD-RHO 在 
while 循环 大 约 执行 8(Vp) 次 迭代 后 ， 会 输出 一 个 的 因子 p。 因 此 ， 如 果 p 是 合 数 ， 则 在 大 约 
经 过 mn“ 次 的 更 新 后 ， 可 以 预计 该 过 程 已 经 找到 足够 多 的 约 数 ， 这 是 由 于 除了 可 能 有 的 最 大 的 一 
个 素 因 子 外 ，n 的 每 一 个 素 因 子 p 均 小 于 Vn。 

分 析 一 下 要 经 过 多 久 ， 模 nn 的 随机 序列 中 才 会 重复 出 现 一 个 值 ， 就 可 以 了 解 这 个 过 程 的 性 
能 。 由 于 乙 是 有 限 的 ， 并 且 序 列 (31. 44) 中 的 每 一 个 值 仅仅 取决 于 前 一 个 值 ， 所 以 序列 (31. 44) 
最 终 将 产生 自身 重复 。 一旦 运算 到 达 一 个 x;， 使 得 对 某 个 ;二 i 有 zi 二 x;， 则 我 们 处 在 一 个 回路 
中 ， 因 为 zi 二 zr1，Zitz 二 Zt2， 等 等 。 该 过 程 取 名 为 “rho 启发 式 方法 ”的 原因 就 在 于 (如 
图 31-7 所 示 ) 序 列 Tis Tzs ***s Zi-1 可 以 画 成 rho(p) 的 “ 尾 ”， 而 回路 Tyo Tj+is “9 x; AY DA i A 
tho 的 “ 体 ”。 

下 面 考虑 一 个 问题 : zi 的 序列 发 生 重复 需要 多 久 ? 实际 上 ， 这 个 问题 的 答案 并 不 是 我 们 恰好 
需要 的 ， 但 我 们 将 会 看 到 如 何 修改 这 个 论点 。 为 了 进行 估算 ， 假 定 函 数 

fa (x) = (2? — 1) mod n 
像 一 个 “随机 ”函数 那样 进行 计算 。 当 然 ， 它 并 不 是 一 个 真正 的 随机 函数 ,但 由 这 个 假设 所 得 的 结 
W, 与 我 们 对 POLLARD-RHO 行 为 的 观察 是 一 致 的 。 因 而 ， 可 以 把 每 个 zx; 视 为 按 在 Z, 上 均匀 分 
布 的 方式 从 乙 中 独立 选取 的 。 根 据 5. 4. 1 节 中 对 生日 悖 论 的 分 析 ， 在 序列 出 现 回路 之 前 预计 要 
执行 的 步 数 为 BCVz) 。 
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x & = a x 3 
x @ xi @& 
mod 1387 mod 19 mod 73 


(a) 


(b) Ce) 


图 31-7 Pollard 的 rho 启发 式 方法 。(a) 由 递归 式 r+ = —1) mod 1387 所 产生 的 值 ， 从 xz =2 开始 。 
1387 的 素数 因子 分 解 是 19。73。 粗 箭头 指出 在 因子 19 被 发 现 之 前 所 执行 的 迭代 步骤 。 细 箭头 
指出 在 迭代 中 未 到 达 的 值 ， 来 画 出 “rho” 的 形状 ， 阴 影 数 值 是 由 POLLARD-RHO 保存 的 y 的 
值 。 因 子 19 是 在 到 达 z 王 177 时 被 发 现 的 ， 此 时 计算 gcd(63 一 177，1387) 王 19。 第 一 个 要 重 
复 的 工 数值 是 1186， 但 是 因子 19 是 在 这 个 数值 重复 之 前 被 发 现 的 。(b) 相 同 递归 式 产生 的 值 ， 
模 19。(a) 给 出 的 每 个 值 zx; 对 模 19 来 说 等 于 这 里 显示 的 zio WAM, r 一 63 和 x =177 都 等 于 
6， 模 19。(c) 相 同 递归 式 产生 的 值 ， 模 73。(a) 给 出 的 每 个 值 xz;， 对 模 73 来 说 等 于 这 里 显示 的 
Zi 。 由 中 国 余数 定理 ，(a) 中 每 个 结 点 对 应 于 一 对 结 点 ， 即 (b) 中 和 (c) 中 的 一 个 


现在 根据 要 求 进行 适当 修改 。 令 p 是 满足 ecd(p, n/p) =1 的 的 一 个 非 平凡 因子 。 例 如 ， 


573 


如 果 n FAA n= pt ptp, WEAR 的 值 为 p."。( 如 果 e@ 二 1， 则 p 就 是 n 的 最 小 
素数 因子 ， 这 是 一 个 可 以 牢记 的 好 例子 。) 


x= x; mod p 


序列 (z;) 包 含 一 个 相应 的 对 模 p FI), OP RTA i， 有 


计算 zx; 序列 从 模 p 的 角度 看 是 从 模 n 的 角度 看 的 一 个 较 小 版 本 : 


因此 ， 虽 然 没 有 显 式 地 计算 序列 (a)， 但 这 个 序列 是 良 定义 的 ， 而 且 与 序列 (zx;》 有 相同 的 递归 式 。 


xl = 24, mod p 
= f,(x;:) mod p 
= ((2? — 1) mod n) mod p 
= (2? — 1) mod p 
= ((x; mod p)? — 1) mod p 
= ((x;)? — 1) mod p 
= f,(zi) 


(根据 练习 31. 1-7) 


更 进一步 ， 因 为 f, 是 仅 使 用 算术 操作 (平方 和 减法 ) 对 模 n 定 义 的 ， 所 以 将 看 到 可 以 用 zx; 来 


像 之 前 一 样 进行 推论 ， 可 以 发 现在 序列 (z;) 重 复出 现 之 前 ， 预 计 执 行 的 步 数 是 @(Vp)。 如 果 


977 
l 
978 


574 。 第 七 部 分 算法 问题 选编 


979 


980 


和 nn 相 比 ，p 是 一 个 小 数 ， 则 序列 (zx!) 的 重复 可 能 比 序列 (zi) 的 重复 要 快 得 多 。 事 实 上 ， 只 要 序 
列 (zx) 中 的 两 个 元 素 仅 对 模 p 等 价 ， 而 不 对 模 n 等 价 ， 序列 (zi) 就 发 生 重复 。 图 31-7(b) 和 (c) 说 
明了 这 一 点 。 

令 上 表示 (zi 序列 中 第 一 个 重复 出 现 的 值 的 下 标 ， 并 且 uO 表示 这 样 产生 的 循环 回路 的 长 
RE. EREM, t Mud 是 对 所 有 i20, WERI zti; 王 z+ 的 最 小 值 。 根 据 上 面 的 论证 ，t 和 
u 的 期 望 值 都 是 OP). 注意 ， 如 果 Lipi =Litetis WW pl Ctrtuti Ziti) o 因此 ， 

gcd ruts ~ Xie 72) 之 ] 

因此 ， 只 要 POLLARD-RHO 把 使 得 之 :的 任何 值 zx 存 人 变量 >， 则 > mod p 总 在 对 模 p 的 
回路 中 (如 果 把 一 个 新 值 存 为 y»， 则 该 值 也 在 对 模 p 的 回路 中 。) 最 终 ,& 将 被 赋予 一 个 大 于 的 
值 ， 然 后 过 程 就 在 不 改变 y 值 的 情况 下 ， 沿 着 模 为 p 的 回路 完成 整个 一 次 循环 。 当 x,“ 遇 到 ”之 
前 存储 的 对 模 p 的 y 值 时 ， 即 zx 三 y(mod p) 时 ， 就 发 现 了 的 一 个 因子 。 

假定 发 现 的 因子 是 因子 p, 但 偶尔 也 可 能 是 p 的 倍数 。 由 于 zt 和 的 期 望 值 都 是 BCVz) ， 所 
以 产生 因子 p 所 要 求 的 期 望 执行 步 数 为 @(Vp)。 

该 算法 不 会 如 期 执行 ， 原因 有 两 条 。 第 一 ， 对 于 运行 时 间 的 启发 式 分 析 并 不 严格 ， 对 模 p 
的 值 的 回路 有 可 能 要 比 Wp 大 得 多 。 在 这 种 情况 下 ， 虽 然 算法 的 执行 正确 ,但 其 执行 速度 要 比 期 
望 低 得 多 。 在 实际 应 用 中 ， 这 似乎 还 可 以 讨论 。 第 二 ， 这 一 算法 得 出 的 约 数 可 能 总 是 平凡 因子 
1 或 n。 例 如 ,假设 n= 二 pq， 这 里 p 和 9g 为 素数 。 可 能 会 发 生 如 下 情况 : 关于 pp 的 t 和 zx 的 值 与 关 
于 g 的 t Mu 的 值 相 等 ， 所 以 因子 p 和 因子 g 总 是 在 相同 的 gcd 运算 中 被 呈现 。 由 于 两 个 因子 同 
时 被 呈现 ， 因 此 也 就 呈现 出 无 用 的 平凡 因子 pq 二 n。 这 在 实际 应 用 中 似乎 没 意 义 。 如 果 需 要 ， 可 
以 用 一 个 不 同形 式 的 递归 式 ra = (a? —c) modn 来 重新 开始 运行 该 启发 式 过程 。( 值 c=0 Al c=2 
应 该 被 避免 ， 其 原因 这 里 不 作 说 明 ， 但 对 其 他 值 没有 问题 。) 

当然 ， 上 述 分 析 过 程 是 启发 式 的 ， 而 不 是 严格 的 ， 因 为 递归 式 并 不 真是 “随机 的 ”。 然 而， 这 
个 过 程 可 以 在 实际 应 用 中 良好 地 运行 ， 并 且 似 乎 和 我 们 在 上 面 的 启发 式 分 析 中 所 说 明 的 一 样 有 
效 。 它 是 一 种 找 出 大 整数 的 小 素数 因子 的 可 供 选 择 的 方法 。 为 了 对 一 个 8 位 合 数 n 完全 分 解 因 
子 ， 仅 需 找 出 所 有 小 于 Lm 的 素数 因子 就 可 以 了 ， 因 此 ， 可 以 期 望 POLLARD-RHO 需 执 行 的 算 
RZEZ H n =R, MEEL H np = 2°" R. POLLARD-RHO 最 具 吸 引力 的 特点 就 
是 它 可 以 在 期 望 的 BC(Vp) 次 算术 运算 内 ， 找 出 的 一 个 小 因子 p. 


练习 


31.9-1 在 图 31-7(a) 所 示 的 执行 过 程 中 ， 过 程 POLLARD-RHO 在 何 时 输出 1387 的 因子 73? 

31.9-2 假设 给 定 函 数 f: Z, 一 Z, 和 一 个 初 值 Xx。 Ez。 定义 z= 二 f(zi1)， i=1, 2, °°. Sem 
uu 这 0 是 满足 zi4; 二 zp4;(i 二 0，1，…) 的 最 小 值 。 在 Pollard 的 rho 算法 的 术语 中 ,1 为 
rho HÆKKE, u 是 rho 的 回路 的 长 度 。 试 写 出 一 个 计算 上 和 zx 的 值 的 有 效 算法 ， 并 分 
析 其 运行 时 间 。 

31. 9-3 ”为 了 发 现形 如 pp 的 数 (其 中 p 是 素数 ，e 二 1) 的 一 个 因子 ，POLLARD-RHO 要 执行 多 少 步 ? 


“31.9-4 POLLARD-RHO 的 缺点 之 一 是 ， 在 其 递归 过 程 的 每 一 步 ， 都 要 计算 一 个 gcd。 然 而 ， 可 


以 对 god 的 计算 进行 批 处 理 ， 通 过 累计 一 行 中 数 个 连续 的 zx 的 积 ， 然 后 在 ged 计算 中 使 
用 该 积 而 不 是 = 。 请 详细 描述 如 何 实现 这 一 思想 ， 为 什么 它 是 可 行 的 ， 以 及 在 处 理 一 个 
B 位 数 n 时 ， 所 选取 的 最 有 效 的 批 处 理 规模 是 多 大 ? 

思考 题 

33-1 二进制 的 gcd 算法 ) 与 计算 余数 的 执行 速度 相 比 ， 大 多 数 计算 机 执行 减法 运算 、 测 试 一 


31-2 


31-3 


31-4 
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个 二 进 制 整数 的 奇偶 性 运算 以 及 折 半 运算 的 执行 速度 都 要 更 快 些 。 本 题 所 讨论 的 二 进 制 

ged 算法 中 避免 了 欧 几 里 得 算法 中 对 余数 的 计算 过 程 。 

a. 证 明 : 如 果 a 和 6 都 是 偶数 ， 则 gcd(a, b)=2 + ged(a/2, 6/2). 

b. 证 明 : 如 果 a 是 奇数 ,6b 是 偶数 ， 则 ecd(a, b)=ged(a, 6/2). 

c. 证 明 : 如 果 a 和 2 都 是 奇数 ， 则 gcdl(a, b)=ged((a—b)/2, b). 

d. 设计 一 个 有 效 的 二 进 制 gcd 算法 ,输入 整数 为 a 和 2(a 过 已， 并 且 算 法 的 运行 时 间 为 
Og a) 。 假 定 每 个 减法 运算 、 测 试 奇偶 性 运算 以 及 折 半 运算 都 能 在 单位 时 间 内 执行 。 

(对 欧 几 里 得 算法 中 位 操作 的 分 析 ) 

a. 考虑 用 普通 的 “ 纸 和 笔 ” 算 法 来 实现 长 除法 的 运算 : 用 a 除 以 56， 得 到 商 g 和 余数 r。 证 
H: 这 种 算法 需要 执行 OC((1 十 lg olg 5) 次 位 操作 。 

b. 定义 wa，b) 王 (1 十 lg a) (1 十 lg b), WEH: 过 程 EUCLID 在 把 计算 gcd(a，5) 的 问题 转 
化 为 计算 gcd(b, a mod b) 的 问题 时 ， 所 执行 的 位 操作 次 数 至 多 为 clla, 6) 一 
ub, amodb)), SEP c>0 为 某 一 个 足够 大 的 常数 。 

c. 证 明 : EUCLID(a，5) 通 常 需要 执行 OCy(a，5)) 次 位 操作 ; 当 其 输入 为 两 个 8 位 数 时 ， 
需要 执行 的 位 操作 次 数 为 OCR"). 

(关于 斐 波 那 契 数 的 三 个 算法 ) 在 已 知 的 情况 下 ， 本 题 对 计算 第 个 斐 波 那 契 数 下 ,的 三 

种 算法 的 效率 进行 了 比较 。 

假定 两 个 数 的 加 法 、 减 法 和 乘法 的 代价 都 是 O(1)， 与 数 的 大 小 无 关 。 

a. 证 明 : 基于 递归 式 (3. 22) 计 算 FF, 的 直接 递归 方法 的 运行 时 间 为 n 的 窒 。( 例 如 ，27.1 节 
的 FIB 程序 。) 

b. 试 说 明 如 何 运 用 记忆 法 在 OCz) 的 时 间 内 计算 F, 。 

c 试 说 明 如 何 仅 用 整数 加 法 和 乘法 运算 ， 就 可 以 在 Og 站 的 时 间 内 计算 F,。( 提 示 : 考 


虑 和 矩阵 
0 1 
1 
AE WIFE) 
d. 现在 假设 对 两 个 8 位 数 相 加 需要 986(8) 时 间 ， 对 两 个 8 位 数 相 乘 需要 8(8 ) 时 间 。 如 果 这 
样 更 合理 地 估计 基本 算术 运算 的 代价 ， 这 三 种 方法 的 运行 时 间 又 是 多 少 ? 
(二 次 余数 ) 设 记 是 一 个 奇 素数 。 如 果 关 于 未 知 量 z 的 方程 xz? 二 a(mod pA fe W% 


aE Z; 就 是 一 个 二 次 余数 。 
a. 证 明 : H p, RA) 个 二 次 余数 。 
b. 如 果 p 是 素数 ， 对 a€ Z; ， 定 义 勒 让 德 符号 (所)， 若 a 是 对 模 p 的 二 次 余数 ， 则 它 等 
Fl; 否则 它 等 于 一 1。 证 明 : WR acz, W 
($ )= a” mod p) 
给 出 一 个 有 效 的 算法 ， 使 其 能 确定 一 个 给 定 的 数 a 是 否 是 对 模 p 的 二 次 余数 。 分 析 所 给 
算法 的 效率 。 
c 证 明 : WR p 是 形 如 4 十 3 的 素数 ， 且 a 是 Z; 中 一 个 二 次 余数 ， 则 at mod p 是 对 模 
p 的 a 的 平方 根 。 找 出 一 个 以 p 为 模 的 二 次 余数 a 的 平方 根 需要 多 长 时 间 ? 


d 试 描述 一 个 有 效 的 随机 算法 ， 找 出 一 个 以 任意 素数 p 为 模 的 非 二 次 余数 ， 也 就 是 指 Z; 
中 不 是 二 次 余数 的 成 员 。 所 给 出 的 算法 平均 需要 执行 多 少 次 算术 运算 ? 
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本 章 注 记 

982 Niven 和 Zuckerman[265] 提 供 了 有 关 基 本 数论 的 优秀 介绍 。Knuth[210] 中 包含 了 找 出 最 大 公约 数 
的 算法 ， 以 及 其 他 基本 数论 算法 的 一 个 很 好 的 讨论 。Bach[30] 和 Riesel[295 提供 了 更 多 计算 数论 的 最 
新 调查 。Dixon[91] 给 出 了 因子 分 解 和 素数 测试 的 一 个 概论 。Pomerance[L 280] 编 辑 的 会 议 文集 包含 了 数 

Knuth[210] 讨 论 了 欧 几 里 得 算法 的 来 源 。 它 出 现在 希腊 数学 家 欧 几 里 得 在 公元 前 300 年 所 
写 的 《几何 原本 》 的 第 7 册 中 的 命题 1 和 命题 2。 欧 几 里 得 的 描述 可 能 来 源 于 大 约 公元 前 375 年 的 
Eudoxus 的 一 个 算法 。 欧 几 里 得 的 算法 可 以 说 是 最 早 的 非 平凡 算法 ; 只 有 古 埃及 人 所 知 的 一 个 乘 
法 算法 可 以 与 之 匹敌 。ShallitL312] 编 撰 了 欧 几 里 得 算法 的 分 析 历 史 。 

Knuth 将 中 国 余数 定理 (定理 31. 27) 的 一 个 特殊 情况 归功 于 中 国 数学 家 孙子 ， 他 生活 在 约 公 
元 前 200 年 到 公元 200 年 (这 个 日 期 很 不 确定 )。 相 同 的 特殊 情况 是 由 约 公元 100 年 的 希腊 数学 家 
Nichomachus 所 给 出 的 。 在 1247 年 它 被 秦 九 韶 一 般 化 。 中 国 余数 定理 由 L. Euler 在 1734 年 以 最 
完整 的 方式 做 了 最 后 的 陈述 和 证 明 。 

在 这 里 展示 的 随机 素数 测试 算法 归功 于 Miller[255] 和 RabinL289]; 在 常数 因子 内 ， 它 是 已 
知 的 最 快速 的 随机 素数 测试 算法 。 定 理 31. 39 的 证 明 稍微 采纳 了 Bach[29] 提 出 的 建议 。 
MILLER-RABIN 的 一 个 更 强 结果 的 证 明 由 MonierL258，259] 给 出 。 很 多 年 以 来 ， 随 机 化 在 得 到 
一 个 多 项 式 时间 的 素数 测试 算法 时 是 必要 的 。 然 而 ， 在 2002 年 ，Agrawal、Kayal 和 Saxema[ 4] 
给 出 的 多 项 式 时 间 的 素数 测试 算法 震惊 了 世界 。 直 到 那 时 之 前 ， 已 知 的 最 快 的 确定 性 素数 测试 
算法 是 来 自 Cohen 和 Lenstra[73]。 En HAF. EEC gn)’ "时间 内 运行 ， 只 是 稍微 超 多 项 
式 。 尽 管 如 此 ， 为 了 实用 ， 随 机 素数 测试 算法 依然 更 高 效 和 更 受 人 喜欢 。 

找 出 大 的 “随机 ?素数 的 问题 在 Beauchemin, Brassard, Crepeau, Goutier 和 Pomerance[ 36 ] 的 一 
篇 论文 中 有 好 的 讨论 。 

公 钥 加 密 系 统 的 概念 归功 于 Diffie 和 Hellman[87]。RSA 加 密 系 统 于 1977 年 由 Rivest, 
Shamir 和 Adleman[L296] 提 出 。 从 那 时 开始 ， 密 码 学 领域 开始 六 勃 发 展 。 我 们 对 RSA 加 密 系统 的 
了 解 已 经 加 深 ， 而 现代 的 实现 明显 改进 了 展示 在 这 里 的 基本 技术 。 另 外 ， 许 多 新 技术 已 经 发 展 ， 

983] 证 明 加 密 系统 是 安全 的 。 例 如 ，Goldwasser 和 MicaliL142] 说 明 随 机 化 在 安全 的 公 钥 加 密 方案 的 
设计 中 是 一 个 有 效 的 工具 。 对 于 签名 方案 ，Goldwasser、Micali 和 RivestL143] 展 示 了 一 个 数字 签 
名 方案 ， 其 中 每 一 种 可 想象 到 的 伪造 行为 可 以 证 明 与 因子 分 解 一 样 困难 。Menezes、van 
Oorschot 和 VanstoneL 254 提供 了 应 用 密码 学 的 一 个 概况 。 

整数 因子 分 解 的 rho 启发 式 方法 是 由 PollardL277] 提 出 的 。 展 示 在 书 中 的 版 本 是 BrentL56] 所 
提议 的 一 个 变形 。 

对 大 数 因子 分 解 的 最 佳 算法 来 说 ， 其 运行 时 间 是 大 致 呈 指 数 增长 的 (等 待 分 解 的 数 n 的 长 度 
的 立方 根 )。 一 般 数 域 的 筛选 因子 分 解 算法 可 能 是 对 于 一 般 的 大 输入 最 高 效 的 算法 (前 者 是 由 
Buhler, Lenstra 和 Pomerance[ 57J] 提 出 的 ， 旨 在 对 数 域 筛选 因子 分 解 算法 进行 扩展 ， 后 者 是 由 
PollardL278] 和 Lenstra 等 人 [232] 提 出 的 ， 并 由 Coppersmith[77] 以 及 其 他 人 加 以 改善 。) 虽 然 很 难 
给 出 这 个 算法 的 严格 分 析 ， 但 在 合理 的 假设 下 ， 我 们 可 以 得 到 L(1/3， 允 "YY*1+0? 的 一 个 运行 时 间 


估计 ,其 中 LCa, n) =e In Inn) , 
椭圆 曲线 方法 是 由 Lenstra[233] 提 出 的 ， 它 对 于 某 些 输入 比 数 域 筛选 方法 更 有 效 ， 因 为 ， 与 
Pollard 的 rho 方法 一 样 ， 它 可 以 相当 快速 地 找到 一 个 小 素数 因子 p。 使 用 这 个 方法 ， 找 到 p 的 时 
MITE L/2, p, 
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字符 串 匹 配 


在 编辑 文本 程序 过 程 中 ,我 们 经 常 需要 在 文本 中 找到 某 个 模式 的 所 有 出 现 位 置 。 典 型 情况 
是 ， 一 段 正 在 被 编辑 的 文本 构成 一 个 文件 ， 而 所 要 搜寻 的 模式 是 用 户 正在 输入 的 特定 的 关键 字 。 
有 效 地 解决 这 个 问题 的 算法 叫做 字符 串 匹 配 算法 ， 该 算法 能 够 极 大 提高 编辑 文本 程序 时 的 响应 
效率 。 在 其 他 很 多 应 用 中 ， 字 符 串 匹配 算法 用 于 在 DNA 序列 中 搜寻 特定 的 序列 。 在 网 络 搜索 引 
擎 中 也 需要 用 这 种 方法 来 找到 所 要 查询 的 网 页 地 址 。 

字符 串 匹 配 问题 的 形式 化 定义 如 下 : 假设 文本 是 一 个 长 度 为 n 的 数组 T[1..n]， 而 模式 是 一 
个 长 度 为 m 的 数组 P[1..m]， 其 中 mn， 进 一 步 假 设 P 和 TT 的 元 素 都 是 来 自 一 个 有 限 字母 集 之 
的 字符 。 例 如 ， 沁 = 二 {0，1}) 或 者 沁 二 {a，6，…，z}。 字 符 数 组 PP 和 T 芽 通常 称 为 字符 串 。 

如 图 32-1 所 示 ， 如 果 0 过 s 志 nn 一 m， 并 且 T[s 十 1..s 十 m]==P[1..m]( 即 如 果 T[s 十 门 = 
PU], HP 1I<SjSm), IWARA P EXET 中 出 现 ， 且 偏 移 为 s( 或 者 等 价 地 ， 模 式 P 在 文本 
下 中 出 现 的 位 置 是 以 十 1 A), WME PET PARA s 出 现 ， 那 么 称 * 是 有 效 偏 移 ; 否则 ， 
称 它 为 无 效 偏 移 。 字 符 串 匹配 问题 就 是 找到 所 有 的 有 效 偏 移 ， 使 得 在 该 有 效 偏 移 下 ， 所 给 的 模式 
P 出 现在 给 定 的 文本 工 中 。 


文本 [alo|[clalpfafa]»]c[alplalc] 
a ie ea 
模式 P la lb lalal| 


图 32-1 字符 串 匹配 问题 的 一 个 例子 ， 在 该 例子 中 ， 我 们 试图 找到 模式 P=abaa 在 文本 
T= 二 abcabaabcabac 中 所 有 出 现 的 位 置 。 模 式 只 在 这 个 文本 中 出 现 一 次 ， 在 偏 移 
s=3 处 ， 因 此 我 们 称 s 为 有 效 偏 移 。 用 坚 线 连接 了 每 一 个 模式 中 的 字符 和 与 其 
对 应 的 文本 中 的 字符 ， 所 有 匹配 的 字符 都 被 涂 上 了 阴影 


除了 在 32. 1 节 将 要 复习 的 朴素 算法 外 ， 本 章 中 的 每 个 字符 串 匹 配 算 法 都 基于 模式 进行 了 预 
处 理 ， 然 后 找到 所 有 有 效 偏 移 ; 我 们 称 第 二 步 为 “匹配 ?。 图 32-2 给 出 了 本 章 中 每 个 算法 的 预 处 
理 时 间 和 匹配 时 间 。 每 个 算法 的 总 运行 时 间 是 预 处 理 时间 和 匹配 时 间 的 和 。32. 2 节 描述 了 一 种 
由 Robin 和 Karp 发 现 的 一 种 有 趣 的 字符 串 匹 配 算 法 。 尽 管 这 种 算法 在 最 坏 情 况 下 的 运行 时 间 
QB((n 一 m 十 1)m) 并 不 比 朴素 算法 好 ， 但 就 平均 情况 和 实际 情况 来 说 ， 该 算法 效果 要 好 得 多 。 这 
种 算法 也 可 以 很 好 地 推广 ， 用 以 解决 其 他 的 模式 匹配 问题 。32. 3 节 描 述 一 种 字符 串 匹 配 算法 ， 
该 算法 通过 构造 一 个 有 限 自 动机 ， 专 门 用 来 搜寻 所 给 的 模式 P 在 文本 中 出 现 的 位 置 。 这 种 算法 
需要 OCm| 之 | ) 的 预 处 理 时 间 ， 但 是 仅仅 需要 O(n) 的 匹配 时 间 。32. 4 节 介绍 与 其 类 似 但 是 更 加 
巧妙 的 Knuth-Morris-Pratt( 或 KMP) 算 法 ;该 算法 的 匹配 时 间 同 样 为 8(z) ， 但 是 它 缩短 了 预 处 
FEAT [A], (iF 8@(m)。 





预 处 理 时 间 匹配 时 间 
朴素 算法 0 O((n—m+1)m) 


Rabin-Karp O(m) O((n—m+1)m) 
有 限 自 动机 算法 Olm 21) O(n) 
Knuth-Morris-Pratt O(m) O(n) 


图 32-2 ”本 章 的 字符 串 匹 配 算法 及 其 预 处 理 时 间 和 匹配 时 间 
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符号 和 术语 

我 们 用 对 "来 表示 包含 所 有 有 限 长 度 的 字符 串 的 集合 ， 该 字符 串 是 由 字母 表 之 中 的 字符 组 
成 。 在 本 章 中 ,我 们 只 考虑 有 限 长 度 的 字符 串 。 长 度 为 零 的 空 字符 串 用 s 表 示 ， 也 属于 之 " 。 一 
个 字符 串 zx 的 长 度 用 |z | 来 表示 。 两 个 字符 串 zx 和 yy 的 连结 (concatenation) 用 zy 表示， 长 度 为 
|z| 十 |y|， 由 工 的 字符 后 接 y 的 字符 构成 。 

如 果 对 某 个 字符 串 y€ "有 z= 二 wy， 则 称 字符 串 w 是 字符 串 z 的 前 级， 记 作 wCx。 注 意 
HMR wor, Wlwl<lz|. Bh, MIRAE y Az =yw, WERE TE w 是 字符 串 
z 的 后 缀 ， 记 作 wie. MARK, MRwoz, Wlwl<lcl. WM, RIA abC abcca 和 
cca abcca。 空 字符 串 s 同时 是 任何 一 个 字符 串 的 前 级 和 后 级。 对 于 任意 字符 串 x 和 yy 以 及 任意 
Ffa, MHAL raya 时 ， 我 们 有 Iy. WER, 所 和 2 都 是 传递 关系 。 下 面 的 引 理 在 稍 后 


将 会 用 到 。 
引 理 32.105 RRR) 假设 zx，y 和 > 是 满足 zz pyle 的 字符 串 。 如 果 |z| 去 | y| ， 
那么 zx 了 y; 如 果 |z| 三 | y| ， 那 么 yIxr; 如 果 |z| 二 |y| ， 那 么 z= 二 y。 a 


证 明 见 图 32-3 中 的 图 示 证 明 。 





| | 

: ae =| By x 
E is 

»__ E ) E y 


(a) (b) Ce) 


PA 32-3 引 理 32. 1 的 图 形 证 明 。 (ec: 和 y 了 忆 z。 图 的 三 个 部 分 分 别 说 明 引 理 的 三 
种 情况 。 竖 线 连 接 字符 串 的 匹配 区 域 (用 阴影 表示 )。(a) 如 果 |zx| 三 |y|， 
Weoy. DMR) cl Sly!, Wyte. OMR|cl=|y!, Wr=y m 


为 了 使 符号 简洁 ， 我 们 把 模式 PLL .mj 的 由 & 个 字符 组 成 的 前 级 P[L1.. 妇 记 作 P;。 因 此 
Po=e, Pa=P=P(1..m). 与 此 类 似 ,我 们 把 文本 工 中 由 & 个 字符 组 成 的 前 缀 记 为 T;。 采 用 这 
种 记号 ， 我 们 能 够 把 字符 串 匹 配 问题 表述 为 : PRET A  sCO<s<n—m), 14 PAT me 

在 我 们 的 伪 代 码 中 ， 把 比较 两 个 等 长 字符 串 是 否 相等 的 操作 当做 操作 原 语 。 如 果 字 符 串 比 
较 是 从 左 到 右 进行 的 ， 并 且 当 遇 到 一 个 字符 不 匹配 时 ， 比 较 操 作 终 止 ， 则 可 以 假设 在 这 样 的 一 个 
检测 中 所 花费 的 时 间 是 关于 已 匹配 成 功 字符 数目 的 线性 函数 。 更 准确 地 说 ,假设 检测 “z= = 二 y” 
需要 时 间 OGHLI), HP t EREC 和 zCy 的 最 长 字符 串 z 的 长 度 。( 我 们 用 @(t 十 1) 而 不 是 
B@(z)， 是 为 了 更 好 地 处 理 二 0 的 情况 ;尽管 第 一 个 字符 比较 时 就 不 匹配 ， 但 是 在 运行 这 个 比较 
操作 时 仍然 花费 了 一 定 的 时 间 。) 


32. 1 朴素 字符 串 匹 配 算法 


朴素 字符 串 匹配 算法 是 通过 一 个 循环 找到 所 有 有 效 偏 移 ， 该 循环 对 "一 mm 十 1 个 可 能 的 * 值 进 
行 检测 ， 看 是 否 满足 条 件 P[1. .mj]==T[s 十 1.. s 十 mj]。 
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NAIVE-STRING-MATCHER(T, P) 

1 n=T. length 

2 m=P. length 

3 fors = 0ton—m 

4 if P[1..m] == T[st+1l..s+m] 

5 print “Pattern occurs with shift”s 

图 32-4 描绘 的 朴素 字符 串 匹 配 过 程 可 以 形象 地 看 成 一 个 包含 模式 的 “模板 ” 沿 文本 滑动 ， 同 
时 对 每 个 偏 移 都 要 检测 模板 上 的 字符 是 否 与 文本 中 对 应 的 字符 相等 。 第 3 一 5 行 的 for 循环 考察 
每 一 个 可 能 的 偏 移 。 第 4 行 的 测试 代码 确定 当前 的 偏 移 是 否 有 效 ; 该 测试 隐 含 着 一 个 循环 ， 该 循 
环 用 于 逐个 检测 对 应 位 置 上 的 字符 ， 直 到 所 有 位 置 都 能 成 功 匹 配 或 者 有 一 个 位 置 不 能 匹配 为 止 。 
第 5 行 用 于 打印 输出 每 一 个 有 效 偏 移 >。 


[alc[alalplcj [alelalalplej [alcfafa}e}c} Lalslalalale 
s=0 E s=l s=2 me s=3 
[af al» | [ala] fafa] | fal al») 
(a) (b) Cc) (d) 


图 32-4 朴素 字符 串 匹配 对 模式 P= aab 和 文本 T=acaabe 的 操作 。 可 以 把 已 想象 成 一 个 沿 着 正文 滑动 
的 “模板 "。(a) 一 (d) 为 4 个 连续 的 朴素 字符 串 匹 配 。 图 中 竖 线 连接 相应 匹配 区 域 (阴影 部 分 )， 
折线 连接 先 错误 匹配 的 字符 ， 如 果 是 的 话 。 在 位 移 :一 2 时 ， 找 到 匹配 的 模式 ， 见 图 (c) 


在 最 坏 情 况 下 ， 朴 素 字 符 串 匹配 算法 运行 时 间 为 O((n 一 m 十 1)m)。 例 如 ， 在 考察 文本 字符 
Ba" (一 串 由 2 个 a 组 成 的 字符 串 ) 和 模式 a 时 ， 对 偏 移 s 的 n 一 m 十 1 个 可 能 值 中 的 每 一 个 ， 在 
第 4 行 中 比较 相应 字符 的 隐 式 循环 必须 执行 m 次 来 确定 偏 移 的 有 效 性 。 因 此 ， 最 坏 情况 下 的 运 
行 时 间 是 @((n 一 m 十 1)m)， 如 果 m 二 Ln/2]， 则 运行 时 间 是 O(n?) 。 由 于 不 需要 预 处 理 ， 朴 素 字 
符 串 匹配 算法 运行 时 间 即 为 其 匹配 时 间 。 

我 们 将 会 看 到 ，NAIVE-STRING-MATCHER 并 不 是 解决 字符 串 匹配 问题 的 最 好 过 程 。 事 
实 上 ， 在 本 章 中 ， 我 们 将 会 发 现 Knuth-Morris-Pratt 算法 在 最 坏 情况 下 比 朴素 算法 好 得 多 。 这 种 
朴素 字符 串 匹 配 算法 效率 不 高 ， 是 因为 当 其 他 无 效 的 * 值 存在 时 ， 它 也 只 关心 一 个 有 效 的 * 值 ， 
而 完全 忽略 了 检测 无 效 s 值 时 获得 的 文本 的 信息 。 然 而 这 样 的 信息 可 能 非常 有 用 。 例 如 ， 如 果 
P 二 aaab 并 且 我 们 发 现 ;二 0 是 有 效 的 ， 由 于 T[4j 二 6， 那么 偏 移 1、2 或 3 都 不 是 有 效 的 。 在 后 续 
章节 中 ， 我 们 将 考察 能 够 充分 利用 这 部 分 信息 的 几 种 方法 。 


练习 

32. 1-1 试 说 明 当 模式 P=0001, 文本 T=000010001010001 时 ， 朴 素 字 符 串 匹配 所 执行 的 比较 。 

32. 1-2 假设 在 模式 P 中 所 有 字符 都 不 相同 。 试 说 明 如 何 对 一 段 n 个 字符 的 文本 本 加 速 过 程 
NAIVE-STRING-MATCHER 的 执行 速度 ， 使 其 运行 时 间 达 到 O(n)。 

32. 1-3 ”假设 模式 PP 和 文本 工 是 长 度 分 别 为 和? 的 随机 选取 的 字符 串 ， 其 字符 分 别 来 自 含 有 4 





个 元 素 的 字母 表 之 :一 {0，1，…，d 一 1)}， 其 中 d 宇 2。 证 明 朴素 算法 第 4 行 中 隐 含 的 循 
环 所 执行 的 字符 比较 的 预计 次 数 为 : 
La" 
(n—m+1) 二 <2(n—m+1) 


直到 这 次 循环 结束 。( 假 设 对 于 一 个 给 定 的 偏 黎 ， 当 有 一 个 字符 不 匹配 或 者 整个 模式 已 
被 匹配 时 ， 朴 素 算法 将 终止 字符 比较 .) 因 此， 对 任意 随机 选取 的 字符 串 ， 朴 素 算 法 都 是 
有 效 的 。 
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32.14 假设 允许 模式 P 中 包含 一 个 间隔 符 今 ， 它 可 以 和 任意 字符 串 匹 配 ( 甚 至 可 以 和 长 度 为 0 
的 字符 串 匹 配 ) 。 例 如 ， 模 式 abObaOc 在 文本 cabccbacbacab 中 的 出 现 为 
c ab co ba cha ce ab 
ab © bt © c 


c abccbac ba È ab 
= 一 、 一 一 一 一 一 = 一 一 一 
ab © ba G <3 
注意 ， 间 隔 符 可 以 在 模式 中 出 现任 意 次 ， 但 是 不 能 在 文本 中 出 现 。 给 出 一 个 多 项 式 时 间 


算法 ， 以 确定 这 样 的 模式 已 是 否 在 给 定 的 文本 T 中 出 现 ， 并 分 析 算 法 的 运行 时 间 。 


32.2 Rabin-Karp 算法 


在 实际 应 用 中 ，Rabin 和 Karp 所 提出 的 字符 串 匹配 算法 能 够 较 好 地 运行 ， 并 且 还 可 以 从 中 归纳 出 
相关 问题 的 其 他 算法 ， 比 如 二 维 模式 匹配 。Rabin-Karp 算法 的 预 处 理 时 间 是 Blm)， 并 且 在 最 坏 情 况 
下 ， 它 的 运行 时 间 为 8((n 一 m 十 1)m) 。 基 于 一 些 假设 ， 在 平均 情况 下 ， 它 的 运行 时 间 还 是 比较 好 的 。 

该 算法 运用 了 初等 数论 概念 ， 比 如 两 个 数 相对 于 第 三 个 数 模 等 价 。 如 果 想 要 了 解 相关 的 定 
义 ， 请 参照 31. 1 PHAR. 

为 了 便于 说 明 ， 假设 沁 = 二 {0，1，2,，…，9)}， 这 样 每 个 字符 都 是 十 进 制 数字 。( 在 通常 情况 
下 ， 可 以 假定 每 个 字符 都 是 以 d 为 基数 表示 的 数字 ， 其 中 d= | 之 | ) 我 们 可 以 用 长 度 为 的 十 进 
制 数 来 表示 由 个 连续 的 字符 组 成 的 字符 串 。 因 此 ， 字 符 串 31 415 对 应 着 十 进 制 数 31 415。 假 如 
输入 的 字符 既 可 以 看 做 是 图 形 符号 ， 也 可 以 看 做 是 数字 ， 那 么 在 本 节 中 我 们 会 发 现 ， 运 用 我 们 的 
标准 文本 字体 ， 把 它们 表示 为 数字 会 更 加 方便 。 

给 定 一 个 模式 PL1. .mj]， 假 设 p 表示 其 相应 的 十 进 制 值 。 类 似 地 ， 给 定 文本 T.. n], 假设 
上 表示 长 度 为 m 的 子 字符 串 T[s 十 1.. s 十 2] 所 对 应 的 十 进 制 值 ， 其 中 s 二 0，1，…，n 一 m。 当 
然 ， 只 有 在 TLs 十 1.. s 十 mj] 二 PL[1. .mj 时 ，z, 二 p。 如 果 能 在 时 间 8(m) 内 计算 出 p 值 ， 并 在 总 时 
E 8@(n 一 m 十 1) 内 计算 出 所 有 的 t, 值 * ， 那 么 通过 比较 p 和 每 一 个 1, 值 ， 就 能 在 @Cm) 十 8@(n 一 
m 十 1) 三 B(n) 时 间 内 找到 所 有 的 有 效 偏 移 s。( 目 前 ， 暂 不 考虑 pA t, 值 可 能 很 大 的 问题 。) 

我 们 可 以 运用 霍 纳 法 则 (参见 30. 1 节 ) 在 时 间 8(m) 内 计算 出 p: 

p = PLm]j 二 +10(P[m 一 1] 十 10(P[m 一 2] 十 … 十 10CP[2] 十 10P[1])…)) 
类 似 地 ， 也 可 以 在 8(m) 时 间 内 根据 TCL .mj 计算 出 的 值 。 

为 了 在 时 间 8@(n 一 m) 内 计算 出 剩余 的 值 i ，t; ，…，t,，， 我 们 需要 在 常数 时 间 内 根据 i, 计 

算出 ti， 因为 

tn = 10(z, 一 10™mT[Ls 十 1]) 十 TLs 十 mx 十 1] (32.:1) 
减 去 10" Ths +1 REM t 中 去 掉 了 高 位 数字 ， 再 把 结果 乘 以 10 就 使 得 数字 向 左 移动 一 个 数位 ， 
然后 加 上 TLs 十 m 十 1]， 则 加 入 一 个 适当 的 低位 数字 。 例 如 ， 如 果 m=5 并 且 上 一 31415， 那 么 我 
们 希望 能 够 去 掉 高 位 数字 TLs 十 1]==3， 并 且 加 入 新 的 低位 数字 (假设 是 T[s 十 5 十 1]==2)， 从 而 获 
得 : 

tı = 10(31415 — 1000. 3) +2 = 14152 

如 果 能 够 预先 计算 出 常数 10” : (用 31. 6 节 中 介绍 的 技术 ， 就 可 以 在 Og m) 的 时 间 内 完成 这 一 
计算 过 程 ， 但 对 于 这 个 应 用 ， 一 种 简便 的 运行 时 间 为 O(zz) 的 算法 就 足够 完成 任务 )， 则 每 次 执 


日 写 @(n 一 m 十 1) 而 不 是 Bln 一 m)， 是 因为 ;具有 nn 一 m 十 1 个 不 同 的 值 .“ 十 1” 是 为 了 突显 m=n 时 的 渐 近 意义 ， 
单 计 算 上 的 值 需 8(1) 时 间 ， 而 不 是 8(0) 时 间 。 
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行 式 (32. 1) 的 计算 时 ， 需 要 执行 的 算术 运算 的 次 数 为 常数 。 因 此 ， 可 以 在 时 间 8(zz) 内 计算 出 p» 
在 时 间 8(n 一 m 十 1) 内 计算 出 所 有 bos ths tos ots tem A. Arey Al Q@(m) 的 预 处 理 时 间 和 8 
(n 一 m 十 1) 的 匹配 时 间 找 到 所 有 模式 PLL. .mj 在 文本 TL1. .nj 中 出 现 的 位 置 。 

到 目前 为 止 ， 我 们 有 意 回避 的 一 个 问题 是 ，p 和 的 值 可 能 太 大 ， 导 致 不 能 方便 地 对 其 进行 操 
HE. WE PEBE m 个 字符 ,那么 关于 在 bn 数位 长 ) 上 的 每 次 算术 运算 需要 “常数 ”时 间 这 一 假设 就 不 
合理 了 。 幸 运 的 是 ， 我们 可 以 很 容易 地 解决 这 个 问题 ， 如 图 32-5 所 示 : 选取 一 个 合适 的 模 g 来 计算 p 
Al 的 模 。 我 们 可 以 在 8(mm) 的 时 间 内 计算 出 模 g 的 p 值 ,并且 可 以 在 Bln 一 m 十 1) 时 间 内 计算 出 模 g 
的 所 有 i 值 。 如 果 选 模 g 为 一 个 素数 ， 使 得 10g 恰好 满足 一 个 计算 机 字 长 ， 那 么 可 以 用 单 精 度 算术 运 


算 执 行 所 有 必需 的 运算 。 在 一 般 情况 下 ， 采 用 d 进 制 的 字母 表 {0，1，…，d 一 1} 时 ， 选 取 一 个 fA, 
使 得 dq 在 一 个 计算 机 字 长 内 ， 然 后 调整 递归 式 (32. 1)， 使 其 能 够 对 模 g 有效 ， 式 子 变 为 : 
tar = (d(t,— TLs+1]jh) 二 TL[s+m 二 1]) modg 632: 2) 


其 中 hd (mod gq) 是 一 个 具有 mm 数位 的 文本 窗口 的 高 位 数位 上 的 数字 1” 的 值 。 





旧 的 新 的 
高 数位 偏 移 低 数位 
\ 1 
14152 = (31415-3 + 10000) + 10+2(mod 13) 
= (7-3 - 3) + 10+2(mod 13) 
= 8(mod 13) 





(c) 


图 32-5 Rabin-Karp 算法 。 每 一 个 字符 都 是 一 个 十 进 制 数 ， 并 且 对 模 13 取 余 。(a) 一 个 文 
本 字符 串 。 长 度 为 5 的 窗口 被 标 上 了 阴影 ， 标 记 阴影 数字 的 数值 对 模 13 取 余 的 结 
果 为 7。(b) 一 个 相同 的 文本 字符 串 ， 对 长 度 为 5 的 窗口 的 每 一 个 可 能 位 置 ， 计 算 
出 它 对 13 取 余 的 数值 。 假 定 模式 P=31415， 由 于 31415 三 7Cmod13) ， 所 以 寻找 所 
有 对 模 13 取 余 为 7 的 窗口 。 该 算法 找到 两 个 与 之 对 应 的 窗口 ， 在 图 中 用 阴影 表示 
出 来 。 第 一 个 是 在 文本 的 位 置 7 处 开始 的 ， 最 后 验证 确实 为 模式 的 出 现 。 而 第 二 
个 是 在 文本 的 位 置 13 处 开始 的 ， 但 最 终 验证 为 伪 命 中 。(c) 已 知 前 一 个 窗口 的 值 ， 
如 何在 常数 时 间 内 计算 出 某 个 窗口 的 值 。 第 一 个 窗口 的 值 为 31415。 去 除 高 位 数字 
3， 往 左 移 ( 乘 以 10) ， 然 后 加 入 低位 数字 2 得 到 新 的 值 14152。 因 为 所 有 的 计算 都 
是 模 13 取 余 ， 所 以 第 一 个 窗口 的 值 是 7， 从 而 新 窗口 的 值 是 8 


但 是 基于 模 9 得 到 的 结果 并 不 完美 : *“ 反 如 (mod 9) 并 不 能 说 明 上 三 思 。 但 是 另 一 方面 ， 如 果 
tA p(mod q)， 那 么 可 以 断定 Ap, ATHE s 是 无 效 的 。 因 此 可 以 把 测试 4 三 pCmod q) 是 
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否 成 立 作 为 一 种 快速 的 启发 式 测试 方法 用 于 检测 无 效 偏 移 s。 任 何 满足 t= pCmod 9q) 的 偏 移 s 都 
需要 被 进一步 检测 ， 看 * 是 真 的 有 效 还 是 仅仅 是 一 个 伪 命 中 点 。 这 项 额外 的 测试 可 以 通过 检测 条 
件 PLD1..m] 二 TLs 十 1..s 十 mj 来 完成 ， 如果 g 足够 大 ， 那 么 这 个 伪 命 中 点 可 以 尽量 少 出 现 ， 从 而 


使 额外 测试 的 代价 降低 。 
下 面 的 过 程 准确 描述 了 上 述 思 想 。 过 程 的 输入 是 文本 T， 模 式 P， 使 用 基数 d( 其 典型 取 值 


为 | XU | ) 和 素数 q. 


RABIN-KARP-MATCHER(T, P,d,q) 
l n= T. length 

m = P. length 

h = d™"' modq 

p=0 

t=0 

fori = 1 tom // preprocessing 
p = (dp+P[i]) mod q 
to= (dt, +T[i}) mod q 


Coon of Oe WB DH 


for s = 0 ton—m // matching 
10 ifp==t, 
11 if P[1..m] == T[s+l..s+m] 
12 print“Pattern occurs with shift”s 
13 if s<n—m 
14 to, =(d(t,—TLst+1Jh )+T[s+m+1]) mod g 


RABIN-KARP-MATCHER 执行 过 程 如 下 。 所 有 的 字符 都 假设 是 d 进 制 的 数字 。 仅 为 了 说 明 
的 清楚 ， 给 1 添加 了 下 标 ， 去 除 所 有 下 标 不 会 影响 程序 运行 。 第 3 行 初始 化 m 位 窗口 中 高 位 上 的 
值 i。 第 4~8 行 计算 出 PCL .mj] modg 的 值 娟 ， 计 算出 T[1..m]modg 的 值 z。 第 9 一 14 ITH for 
循环 迭代 便利 了 所 有 可 能 的 偏 移 *， 保 持 如 下 的 不 变量 : 

第 10 行 无 论 何 时 执行 ,都 有 二 TLs 十 1..s 十 mj] mod q。 

如 果 在 第 10 行 中 有 p=t,( 一 个 “命中 点 ”)， 那 么 在 第 11 行 检测 是 否 PL1..mj==TLs 十 1..s 十 mj]， 
用 以 排除 它 是 伪 命 中 点 的 可 能 性 。 第 12 行 打印 出 所 有 找到 的 有 效 偏 移 。 如 果 ;二 n 一 m( 在 第 13 
行 中 检测 )， 则 至 少 再 执行 一 次 for 循环 ， 这 时 首先 执行 第 14 行 以 保证 再 次 执行 到 第 10 行 时 循环 
不 变 式 依然 成 立 。 第 14 行 直接 利用 等 式 (32.2)， 就 可 以 在 常数 时 间 内 由 二 mod q 的 值 计算 出 
t,+, mod 9g 的 值 。 

RABIN-KARP-MATCHER 的 预 处 理 时 间 为 6(m), 在 最 坏 情 况 下 ,， 它 的 匹配 时 间 是 
QB((n 一 m 十 1)m)， 因 为 Rabin-Karp 算 法 和 朴素 字符 串 匹配 算法 一 样 ， 对 每 个 有 效 偏 移 进 行 显 式 
验证 。 如 果 P=a" HHT =a, HE n—m+1 个 可 能 的 偏 移 中 每 一 个 都 是 有 效 的 ， 则 验证 所 
需 的 时 间 为 8((n 一 m 十 1)m)。 

在 许多 实际 应 用 中 ， 我 们 希望 有 效 偏 移 的 个 数 少 一 些 ( 如 只 有 常数 < 个 )。 在 这 样 的 应 用 中 ， 
加 上 处 理 伪 命中 点 所 需 时 间 ， 算 法 的 期 望 匹配 时 间 为 O((C" 一 mm 十 1) 十 cx) 一 OOz 十 mm) 。 减 少 模 9 
的 值 就 如 同 从 之 " 到 Z 上 的 一 个 随机 映射 ,基于 这 个 假设 ， 可 以 对 算法 进行 启发 式 分 析 。( 参 见 
11. 3. 1 节 中 对 散 列 除法 的 讨论 ， 要 正规 证 明 这 个 假设 是 比较 困难 的 , 但 是 有 一 种 可 行 的 方法 ， 
就 是 假设 g 是 从 适当 大 的 整数 中 随机 得 出 的 ， 我 们 在 此 将 不 继续 纠缠 形式 化 的 问题 。) 然 后 我 们 能 
够 预计 伪 命 中 的 次 数 为 O(n/q)， 因 为 可 以 估计 出 任意 的 t 模 gq 的 余数 等 价 于 zp 的 概率 为 1/q。 因 
为 第 10 行 中 的 测试 会 在 O(z) 个 位 置 上 失败 ， 且 每 次 命中 的 时 间 代 价 是 On), We, Rabin- 
Karp 算法 的 期 望 运行 时 间 为 : 

Oln) 十 OCz(C 十 ?zz/g)) 
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其 中 是 有 效 偏 移 量 。 如 果 v==O(1) 并 且 gq 三 m， 则 这 个 算法 的 运行 时 间 是 O(n)。 也 就 是 说 ， 如 
果 期 望 的 有 效 偏 移 量 很 少 (O(1)) ， 而 选取 的 素数 a 大 于 模式 的 长 度 ， 则 可 以 估计 Rabin-Karp 算 
法 的 匹配 时 间 为 O(" 十 zz) ， 由 于 mn， 这 个 算法 的 期 望 匹 配 时 间 是 O(n)。 


练习 


32.2-1 ”如 果 模 g==11， 那 么 当 Rabin-Karp 匹配 算法 在 文本 T=3 141 592 653 589 793 中 搜寻 模 
式 P=26 时 ,会 遇 到 多 少 个 伪 命 中 点 ? 

32.2-2 ”如 何 扩展 Rabin-Karp 算法 ， 使 其 能 解决 如 下 问题 ， 如 何在 文本 字符 串 中 搜寻 出 给 定 的 & 
个 模式 中 的 任何 一 个 出 现 ? 起 初 假 设 所 有 个 模式 都 是 等 长 的 ， 然 后 扩展 你 的 算法 以 适 
用 于 不 同 长 度 的 模式 。 

32. 2-3 ” 试 说 明 如 何 扩 展 Rabin-Karp 算法 用 于 处 理 以 下 问题 : 在 一 个 nXn 的 二 维 字符 数组 中 搜 
R— BEN m Xm 的 模式 。( 该 模式 可 以 在 水 平方 向 和 垂直 方向 移动 ， 但 是 不 可 以 
旋转 。) 

32.2-4 Alice 有 一 份 很 长 的 ?位 文件 复印 件 A = lanis ans ts ao), Bob 也 有 一 份 类 似 的 文 
件 B=(b- ，p-，…，b)。Alice 和 Bob 都 希望 知道 他 们 的 文件 是 否 一 样 。 为 了 避免 
传送 整个 文件 A 或 B， 他 们 运用 下 列 快速 的 概率 检查 方法 。 他 们 共同 选择 一 个 素数 > 
1000n， 并 从 {0，1，…. 9 一 1} 中 随机 选取 一 个 整数 zx。 然 后 ，Alice 求 出 


A(x) = E mod q 
i=0 


的 值 ，Bob 也 用 类 似 方法 计算 出 B(xz)。 证 明 : WR ASB, Ml A(z)= 二 B(xz) 的 概率 至 多 
为 1/1000; 如 果 两 个 文件 相同 ， 则 A(z) 的 值 必定 等 于 B(z) 的 值 。( 提 示 : 参见 练习 
31. 4-4.) 


32.3 利用 有 限 自动 机 进行 字符 串 匹 配 


很 多 字符 串 匹配 算法 都 要 建立 一 个 有 限 自 动机 ， 它 是 一 个 处 理 信 息 的 简单 机 器 ， 通 过 对 文 
本 字符 串 工 进行 扫描 ， 找 出 模式 P 的 所 有 出 现 位 置 。 本 节 将 介绍 一 种 建立 这 样 自动 机 的 方法 。 
这 些 字符 串 匹 配 的 自动 机 都 非常 有 效 : 它们 只 对 每 个 文本 字符 检查 一 次 ， 并 且 检 查 每 个 文本 字 
符 时 所 用 的 时 间 为 常数 。 因 此 ， 在 模式 预 处 理 完成 并 建立 好 自动 机 后 进行 匹配 所 需要 的 时 间 为 
@Gz) 。 但 是 ， 如 果 之 很 大 ， 建 立 自动 机 所 需 的 时 间 也 可 能 很 多 。32. 4 节 将 描述 解决 这 个 问题 的 
一 种 巧妙 方法 。 

本 节 首 先 定义 有 限 自 动机 。 然 后 ， 我 们 要 考察 一 种 特殊 的 字符 串 匹配 自动 机 ， 并 展示 如 何 利 
用 它 找 出 一 个 模式 在 文本 中 的 出 现 位 置 。 最 后 ， 我 们 将 说 明 对 一 个 给 定 的 输入 模式 ， 如 何 构造 相 
应 的 字符 串 匹 配 自动 机 。 

有 限 自动 机 

如 图 32-6 所 示 ， 一 个 有 限 自 动机 M 是 一 个 5 元 组 (Q，q% ，A， 之 ，9) Hp: 

。 Q 是 状态 的 有 限 集合 。 

。 qdEQ 是 初始 状态 。 

”ASQ 是 一 个 特殊 的 接受 状态 集合 。 

。 之 是 有 限 输入 字母 表 。 

。 9 是 一 个 从 QX 之 到 QK, A M 的 转移 函数 。 

有 限 自动 机 开始 于 状态 g。， 每 次 读 入 输入 字符 串 的 一 个 字符 。 如 果 有 限 自 动机 在 状态 q 时 读 
入 了 字符 a， 则 它 从 状态 g 变 为 状态 5(q，a) (进行 了 一 次 转移 )。 每 当 其 当前 状态 q 属于 A 时 ， 
就 说 自动 机 M 接受 了 迄今 为 止 所 读 人 的 字符 串 。 没 有 被 接受 的 输入 称 为 被 拒绝 的 输入 。 
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(a) (b) 


图 32-6 一 个 拥有 状态 集 Q={0，1) 的 简单 两 状态 自动 机 ， 开 始 状 态 go 二 0， 并 且 
输入 字母 表 必 = 二 {a，b}) 。(a) 用 表格 表示 的 转移 函数 8。(b) 一 个 等 价 的 状 
态 转换 图 。 状 态 1( 被 涂 黑 了 ) 是 唯一 的 接受 状态 。 有 向 边 代表 着 转换 。 例 
如 ， 从 状态 1 到 状态 0 的 标 有 b 的 边 表示 6(1，b) = 二 0。 这 个 自动 机 接受 
那些 以 奇数 个 a 结尾 的 字符 串 。 更 确切 地 说 ， 一 个 字符 串 x 被 接受 ， 当 
且 仅 当 z=yz， 其 中 y=e 或 者 y 以 一 个 b 结 尾 ， 并 且 z= 二 a ， 这 里 人 是 奇 
数 。 例 如 ， 对 于 输入 abaaa， 包 括 初始 状态 ， 这 个 自动 机 输入 状态 序列 为 
(0，1，0，1，0，1?， 因 而 它 接 受 这 个 输入 。 如 果 输 入 是 abbaa， 自 动机 
输入 状态 序列 为 (0，1，0，0，1，0)， 因 而 它 拒绝 这 个 输入 


有 限 自动 机 M 引入 一 个 函数 5， 称 为 终 态 函数 ， 它 是 从 "到 Q 的 函数 ， 满 足 pw) M 在 
HFFR w 后 终止 时 的 状态 。 因 此 ， 当 且 仅 当 $(w) EA 时，M 接受 字符 串 w。 我 们 可 以 用 转 
移 函 数 递 归 定 义 $: 

$(e)=qQo> 
$(wa)=d(¢(w),a), WED aED 

字符 串 匹配 自动 机 

对 于 一 个 给 定 的 模式 已 ， 我 们 可 以 在 预 处 理 阶 段 构 造 出 一 个 字符 串 匹 配 自动 机 ， 根 据 模 式 构 
造 出 相应 的 自动 机 后 ， 再 利用 它 来 搜寻 文本 字符 串 。 图 32-7 说 明了 用 于 匹配 模式 P=ababaca 的 
有 限 自 动机 的 构造 过 程 。 从 现在 开始 ， 假 定 P 是 一 个 已 知 的 固定 模式 。 为 了 使 说 明 简 洁 ， 在 下 
面 的 符号 中 将 不 指出 对 PP 的 依赖 关系 。 

为 了 详细 说 明 与 给 定 模式 PL1. . mj] 对 应 的 字符 串 匹 配 自动 机 ， 首 先 定义 一 个 辅助 函数 o， 称 
为 对 应 PP 的 后 缀 函数 。 函 数 o 是 一 个 从 * 到 {0，1，…，m)} 上 的 映射 ,满足 o(z) 是 工 的 后 缀 P 
的 最 长 前 缀 的 长 度 : 

o(x)=max{k:; P, Dx} (32. 3) 
因为 空 字符 串 Poe 是 每 一 个 字符 串 的 后 级 ， 所 以 后 缀 函数 o 是 良 定 义 的 。 例 如 ， 对 模式 P= 
ab， 有 o(e) 二 0，o(ccaca) 二 1]，o(ccab) 二 2。 对 于 一 个 长 度 为 m MRRP, oD=m HAPI 
ZX。 根据 后 级 函数 的 定义 : WMR Iy, W ol). 

给 定 模式 PL1..m]， 其 相应 的 字符 串 匹 配 自动 机 定义 如 下 : 

。 状态 集合 Q@ 为 {0，1，…，m}。 开 始 状 态 qo 是 0 状态 ， 并 且 只 有 状态 m 是 唯一 被 接受 的 

。 对 任意 的 状态 q AS a, FB RBM OE UF: 

6(q,a) = o( Pa) (32. 4) 

我 们 定义 8(qg，a)=cCP,a)， 目 的 是 记录 已 得 到 的 与 模式 P 匹配 的 文本 字符 串 T 的 最 长 前 
缀 。 考 虑 最 近 一 次 扫描 工 的 字符 。 为 了 使 工 的 一 个 子 串 (以 T[ 忆 结尾 的 子 串 ) 能 够 和 PP 的 某 些 前 
RP; 匹配 ， 前 级 P, 必须 是 T; SAER. BESAT), BAERE T: 之 后 ， 自 动机 处 在 状 
AS 4。 设 计 转 移 函 数 $， 使 用 状态 数 q 表示 PP 的 前 缀 和 TT; 后 级 的 最 长 匹配 长 度 。 也 就 是 说 ， 在 处 
FRA CN, P,IT; FFA g=0(T,). (GH gamit, WMA P 的 m 个 字符 都 和 TT; 的 一 个 后 缀 匹 
配 ， 从 而 得 到 一 个 匹配 ,) 因 此 ， 由 于 $8(T;) 和 ol(T;) 都 和 gq 相等 ， 我们 将 会 看 到 (在 后 续 的 定理 
32.4 中 ) 自 动机 保持 下 列 等 式 成 立 : 
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g& TD) = of T;) (32. 5) 
如 果 自 动机 处 在 状态 g 并 且 读 人 下 一 个 字符 T[i 十 1] 二 a， 那 么 我 们 希望 这 个 转换 能 够 指向 Tia 
的 后 级 状态， 它 对 应 着 P 的 最 长 前 级 ， 并 且 这 个 状态 是 oC(Tia)。 由 于 P, 是 P 的 最 长 前 级 ， 也 就 
是 T 的 一 个 后 级 ， 那 么 的 最 长 前 级 也 就 是 Tia 的 一 个 后 级 ， 不 仅 表示 为 oTa), ERRAK 
o( Pa). (51% 32.3 证 明了 ol(Tia) 二 ol(Pya)。) 因 此 ， 当 自动 机 处 在 状态 g 时 ， 我 们 希望 这 个 在 字 
符 a 上 的 转移 函数 能 使 自动 机 转移 到 状态 o(Pya)。 





图 32-7 (a) 一 个 字符 串 匹 配 自 动机 的 状态 转换 图 ， 它 可 以 接受 所 有 以 字符 串 ababaca 
结尾 的 字符 串 。 状 态 0 是 初始 状态 ， 状 态 7( 被 涂 黑 ) 是 仅 有 的 接受 状态 。 从 
状态 i 到 状态 j}， 标 有 a 的 有 向 边 表示 6(i，a) 一)。 形 成 自动 机 “ 肴 ”的 右 向 
边 ， 在 图 中 加 重 了 颜色 ， 对 应 着 模式 和 输入 字符 串 之 间 的 成 功 匹 配 。 除 了 从 
状态 7 到 状态 1 和 2 的 边 外 ， 向 左 指 的 边 对 应 着 失败 的 匹配 。 一 些 表示 匹配 
失败 的 边 并 没有 标记 出 来 ; 通常 ， 如 果 状 态 i 对 某 个 a€ 没有 对 应 a 的 出 
边 ， 则 8(i，a) 二 0。(b) 对 应 的 转移 函数 6 和 模式 字符 串 已 =ababaca。 模 式 和 
输入 之 间 的 成 功 匹 配 被 标 上 了 阴影 。(c) 自动 机 在 文本 T=abababacaba 上 的 
操作 。 在 处 理 了 前 缀 T 之 后 ， 在 每 个 文本 字符 TIER. ATER AS 
机 内 的 状态 #(T;)。 自 动机 找到 该 模式 的 一 个 出 现 ， 以 位 置 9 结尾 


考虑 以 下 两 种 情况 。 第 一 种 情况 是 ，a 二 PLg 十 1]， 使 得 字符 a 继续 匹配 模式 。 在 这 种 情况 
下 ， 由 于 6(g，a) 二 gq 十 1， 转 换 沿 着 自动 机 的 “主线 ”( 图 32-7 中 的 粗 边 ) 继 续 进 行 。 第 二 种 情况 ， 
a 关 PLgq 十 1]， 使 得 字符 a 不 能 继续 匹配 模式 。 这 时 我 们 必须 找到 一 个 更 小 的 子 串 ， 它 是 的 前 
级 同时 也 是 T: 的 后 级 。 因 为 当 创 建 字符 串 匹 配 自 动机 时 ， 预 处 理 匹配 模式 和 自己 ,转移 函数 很 
快 就 得 出 最 长 的 这 样 的 较 小 前 级。 

让 我 们 看 一 个 例子 。 图 32-7 的 字符 串 匹 配 自 动机 有 5C45，c) 二 6， 说明 其 是 第 一 种 情况 ， 匹 
配 继续 进行 。 为 了 说 明 第 二 种 情况 ， 观 察 图 32-7 中 的 自动 机 ， 有 65(5，6) = 二 4。 我 们 选择 这 个 转 
换 的 原因 是 如 果 自 动机 在 g==5 状态 时 读 到 一 个 b， 那 么 P,b=ababab, FF H P 的 最 长 前 缀 也 是 
ababab 的 后 级 P, =abab, 

为 了 清楚 说 明 字 符 串 匹配 自动 机 的 操作 过 程 ， 我 们 给 出 一 个 简单 而 有 效 的 程序 ， 用 来 模拟 
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这 样 一 个 自动 机 (用 它 的 转移 函数 6 来 表示 )， 在 输入 文本 T[1..n] 中 ， 和 寻找 长 度 为 m 的 模式 P 
的 出 现 位 置 。 如 同 对 于 m 长 模式 的 任意 字符 串 匹 配 自 动机 ， 状 态 集 Q 为 {0，1，…，m}， 初 始 状 
态 为 0， 唯 一 的 接受 状态 是 mm。 

FINITE-AUTOMATON-MATCHER(T, 84m) 

l n= T. length 

2 q=0 

3 fori =lton 
4 q = 6 (q Til) 
5 ifg==m 
6 print“ Pattern occurs with shift”i—m 

从 FINITE-AUTOMATON-MATCHER 的 简单 循环 结构 可 以 看 出 ， 对 于 一 个 长 度 为 n 的 文 
本 字符 串 ， 它 的 匹配 时 间 为 8(n)。 但 是 ， 这 一 匹配 时 间 没 有 包括 计算 转移 函数 6 所 需要 的 预 处 
理 时 间 。 我 们 将 在 证 明 FINITE-AUTOMATON-MATCHER 的 正确 性 以 后 ， 再 来 讨论 这 一 问题 。 

考察 自动 机 在 输入 文本 T[1..n] 上 进行 的 操作 。 下 面 将 证 明 自 动机 扫 过 字符 Tila, HAR 
态 为 o(T;)。 因 为 当 且 仅 当 PT;,，o(T;) 二 m。 所 以 当 且 仅 当 模式 P 被 扫描 过 之 后 自动 机 处 于 接 
受 状态 m。 为 了 证 明 这 个 结论 ， 要 用 到 下 面 两 条 关于 后 缀 函数 a 的 引 理 。 

引 理 32. 2( 后 级 函数 不 等 式 ) ”对 任意 字符 串 x Ho FH a, oltra) Kol) +1, 

证 明 ”参照 图 32-8, 设 r==o(xza)。 如 果 r= 二 0， 则 根据 o(zx) 非 负 ，o(za) 二 rol(z) 十 1 显然 成 
立 。 于 是 现在 假定 r>0, BH o EX. A P, Izra, RU, 把 a P, 与 xa 的 末尾 去 掉 后 ， 得 到 
Pox, Alt, r—-l<o(z), AA oe) EWE Pz 的 最 大 的 & 值 ， 所 以 cza) 王 rcCz) 十 1。 m 


x 


a 


D 
me Ee 
ER AE 


图 32-8 描述 了 引 理 32. 2 的 证 明 。 图 中 显示 rola) +1, HEP 一 cCza) 


引 理 32. 3( 后 缀 函数 递归 引 理 ) 对 任意 工 和 字符 w， 若 g 二 ol(X)， 则 o(xa)=o(P,a). 

证 明 根据 c HEN, A P, Ix. WA 32-9 ta, A Para, Gi r=ol(2za), WP, 
za， 并 由 引 理 32. 2 知 ，r 和 十 1。 因 此 可 得 | P,| =r<qt+1=|P,a|. AX P,a Dra MP, Oza 
并 且 |P,| 志 |P,a|， 所 以 由 引 理 32.1 可 知 P, P,a. W4 r<o(P,a), Bl o(xa)<o(P,a). 
但 由 于 Para, RUA o(P,a)<o(xa), MWMW o(P,a)=o(za). B 

现在 我 们 就 可 以 来 证 明 用 于 描述 字符 串 匹 配 自 动机 在 给 定 输入 文本 上 操作 过 程 的 主要 定理 
了 。 如 上 所 述 ， 这 个 定理 说 明了 自动 机 在 每 一 步 中 仅仅 记录 所 读 人 字符 串 后 缀 的 最 长 前 级 。 换 名 
话说 ， 自 动机 保持 着 不 变 式 (32. 5) 。 





32-9 描述 了 引 理 32. 3 的 证 明 。 图 中 显示 r= 二 o(P,a)， 其 中 g=o(z) 和 r==o(xza) 


第 32 章 字符 串 匹配 。 587 


定理 32.4 如 果 多 是 字符 串 匹 配 自动 机 关于 给 定 模式 忆 的 终 态 函数 ，T[1..nj] 是 自动 机 的 输 
AXA, MIti=0, 1, +, n, $(T;)=0(T;). 
证 明 ”对 i 进行 归纳 。 对 i 二 0， 因 为 二 e， 定 理 显然 成 立 。 因 此 只 To) 王 0 一 cCTo)。 
现在 假设 $(T;) =0(T;), HWE $T) =o (Ti). 设 q 表示 $(T;), a 表示 Tli+1], 
那么 ， 
HT) = Ta) (根据 Ti 和 a 的 定义 ) 
二 6($(T;),a) RHE $ HE XO) 
= 6(q,a) (根据 q 的 定义 ) 
=o(P,a) (根据 式 (32.4) 关于 8 的 定义 ) 
= o(T,a) (根据 引 理 32. 3 和 归纳 假设 ) 
= 0 (Ty) (根据 Tin 的 定义 ) 
根据 定理 32. 4， 如 果 自 动机 在 第 4 行进 入 状态 g， 则 q EWE P, IT, 的 最 大 值 。 因 此 , 在 
第 5 行 有 9 二 m， 当 且 仅 当 自动 机 刚刚 扫描 了 模式 P 在 文本 中 的 一 次 出 现 位 置 。 于 是 可 以 得 出 结 
论 ，FINITE-AUTOMATON-MATCHER 可 以 正确 地 运行 。 a 
计算 转移 函数 
下 面 的 过 程 根据 一 个 给 定 模 式 PL1. .mj 来 计算 转移 函数 6。 
COMPUTE-TRANSITION-FUNCTION(P, ©) 
1 m=P. length 
2 forg = 0tom 
3 for each charater a€ X 
4 k = min (m+1,q+2) 
5 repeat 
6 k=k—-1 
7 until Pi J] P,a 
8 G(qy,a) 一 人 
9 return 9 


这 个 过 程 根据 在 式 (32. 4) 中 的 定义 直接 计算 q, a), EMAR 2 行 和 第 3 ITA RR 
中 ， 要 考察 所 有 的 状态 9 和 字符 a。 第 4~8 行 把 6(q，a) 置 为 满足 PIP, 的 最 大 的 &。 代 码 从 
k 的 最 大 可 能 值 minC(m，q 十 1) 开 始 。 随 着 过 程 的 执行 ,& Awww, HEP, IP, Xe 
然 会 发 生 ， 因 为 P=: 是 每 个 字符 串 的 一 个 后 级。 

COMPUTE-TRANSITION-FUNCTION 的 运行 时 间 为 OCmi | 1 )， 因 为 外 循环 提供 了 一 个 
AF m| El, WEH repeat 循环 至 多 执行 m 十 ! 次 ， 而 第 7 行 的 测试 P, IP, a 需要 比较 m 个 字 
符 。 还 存在 速度 更 快 的 程序 。 如 果 能 够 利用 精心 计算 出 的 模式 已 的 有 关 信 息 ( 见 练习 32. 4-8)， 
则 根据 已 计算 出 $ 所 需要 的 时 间 可 以 改进 为 Olm| |)。 如 果 用 改进 后 的 过 程 来 计算 $， 则 对 字 
母 表 交 ， 我 们 能 够 找 出 长 度 为 m 的 模式 在 长 度 为 n 的 文本 中 的 所 有 出 现 位置 ， 这 和 需要 OCm| |) 
的 预 处 理 时间 和 8B(n) 的 匹配 时 间 。 


练习 

32.3-1 对 模式 P= aabab 构造 出 相应 的 字符 串 匹 配 自动 机 ， 并 说 明 它 在 文本 字符 串 T= 
aaababaabaababaab 上 的 操作 过 程 。 

32.3-2 ”对 字母 表 之 王 {a，b} ， 画 出 与 模式 ababbabbababbababbabb 对 应 的 字符 串 匹 配 自动 机 的 
状态 转换 图 。 

32.3-3 如果 由 P,OP, 导出 & 二 0 或 k 二 q， 则 称 模式 P 是 不 可 重 琶 的 。 试 描述 与 不 可 重 释 模式 
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相应 的 字符 串 匹 配 自动 机 的 状态 转换 图 。 

*32.3-4 已 知 两 个 模式 P 和 P'， 试 描述 如 何 构造 一 个 有 限 自动 机 ， 使 之 能 确定 其 中 任意 一 个 模 
式 的 所 有 出 现 位 置 。 尽 量 使 自动 机 的 状态 数 最 小 。 

32.3-5 ”给 定 一 个 包括 间隔 字符 (参见 练习 32. 1-4) 的 模式 P， 说明 如 何 构 造 一 个 有 限 自动 机 ， 使 
其 在 O(n) 的 时 间 内 找 出 卫 在 文本 TT 中 的 一 次 出 现 位置 ， FE n= | TI 。 


-32.4 Knuth-Morris-Pratt 算法 


现在 来 介绍 一 种 由 Knuth, Morris 和 Pratt 三 人 设计 的 线性 时 间 字 符 串 匹配 算法 。 这 个 算法 
无 需 计 算 转移 函数 6， 匹配 时 间 为 9(z) ， 只 用 到 辅助 函数 x， 它 在 8(m?) 时 间 内 根据 模式 预先 计 
算出 来 ， 并 且 存 储 在 数组 [1. .mj 中。 数组 «使 得 我 们 可 以 按 需 要 “即时 ”有 效 地 计算 (在 挫 还 
意义 上 来 说 ) 转 移 函 数 6。 粗略 地 说 ， 对 任意 状态 9 二 0，1，…，m 和 任意 字符 aed, alg] 
值 包含 了 与 a 无 关 但 在 计算 5(gq，a) 时 需要 的 信息 。 由 于 数组 x 只 及 个 元 素 , 而 6 有 Blm| El) 
个 值 ， 所 以 通过 预先 计算 x 而 不 是 $S， 可 以 使 计算 时 间 减 少 一 个 之 因子 。 

关于 模式 的 前 缀 函数 

模式 的 前 级 函数 x 包含 模式 与 其 自身 的 偏 移 进行 匹配 的 信息 。 这 些 信息 可 用 于 在 朴素 的 字符 
串 匹 配 算法 中 避免 对 无 用 偏 移 进行 检测 ， 也 可 以 避免 在 字符 串 匹 配 自动 机 中 ， 对 整个 转移 函数 6 
的 预先 计算 。 

考察 一 下 朴素 字符 串 匹 配 算法 的 操作 过 程 。 图 32-10(a) 展 示 了 一 个 针对 文本 本 模板 的 一 个 
特定 偏 移 ;， 该 模板 包含 模式 P= 二 ababaca。 在 这 个 例子 中 ，g==5 个 字符 已 经 匹配 成 功 ， 但 模式 的 
第 6 个 字符 不 能 与 相应 的 文本 字符 匹配 。g 个 字符 已 经 匹配 成 功 的 信息 确定 了 相应 的 文本 字符 。 
已 知 的 这 g 个 文本 字符 使 我 们 能 够 立即 确定 某 些 偏 移 是 无 效 的 。 在 该 图 的 实例 中 ， 偏 移 ;十 1 必 
然 是 无 效 的 ， 因 为 模式 的 第 一 个 字符 (a) 将 与 文本 字符 匹配 ， 该 文本 字符 已 知 不 能 和 模式 的 第 一 
个 字符 匹配 ， 但 是 却 能 与 模式 的 第 二 个 字符 (b) 匹 配 。 在 图 32-10(b) 所 示 的 偏 移 "一 * 十 2 使 模式 前 
面 三 个 字符 和 相应 三 个 文本 字符 对 齐 后 必定 会 匹配 。 在 一 般 情 况 下 ， 知 道 下 列 问题 的 答案 将 是 
很 有 用 的 : 





图 32-10 MARK x. (a) KES P=ababaca 和 文本 开平 行 摆 放 ， 使 得 前 g==5 个 字符 匹配 。 
匹配 的 字符 被 打上 阴影 且 用 垂直 线 连接 。(b) 根 据 5 个 匹配 字符 的 已 有 信息 ， 可 
以 推 知 s 十 1 的 偏 移 是 无 效 的 ,但 是 ; =s +2 的 偏 移 与 我 们 对 文本 的 了 解 一 致 ， 
因而 可 能 是 有 效 的 。(c) 推 导 中 使 用 的 有 用 信息 可 以 通过 模式 自身 的 比较 来 预计 
算 。 这 里 ， 我 们 发 现 Ps 是 忆 的 最 长 前 缀 同时 也 是 Ps 的 一 个 真 后 级 。 这 些 信 息 
被 预先 计算 出 来 ， 并 用 数组 x 来 表示 ， 即 x5 J=3. EWE s Aq 个 字符 成 功 匹 
配 ， 则 下 一 个 可 能 有 效 的 偏 移 为 ;==s 十 (g 一 x[qj)， 正 如 在 (b) 中 所 示 


假设 模式 字符 PLL . gj 与 文本 字符 TLs 十 1..s 十 qj 匹配 ，s ERDHE, s>s, AX 
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某 些 R<q, WE 
P{1..&] = TÜs 十 1..s +k] (32. 6) 
的 最 小 偏 移 s>s 是 多 少 ， 其 中 s’+k=st+q? 

MTB, CAP, Tao RNB P, 的 最 长 真 前 级 P, 也 是 T,;, 的 后 级 。( 由 于 s +k= 
s 十 g， 如 果 给 出 s 和 g， 那 么 找到 最 小 偏 移 s' 等 价 于 找到 最 长 前 级 的 长 度 &。) 我 们 把 在 P 前 缀 长 度 
范围 内 的 差 值 9 一 k 加 入 到 偏 移 ; 中 ， 用 于 找到 新 的 偏 移 ; ,使 得 s 二 s 十 (g 一 k)。 在 最 好 情况 下 ， 
& 一 0， 因 此 * 一 * 十 49， 并 且 立 刻 能 得 出 偏 移 s 十 1，s 十 2，…，s 十 gq 一 1。 在 任何 情况 下 ， 对 于 新 的 
WE s FERGIE 已 的 前 & 个 字符 与 工 中 相应 的 字符 进行 比较 ， 因 为 等 式 (32. 6) 已 经 保证 它们 肯 
定 匹 配 。 

可 以 用 模式 与 其 自身 进行 比较 来 预先 计算 出 这 些 必要 的 信息 ， 如 图 32-10(c) 所 示 。 由 于 
TLs' 十 1..s' 十 &] 是 文本 中 已 经 知道 的 部 分 ， 所 以 它 是 字符 串 P, 的 一 个 后 级。 可 以 把 等 式 (32. 6) 
解释 为 要 求 满足 PIP, 的 最 大 的 & 二 g。 于 是 ， 这 个 新 的 偏 移 ;二 s 十 (gq 一 &) 就 是 下 一 个 可 能 的 有 
效 偏 移 。 我 们 将 会 发 现 ， 对 每 一 个 g 值 ， 把 已 匹配 字符 数目 存储 在 新 的 偏 移 s"( 而 不 是 一;) 中 


是 比较 方便 的 。 
下 面 是 预计 算 过 程 的 形式 化 说 明 。 已 知 一 个 模式 PU. m], 模式 P 的 前 级 函数 是 函数 
T: {Ls 25 ee; m)—{0, 1, se, m—l1}, 满足 


nlg] = max{k:k<q HP, IP,} 
即 xLg] 是 P, 的 真 后 级 P 的 最 长 前 缀 长度。 又 例如 ， 图 32-11(a) 中 给 出 了 关于 模式 ababaca 的 完 
整 前 级 函数 r。 








- P | abaca x[3]=1 
|L213|4|5|6|7| : 
Pij blalc : 
Py eia babaca z[1]=0 
ate EBT | 
(a) 


(b) 


图 32-11 对 模式 P=ababaca 和 q=5 应 用 引 理 32.5 的 描述 。(a) 给 定 模 式 的 x 函数 。 因 为 xL5]=3，x[3]=1 
Al eL1J=0, 通过 迭代 不 得 到 x*[5]= 二 {3，1，0}。(b) 将 包含 模式 P 的 模板 向 右 移动 ， 并 注意 何 
Ht P INA P: 与 Ps 的 某 真 后缀 匹配， 在 k= 二 3，1 和 0 时 匹配 。 图 中 第 一 行 给 出 了 P, KEH 
线 就 画 在 Ps 后 。 相 继 的 几 行 显示 所 有 P 的 偏 移 ， 使 得 P HEMA P 与 Ps 的 某 后 缀 匹配 。 成 功 
匹配 的 字符 被 打上 了 阴影 。 垂 直线 连接 了 并 列 的 匹配 字符 。 因 此 ，{&A: kg H PC P:} 王 (3，1， 
0}。 引 理 32.5 要 求 对 所 有 q A n" [gj=={&: k<gq 且 PiCP,} 


下 面 给 出 的 Knuth-Morris-Pratt 匹配 算法 的 伪 代 码 就 是 KMP-MATCHER 过 程 。 我 们 将 看 
到 ， 其 大 部 分 都 是 在 模仿 FINITE-AUTOMATON-MATCHER, KMP-MATCHER 调用 了 一 个 
辅助 程序 COMPUTE-PREFIX-FUNCTION 来 计算 x. 


KMP-MATCHER(T, P) 


1 n=T. length 

2 m=P. length 

3 x=COMPUTE-PREFIX-FUNCTION(P) 

4 q=0 // number of characters matched 
5 for i=1 ton // scan the text from left to right 
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6 while g>0 and PL q+1J4T(i] 

7 g=x[Lg] // next character does not match 
8 if P[g+1] == T[i] 

9 q=qtl // next character matches 
10 ifg==m // is all of P matched? 


11 print “Pattern occurs with shift” i—m 
12 4 一 rL9] // look for the next match 


COMPUTE-PREFIX-FUNCTION(P) 
m= P. length 


_ 


let x[1..m] be a new array 
x[1]=0 
k=0 
for g=2 to m 
while £>0 and P[k+1]4P{q] 
k=x[k] 
if P[k+1]==P[Lg] 
k=k+1 
10 nLgJ=k 
ll return x 


这 两 个 程序 有 很 多 相似 之 处 ， 因 为 它们 都 是 一 个 字符 串 针 对 模式 P 的 匹配 : KMP- 
MATCHER 是 文本 本 针对 模式 P 的 匹配 ，COMPUTE-PREFIX-FUNCTION 是 模式 已 针 对 自己 
的 匹配 。 

下 面 先 来 分 析 这 两 个 过 程 的 运行 时 间 ， 对 其 正确 性 的 证 明 要 复杂 一 些 。 

运行 时 间 分 析 

运用 摊 还 分 析 的 聚合 方法 (参见 17. 1 节 ) 进 行 分 析 ， 过 程 COMPUTE-PREFIX-FUNCTION 
的 运行 时 间 为 8(m)。 唯 一 微妙 的 部 分 是 表明 第 6 一 7 行 的 while 循环 总 共 执 行 时 间 为 On). F 
面 将 说 明 它 至 多 进行 了 m 一 1 次 迭代 。 我 们 从 观察 & 的 值 开始 ， 第 一 ， 在 第 4 行 ,& 初始 值 为 0， 
并 且 增 加 & 的 唯一 方法 是 通过 第 9 行 的 递增 操作 ， 该 操作 在 第 5 一 10 行 的 for 循环 迭代 中 每 次 最 
多 执行 一 次 。 因 此 ,上 & 总 共 至 多 增加 mx 一 1 次 。 第 二 ， 因 为 进行 for 循环 时 A<g， 并 且 在 for 循环 
体 的 每 次 迭代 过 程 中 ，gq 的 值 都 增加 ， 所 以 <=g 总 成 立 。 因 此 ， 第 3 行 和 第 10 行 的 赋值 确保 了 
nLqj 二 q 对 所 有 的 g 二 1，2，…，m 都 成 立 ， 这 意味 着 每 次 while 循环 迭代 时 的 值 都 递减 。 第 三 ， 
& 了 永远 不 可 能 为 负 值 。 综 合 考虑 这 些 因 素 ， 我 们 会 发 现 , & 的 递减 来 自 于 while 循环 ， 它 由 & 在 所 
有 for 循环 迭代 中 的 增长 所 限定 ，& 总 共 下 降 m 一 1]。 因 此 ，while (RAMA IER m—1 次 ， 并 且 
COMPUTE-PREFIX-FUNCTION 的 运行 时 间 为 Omn). 

练习 32. 4-4 要 求 读者 通过 运用 类 似 的 聚合 分 析 ， 证明 KMP-MATCHER 的 匹配 时 间 
HON). 

45 FINITE-AUTOMATON-MATCHER 相 比 ， 通 过 运用 r 而 不 是 6， 可 将 对 模式 进行 预 处 理 
的 时 间 由 On| | ) 减 为 8(m)， 同 时 保持 实际 的 匹配 时 间 界 为 OC). 

前 缀 函数 计算 的 正确 性 

我 们 稍 后 就 会 看 到 ， 前 缀 函数 x 帮助 我 们 在 字符 匹配 自动 机 中 模拟 转移 函数 $， 但 是 首先 我 
们 需要 证 明 COMPUTE-PREFIX-FUNCTION 确实 能 够 准确 计算 出 前 缀 函数。 为 此 ， 我 们 将 需要 
找到 所 有 的 前 缀 P:， 也 就 是 给 定 前 级 P, 的 真 后 级。x[Lqj 的 值 给 了 我 们 最 长 的 前 级 ， 正 如 在 
图 32-11 中 所 描述 的 ， 下 面 的 引 理 说 明 通 过 对 前 缀 函数 进行 迭代 ， 就 能 够 列举 出 已, 的 真 后 缀 的 
所 有 前 级 Pi。 设 


conn om ee WwW DH 


第 32 章 字符 串 匹配 - 591 


x(q) = {nlg]s n? Lalin” [a] on” [Lg])} 
其 中 n” [g] 是 按 函 数 迭 代 的 概念 来 定义 的 ， 满 足 ro (ql=q, HHX iSl, n la] niri” [q]], 
当 达 到 x (qI=O 时 ，x* [gj 中 的 序列 终止 。 

引 理 32. 5( 前 缀 函数 迭代 引 理 ) ” 设 忆 是 长 度 为 m 的 模式 ， 其 前 组 函数 为 x， 对 g 二 1，2，…，m， 
A x’ [ql=(k: k<g 且 PDP,}.。 

证 明 首先 证 明 n'la] ik: kg AHP.OP,), 或 者 等 价 地 ， 

i€ x(q] R## PIP, (32. 7) 
# icn [q], WHEN u>0, Ai=x“ [q]. MUM u 进行 归纳 来 证 明 式 (32.7) 成 立 。 对 u=l, 
有 i=rlq], AAR «WEA i<q BPa P, MARKEARRE. HAKR lili MP gst 
P;， 以 及 二 和 一 的 传递 性 ， 就 可 以 证 明 对 所 有 iEr" [gj]， 有 [9qjJS(R: k<qgAPOP,}. 

下 面 用 反 证 法 来 证 明 {&: k<g 且 PIP, Enr lg] BERA (k: k<q H PP,} 一 x* [qj 是 非 
空 的 ， 且 设 j 是 该 集合 中 的 最 大 值 。 因 为 xLqj] 是 {&: kg H 已 忆 P,} 中 的 最 大 值 且 alale nr [a], 
所 以 必定 有 j 二 x[qj。 因 而 可 以 设 六 表示 x" [qj 中 比 j 大 的 最 小 整数 。( 如 果 n [gq] 中 没有 其 他 数 
EJK, WAER j = nl] RA POP, AH jE ik: k<q H PIP,» 另外 因为 
j En’ [gj 和 式 (32.7)， 有 已 ' 刁 P,。 因 此 ， 根 据 引 理 32.1, P, IP;, MERRIE, j 是 小 于 
5 的 最 大 值 。 因 而 必定 有 cL "j= 二 j， 并 且 因 为 了 Ex" [gj]， 同 样 必定 有 JEr'" [dj。 这 就 产生 了 了 矛 
盾 ， 所 以 引 理 得 证 。 a 

算法 COMPUTE-PREFIX-FUNCTION 根据 g=1, 2, =, m 的 顺序 计算 x[c] 的 值 。 
COMPUTE-PRFFIX-FUNCTION 的 第 3 行 置 x[1]=0 当然 是 正确 的 ， 因 为 对 所 有 的 gq， 
r[g] 一 g。 下 面 的 引 理 及 其 推论 将 用 于 证 明 对 g>1, COMPUTE-PREFIX-FUNCTION 能 正确 地 
计算 出 nlg]. 

引 理 32.6 KRPRKEAMHRA, nÆ PHARA., Hq=1, 2, +, m, #wRalgl>o, 
A) zxLgj 一 1Er" [g 一 1]。 

证 明 WR r=nlga]>0, 那么 rg 有 是 P.OP,; 因此 xr 一 1<g 一 1 且 P3 P, GE P, AP, # 
的 最 后 一 个 字符 去 掉 ， 因 为 之 0， 所 以 这 可 以 做 到 )。 因 此 ， 根 据 引 理 32.5, r 一 1Ex' [g 一 1]。 因 
i xlq]—1=r—1E x" [q—1]. 

Mt q=2, 3, «+, m, UMFK E Enr lg—1]A: 

E= (k € x*[q—1]:P[k+1] = Plq]} 
= {k:k < q—1,P,IP,,,P[k+1]=Plq]} (根据 引 理 32.5) 
= {k:k < q— 1, Pin IP) 
集合 Em HWE PIP 和 P[k 十 1] 二 PLq] 的 值 *<<q 一 1 组 成 ， 因 为 P[k 十 1]= 二 PL[g]， 所 以 有 
Py. Pee 因此 ， Em MH REx" [g 一 1] 中 的 值 组 成 ， 可 以 将 P, 扩展 到 Pi 并 得 到 P, HR. B 
推论 32.7 KRPRKRAMHRA, nÆ PHAR, HH q=2, 3, =, m, 
a= 0 wk En =Ø 
1+ max{k E€ En?) WR Emn Ø 

证 明 WR E,| 为 空 ， 则 没有 用 于 扩展 已 BP. RBA P, 真 后 缀 的 上 AEr' [9 一 1]( 包 括 
& 一 0) 。 因 此 xlgJ=0. 

如 果 EE,_ 为 非 空 ， 那 么 对 每 一 个 kEE,，， 有 十 1<g 且 Pd P, Wie, WHE x[qj 的 定义 ， 

nlg] >1+max{k € E,) (32. 8) 

注意 到 nLq]>0. 设 r=xLgj 一 1， 那么 r 十 1 二 x[Lqj， 因此 PoP, 因为 r+1>0, 所 以 有 
P(r+1)=P(q]. 而且 根据 引 理 32.6,， A rEr' [qq 一 1]。 因 此 ，rE E, ，， 所 以 r<max(re 
E 1) 或 等 价 地 ， 
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xiq/<1+max{k€ E, 1)} (32. 9) 

联合 等 式 (32. 8) 和 式 (32. 9) 即 可 完成 证 明 。 a 
现在 来 完成 对 COMPUTE-PREFIX-FUNCTION 计算 的 的 正确 性 证 明 。 在 过 程 COMPUTE- 
PREFIX-FUNCTION 中 第 5 一 10 47 for 循环 的 每 次 迭代 开始 时 , & 三 xLg 一 1]。 当 第 一 次 进入 循环 
时 ， 该 条 件 由 第 3 行 和 第 4 行 实现 ， 并 且 因 为 第 10 行 的 执行 ， 使 得 该 条 件 在 下 面 的 每 次 选 代 中 均 
保持 成 立 。 第 6 一 9 行 调整 的 值 ， 使 它 变 为 现在 的 xLqj 的 正确 值 。 第 6 一 7 行 的 while 循环 搜索 所 
Aiken’ [gq 一 1] 的 值 ， 直 至 找到 一 个 上 值 ， 使 得 PLk 十 1] 二 PLg]; 此 时 ,是 集合 Em PRAK, 
根据 推论 32.7， 可 以 置 x[q] 为 十 1。 如 果 找 不 到 这 样 的 值 ， 则 在 第 8 行 £==0。 如 果 PL1]=PLgj， 
那么 应 该 将 & 和 x[qj 都 设置 为 1; 否则 ， 只 需 将 xLqj] 置 为 0 而 不 管 k。 第 8 一 10 行 完 成 在 任意 条 件 
下 上 和 x[qj 的 设置 。 这 样 就 完成 了 对 COMPUTE-PREFIX-FUNCTION 正确 性 的 证 明 。 日 

KMP 算法 的 正确 性 

过 程 KMP-MATCHER 可 以 看 做 是 过 程 FINITE-AUTOMATON-MATCHER 的 一 次 重新 实 
现 , 但 是 却 用 到 了 前 级 函数 x 来 计算 状态 转换 。 特 别 地 ， 我 们 将 证 明 在 KMP-MATCHER 和 
FINITE-AUTOMATON-MATCHER 的 for 循环 的 第 i 次 迭代 时 ， 当 检测 m 的 等 效 性 时 ， 两 个 过 
程 的 状态 q 的 值 相同 (KMP-MATCHER 在 第 10 行 ，FINITE-AUTOMATON-MATCHER 在 第 5 
行 )。 一 旦 证 明了 KMP-MATCHER 模拟 了 FINITE-AUTOMATON-MATCHER 的 操作 过 程 ， 
自然 也 就 可 以 由 FINITE-AUTOMATON-MATCHER 的 正确 性 推出 KMP-MATCHER 也 是 正确 
的 (但 是 下 面 将 看 到 为 什么 KMP-MATCHER 中 的 第 12 行 代码 是 必需 的 ) 。 

在 我 们 正式 证 明 KMP-MATCHER 模仿 FINITE-AUTOMATON-MATCHER 之 前 ， 让 我 们 
来 理解 前 级 函数 x 如 何 代替 转移 函数 6。 回顾 一 下 ， 当 字符 串 匹 配 自动 机 处 在 状态 q 时 ， 它 扫描 
到 字符 a 王 TI， 然后 移动 到 一 个 新 的 状态 q, a), WR a 二 PL[g 十 1]， 那 么 a 将 持续 对 模式 进 
行 匹 配 ，6(q，a) = 二 gq 十 1; 否则 ，a 关 PLg 十 1]， 那 么 a 就 终止 了 对 模式 的 匹配 ， 并 且 O<, a) 
过 gq。 在 第 一 种 情况 下 ， 当 a 持续 匹配 时 ，KMP-MATCHER 移动 到 状态 q 十 1 而 无 需 参考 n A 
数 : 在 第 6 行 的 while 循 环 检 测 第 一 次 报错 ， 在 第 8 行 检测 结果 是 真 ， 并 且 在 第 9 行 g 增 加 。 

当 a 不 能 持续 进行 模式 匹配 时 ，x 函数 开始 起 作用 ， 因 此 新 的 状态 5(q，a) 要 么 是 gq， 要 么 是 
沿 着 自动 机 移动 的 q 的 左边 状态 。 在 KMP-MATCHER 中 第 6 一 7 行 的 while 循环 迭代 通过 状态 
x" [qj]， 要 么 停 在 一 个 q' 状 态 , 使 得 a 和 PLg' 十 1 匹配 ， 要 么 是 gq' 已 经 走 完 变 为 了 0。 如 果 a 和 
P[g' 十 1] 匹 配 ， 那 么 第 9 行 就 进入 新 的 状态 gq 十 1， 这 应 该 等 价 于 准确 模拟 6(q，a) 的 工作 。 换 句 
话说 ， 新 状态 6(q，a) 要 么 处 于 状态 0， 要 么 处 于 比 某 些 在 x* [gj] 中 更 高 的 状态 。 

让 我 们 来 考虑 图 32-7 和 图 32-11 中 的 例子 ， 其 中 模式 为 P= 二 ababaca。 假 设 自 动机 处 在 q=5 
的 状态 ; 这 些 在 x*[5j 中 的 状态 是 以 3，1 和 0 的 顺序 递减 的 。 如 果 下 一 个 扫描 到 的 字符 是 c， 那 
么 很 容易 看 到 自动 机 移动 到 状态 5(5，c)= 二 6， 在 KMP-MATCHER 和 FINITE-AUTOMATON- 
MATCHER 中 都 是 如 此 。 现 在 假设 下 一 个 扫描 到 的 字符 是 b， 那 么 自动 机 会 移动 到 OG, b)=4 
状态 。 在 KMP-MATCHER 中 每 次 退出 while 循环 都 运行 第 7 行 一 次 ， 并 且 到 达 状 态 9 一 x[L5] 一 3。 
由 于 PLg' 十 1]= 二 PL[4]==b, 第 8 行 检测 结果 是 真 ， 并 且 KMP-MATCHER 移动 到 新 的 状态 
gq 十 1 二 4 二 6(5，b)。 最 后 ,假设 下 一 个 扫描 到 的 字符 是 a， 那 么 自动 机 就 自动 移动 到 状态 065, 
a=1, 在 第 6 行 执行 前 三 次 检测 ， 结 果 是 真 。 第 一 次 我 们 发 现 PL6]=c#a 并 且 KMP- 
MATCHER 移动 到 状态 x[L5j 二 3( 处 在 x*[5j 中 的 第 一 个 状态 )， 第 二 次 我 们 发 现 PL4]= ba 并 
且 移动 到 状态 xL3]==1( 处 在 x* [5] 中 的 第 二 个 状态 ) ， 第 三 次 我 们 发 现 PL2]=bAa 并 且 移 动 到 
状态 xL1]=0( 处 在 x" [5] 中 的 最 后 一 个 状态 ) 。 一 旦 到 达 状 态 q 二 0，while 循环 就 退出 。 现 在 ， 
在 第 8 FF RH PLgq' 十 1] 二 PL[1] 二 a, 并 且 在 第 9 行 移动 自动 机 到 新 的 状态 q' 十 1 二 1 二 6(5，a)。 

因此 ， 我 们 了 解 到 KMP-MATCHER 通过 以 递减 的 顺序 在 状态 x* [gj 中 迭代 循环 ， 在 某 些 状 
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态 d' 停 止 ， 然 后 可 能 移动 到 状态 9 十 1。 尽 管 似 乎 在 模拟 计算 6(q，a) 时 有 很 多 工作 要 做 ,但 是 从 
渐 近 意义 上 看 ，KMP-MATCHER 并 不 比 FINITE-AUTOMATON-MATCHER 慢 。 
我 们 现在 准备 正式 证 明 Knuth-Morris-Pratt 算法 的 正确 性 。 根 据 定 理 32.4， 在 每 次 运行 
FINITE-AUTOMATON-MATCHER 的 第 4 行 时 得 到 gq 二 ol(T;)。 因 此 ， 它 足以 证 明 for 循环 在 
KMP-MATCHER 中 有 同样 的 特性 。 通 过 对 循环 迭代 次 数 进行 归纳 来 证 明 。 首 先 ， 当 它们 第 一 次 
进入 各 自 的 for 循环 时 ， 程 序 都 是 预 设 9 二 0。 考 虑 在 KMP-MATCHER 中 对 i EAR AY for 循环 ， 
假设 q' 是 该 循环 迭代 的 初始 状态 。 通 过 归纳 假设 ,我 们 可 以 得 到 gq' 二 ol(T; 1)。 需 要 证 明 在 第 10 
行 也 有 g= 二 ol(T;)。( 我 们 将 又 一 次 分 开 处 理 第 12 行 。) 
当 考虑 到 字符 TL, P 的 最 长 前 级 也 是 T 的 一 个 后 级 ， 要 么 是 Py (如 果 P +1]= T), 
要 么 是 Py 的 某 个 前 缀 (这 并 不 一 定 为 真 前 级 ， 并 且 可 能 为 空 )。 我 们 分 别 考虑 以 下 三 种 情况 : 
o(T,)=0, 6 T,)=q' +1 Ml 0<0(T,)<q'. 
。 MRo(T)=0, BAP =e 是 P 的 唯一 前 级 ， 也 是 T: 的 一 个 后 缀 。 第 6 一 7 行 的 while 循 
HKA n [gq ] 中 的 值 ， 尽 管 P, OT. gen" [o] 都 成 立 ， 但 是 循环 绝 不 会 找到 一 
个 使 得 Plat 1I=TLilM q. 4q=OWN, UR. FAB 9 行 自然 就 不 执行 了 。 因 此 ， 
在 第 10 行 q=0, 1849 g=o(T,). 

。 MR o(T)=q' +1, 那么 PL9 十 1]=TLi， 并 且 第 一 次 检测 第 6 行 的 while 循环 失败 。 
执行 第 9 行 ，4g 增加， 使 得 g=q' +1=0(T,). 

。 WROT) <q’, BARS 6 一 7 行 的 while 至 少 循环 迭代 一 次 ， 对 于 每 一 个 值 g€E nr [qj]， 

以 递减 顺序 进行 检测 ， 直 到 g 二 gq 时 停止 。 因 此 ，P, 是 P; 满足 PLg 十 1] 二 T[ 疏 的 最 长 前 
缀 ， 使 得 当 while 循环 终止 时 ， q+1=o(P, TCi]; 由 于 2 一 c(CT_)， 由 引 理 32. 3 可 以 
StHo(T,, Tli =(P; Tli. Alta 

q+ 1 = (P; TLi]) = T Til) = o(T;) 

4 while 循环 终止 时 ， 在 第 9 行 的 g 增 加 之 后 ， 得 到 g=o(T,). 

在 KMP-MATCHER 中 ， 之 所 以 一 定 要 有 第 12 行 代码 ， 是 为 了 避免 在 找 出 P 的 一 次 出 现 
后 ， 第 6 行 中 可 能 出 现 PLm 十 1] 的 情形 。( 由 练习 32. 4-8 的 提示 ， 即 对 任意 a€ DL, Cm, a)= 
Crnim], a), 或 者 等 价 地 ， 6(Pa) =6(P ya)» 可 以 推 得 在 下 一 次 执行 第 6 行 代码 时 ， q= 
a(T ORRERA.) HF Knuth-Morris-Pratt 算法 的 正确 性 证 明 ， 其 余 的 部 分 可 以 从 FINITE- 
AUTOMATON-MATCHER 的 正确 性 推 得 ， 因 为 现在 可 以 看 出 KMP-MATCHER 模拟 了 
FINITE-AUTOMATON-MATCHER 的 操作 过 程 。 


练习 
32. 4-1 计算 对 应 于 模式 ababbabbabbababbabb 的 前 级 函 数 r。 
32. 4-2 给 出 关于 g 的 函数 x* [g] 的 规模 的 上 界 。 举 例 说 明 所 给 出 的 上 界 是 严格 的 。 
32.4-3” 试 说 明 如 何 通 过 检查 字符 串 PTO PAT EGE RAY KBE m+n 的 字符 串 ) 的 «函数 
来 确定 模式 己 在 文本 工 中 的 出 现 位 置 。 
32.4-4 用 聚合 分 析 方 法 证 明 KMP-MATCHER 的 运行 时 间 是 O(n) 。 
32. 4-5 ”用 势 函数 证 明 KMP-MATCHER 的 运行 时 间 是 O(n) 。 
32.4-6 ” 试 说 明 如 何 通 过 以 下 方式 对 过 程 KMP-MATCHER 进行 改进 : 把 第 7 行 (不 是 第 12 行 
中 ) 出 现 的 x 替换 为 x ， 其 中 对 于 g=1, 2, +, m—1, x 递归 定义 如 下 : 
0 wR alg] =0 
r' [ad] = | wR nla] #0 E PLxLqj 十 1] = Pl¢g+1) 
nla] wR nlg] #0 E Plalg]+1) 4 Plgt+1) 
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试 说 明 修 改 后 的 算法 为 什么 是 正确 的 ， 并 说 明 在 何 种 意义 上 ， 这 一 修改 是 对 原 算法 的 
改进 。 

32.4-7” 写 出 一 个 线性 时 间 的 算法 ， 以 确定 文本 人 是 否 是 另 一 个 字符 串 T' 的 循环 旋转 。 例 如 arc 
和 car 是 彼此 的 循环 旋转 。 

“ 32. 4-8 ”给 出 一 个 有 效 算法 ， 计 算出 相应 于 某 给 定 模式 P 的 字符 串 匹 配 自动 机 的 转移 函数 $。 所 
给 出 的 算法 的 运行 时 间 应 该 是 Olm| D|). Gr: 证 明 如 果 g 王 m 或 PLg 十 1j 了 a， 则 
6(g, a)=6(rLg], a).) 


思考 题 
32-1 (基于 重复 因子 的 字符 囊 匹 配 ) Ky 表示 字符 串 > 与 其 自身 首尾 相 接 i 次 所 得 的 结果 。 例 
如 (ab)’ 二 ababab。 如 果 对 某 个 字符 串 ye D* 和 某 个 之 0 有 z= 二 y "， 则 称 字符 串 xE 2 * 具 
有 重复 因子 +。 设 o(Cz) 表 示 使 得 zx 具有 重复 因子 的 最 大 值 。 
a. 写 出 一 有 效 算法 以 计算 出 p(P;) (i 二 1，2，…，m)， 算 法 的 输入 为 模式 PL[1..m]。 算 法 
1012 的 运行 时 间 是 多 少 ? 
b. 对 任何 模式 P[1..m]， 设 p*〈P) 定 义 为 maxp(P;)。 证 明 : 如 果 从 长 度 为 m 的 所 有 二 进 
制 字符 串 所 组 成 的 集合 中 随机 地 选择 模式 已 ， 则 p*(P) 的 期 望 值 是 O(1)。 
e 论证 下 列 字 符 串 匹配 算法 可 以 在 Olo" CP) n+ m) 的 时 间 内 正确 地 找 出 模式 P 在 文本 
TCL. .wj 中 的 所 有 出 现 位 置 。 


REPETITION-MATCHER(P,T) 
1 m=P. length 
n=T. length 
k=1+p" (P) 
q=0 
s=0 
while s<n—m 
if T[s+q+1]==P[q+1] 
q=qtl 
if q == m 


Coons n ow mo 


print “Pattern occurs with shift” s 
if q == mor T[s+q+1]¥Plqt+1] 
12 s=s+max(1,[ g/k D 
13 q=0 
该 算法 是 Galil 和 Seiferas 提出 的 。 通 过 对 这 些 设 计 思 想 进行 大 量 扩充 ， 他 们 得 到 了 一 
个 线性 时 间 的 字符 串 匹 配 算 法 ， 该 算法 除了 已 和 T 所 要 求 的 存储 空间 外 ， 仅 需 O(1) 的 
存储 空间 。 


本 章 注 记 
Aho, Hopcroft 和 Ullman[5] 中 讨论 了 字符 串 匹 配 与 有 限 自动 机 理论 的 关系 。Knuth-Morris- 
Pratt 算法 [214] 是 由 Knuth, Pratt 和 Morris 独立 提出 的 ; 他 们 合作 公布 了 其 工作 成 果 。 
Reingold, Urban 和 GriesL294] 给 出 了 Knuth-Morris-Pratt 算法 的 另 一 种 处 理 。Rabin-Karp 算法 
是 由 Karp 和 RabinL201] 提 出 的 。Galil 和 Seiferas[L126] 给 出 了 一 个 有 趣 的 确定 性 线性 时 间 字 符 串 
匹配 算法 ， 除 存储 模式 和 文本 所 要 求 的 空间 外 只 需 用 O(1) 的 空间 。 
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计算 几何 学 


计算 几何 学 是 计算 机 科学 的 一 个 分 支 ， 专 门 研究 那些 用 来 解决 几何 问题 的 算法 。 在 现代 工 
程 与 数学 界 ， 计 算 几 何 学 在 不 同 的 领域 里 有 着 广泛 的 应 用 ,包括 计算 机 图 形 学 、 机 器 人 学 、 
VLSI 电路 设计 、 计 算 机 辅助 设计 、 分 子 建 模 、 冶 金 学 、 制 造 业 、 纺 织品 设计 学 、 林 学 和 统计 学 
等 。 计 算 几何 学 问题 的 输入 通常 是 对 几何 对 象 集合 的 描述 ， 如 点 集 、 线 段 集 ， 或 者 一 个 多 边 形 中 
按 逆 时 针 顺 序 排列 的 顶点 集合 。 而 问题 的 输出 通常 是 回答 关于 这 些 几 何 对 象 的 查询 ， 例 如 ， 直 线 
是 否 相 交 ; 或 者 是 否 为 一 个 新 的 几何 对 象 ， 例 如 ， 点 集 的 凸 包 问题 (convex hull， 即 最 小 封闭 凸 
多 边 形 )。 

本 章 将 研究 二 维 空间 内 ( 即 平面 上 ) 的 若干 个 计算 几何 算法 。 我 们 用 点 集 {P，p， 户 ，…) 来 表示 
每 一 个 输入 对 象 ， 其 中 每 个 p= ls y), ti VER 例如 ， 我 们 以 顶点 序列 (po，p1，p:，…， 
p,_1) 来 表示 一 个 n 个 顶点 的 多 边 形 P， 这 些 点 以 在 P 的 边界 上 出 现 的 顺序 来 排列 。 计 算 几 何 学 
也 可 以 应 用 到 三 维 ， 其 至 更 高 维度 的 空间 上 , 但 是 这 样 的 问题 及 其 解决 方案 很 难 可 视 化 。 不 过 ， 
即使 是 在 二 维 空间 上 ， 也 能 充分 展现 出 计算 几何 学 的 精妙 之 处 。 

33. 1 节 说 明 如 何 准确 而 有 效 地 回答 关于 线段 的 一 些 基本 问题 : 一 条 线段 是 在 与 其 共享 一 个 
端点 的 另 一 条 线段 的 顺 时 针 方向 ， 还 是 在 其 逆 时 针 方向 ? 当 沿 着 两 条 邻接 的 线段 前 进 时 遇 到 交 
点 该 往 哪个 方向 转 ? 两 条 线段 是 否 相 交 ? 33. 2 节 介绍 一 种 被 称 为 “扫除 ”"(sweeping) 的 技术 。 利 用 
这 种 技术 设计 一 种 用 来 判断 n 条 线段 中 是 否 存在 相交 线段 的 算法 ， 其 运行 时 间 为 O(nlgn)。33.3 
节 给 出 两 种 "旋转 扫除 ”(rotational-sweep) 算 法 ， 用 来 计算 ?个 点 的 凸 包 。 这 两 种 算法 分 别 是 运行 
时 间 为 OC lg n) H Gramham 扫描 法 和 运行 时 间 为 O(nh) 的 Jarvis HEE, HEP h AAEM 
点 数目 。 最 后 ，33. 4 节 介 绍 一 种 运行 时 间 为 Olg nn) 的 算法 ， 用 于 求 出 平面 上 个 点 中 距离 最 
近 的 点 对 。 


33. 1 线段 的 性 质 


在 本 章 中 ， 有 好 几 个 计算 几何 学 的 算法 都 要 涉及 线段 的 性 质 。 两 个 不 同 点 p= 二 (zi，w) 和 
加 一 (z，y%) 的 凸 组合 是 满足 如 下 条 件 的 任意 点 b =C ya): 对 于 某 个 a(0 三 a 三 1)， 有 
2 一 az 十 (1 一 a)zz Al y, Sayı + (1—a) yz- 另外 ， 可 记 b: Sapı + 1—a) pz- 直观 上 来 看 ， ps 位 
于 经 过 p 和 ps 两 点 的 直线 上 上 且 处 于 pr 、p 两 点 之 间或 恰 为 p 或 p,。 对 于 给 定 的 两 个 不 同 的 点 
Pi 和 po, RED PFE bi 和 ps 凸 组 合 的 集合 。 我 们 称 p 和 p, 为 线段 p1ps 的 端点 。 有 时 ， 还 要 考 
È p Ap 的 顺序 ， 于 是 有 类 似 有 向 线段 访 访 的 描述 方法 。 如 果 p 是 原点 (0，0)， 那 么 可 以 把 
AIRED, PEN EE p. 

在 本 章 ， 我 们 需要 探究 下 列 问题 

1. 对 于 给 定 的 两 个 有 向 线段 方 六 和 访 忘 ， 相 对 于 它们 的 公共 端点 po EDL. PoP TEA TED p: 
的 顺 时 针 方向 ? 

2. 对 于 给 定 的 两 个 线段 Pop; 和 Pp;， 如 果 先 沿 着 Po 志 再 沿 着 PiPi 前 进 ， 那 么 在 点 pp 处 是 否 
要 向 左 转 ? 

3. REED, pr Alp, p EME? 

对 于 给 定 的 点 没有 任何 限制 。 
对 上 述 的 每 一 个 问题 ， 我 们 都 能 在 0(1) 的 时 间 内 回答 ， 这 一 点 不 会 使 人 惊讶 ， 因 为 每 个 问题 
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的 输入 规模 都 是 O(1)。 此 外 ， 我 们 所 采用 的 方法 只 用 到 了 加 法 、 减 法 、 乘 法 和 比较 运算 。 既 不 需 
要 除法 运算 也 不 需要 三 角 函 数 运算 ， 这 两 者 都 需要 高 昂 的 计算 代价 并 且 容 易 产生 合 信 误差 等 问题 。 
例如 ， 要 判断 两 条 线段 是 否 相 交 ， 一 种 “直接 的 ”方法 是 计算 出 每 一 条 线段 的 直线 方程 ， 形 如 y= 
mz 十 bm ERPE, bE y 轴 截 距 )， 然 后 计算 出 两 条 线 的 交点 ， 并 检查 交点 是 否 同时 位 于 两 条 线段 
上 。 这 种 “直接 的 ”方法 在 求 交 点 时 用 到 了 除法 运算 。 然 而 若 两 条 线段 几乎 平行 ， 这 种 方法 会 对 实 
际 计 算 机 中 除法 运算 的 精度 非常 敏感 。 本 节 中 的 方法 避免 使 用 除法 ， 因 而 要 精确 得 多 。 

MLR 

又 积 的 计算 是 线段 方法 的 核心 。 考 虑 如 图 33-1(a) 所 示 的 向 量 p 和 po RIIT LAGE ARH 
释 为 由 点 (0，0)， 加 ， 加 A pit p= tar, 十 y) 所 构成 的 平行 四 边 形 的 有 向 面积 。 另 一 
种 与 之 等 价 但 更 有 效 的 叉 积 定义 方式 是 将 之 看 做 矩阵 行列 式 : 

pi Xp = det| 

yı 
ip Xp. 值 为 正 ， 则 相对 于 原点 (0，0) 来 说 ， 思 位 于 p: 的 顺 时 针 方 向 ; A Xp 值 为 负 ， 则 
bi 位 于 ps 的 道 时针 方 向 。( 见 练习 33. 1-1。) 图 33-1(b) 展 示 了 向 量 这 的 顺 时 针 和 逆 时 针 区 域 。 又 
EA 0 时 出 现 边界 情况 ;在 这 种 情况 下 ， 两 个 向 量 是 共 线 的 ， 指 向 相同 方向 或 相反 方向 。 


了 


T2 
= Zi — nJ =— p: X pı 
Iz 


y 





Pi+P: 


(0.0) x 
(a) (b) 


图 33-1 《〈a) 平 行 四 边 形 的 有 向 面积 表示 向 量 加 和 p 的 又 积 。(b) 浅 色 阴 影 
区 域 包含 了 位 于 p 顺 时 针 方向 的 向 量 。 深 色 阴 影 区 域 包 含 了 位 于 p 
逆 时 针 方向 的 向 量 
为 了 确定 相对 于 公共 端点 p。， 有 向 线段 Po 疡 是 在 顺 时 针 还 是 逆 时 针 方向 更 靠近 Po 疡 ， 我 们 
将 po 作为 原点 从 而 使 问题 简化 。 用 p, 一 po 来 表示 向 量 加 =a, yi), HB, ze =a, 
yi 二 一 %， 类 似 地 ， 可 以 定义 phs RE WALER 
(ipo) X (Pa po) = (a1 — to) (2 — y) — C2 — 1) 1 — Yo) 
WREE, BAADT ORRIREN; WERE. BAD LEP po AOE 
确定 连续 线段 是 向 左 转 还 是 向 右 转 
我 们 讨论 的 下 一 个 问题 是 在 点 加 处， 两 条 连续 的 线段 加 志和 思 刀 是 向 左 转 还 是 向 右 转 。 也 就 是 
说 , 找 出 一 种 方法 以 确定 一 个 给 定 角 攻 pop 的 转向 。 采 用 叉 积 运算 来 解决 这 个 问题 可 以 避免 计算 角 
度 。 如 图 33-2 所 示 ， 我 们 只 需 简单 地 判断 一 下 有 向 线段 加 疡 是 位 于 加 疡 的 顺 时 针 还 是 逆 时 针 方向 。 因 
此 ,我 们 计算 出 叉 积 (p 一 如 )X(p 一 如)。 若 结果 为 负 ， 则 为 疡 在 加 疡 的 逆 时 针 方 向 ,在 p 处 左 转 。 
同 理 ， 若 结果 为 正 ， 则 在 顺 时 针 方向 ， 在 p 处 右 转 。 而 叉 积 为 0 则 意味 着 p,、p Alp, 三 者 共 线 。 
判定 两 条 线段 是 否 相交 
为 判定 两 条 线段 是 否 相交 ， 需 要 检查 每 条 线段 是 否 跨越 了 包含 另 一 条 线段 的 直线 。 如 果 点 


全” 事实 上 ， 叉 积 是 一 个 三 维 的 概念 。 根 据 “ 右 手法 则 ”， 它 是 一 个 与 户 和 po 都 垂直 的 向 量 ， 其 量 值 为 lz 一 zz |. 
而 ， 在 本 章 中 ,将 叉 积 简 单 地 看 做 一 一 zz 的 值 更 方便 一 些 。 
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思 位 于 某 条 直线 的 一 边 ， 而 点 如 位 于 该 直线 的 另 一 边 ， 则 称 线段 户 妨 跨越 了 这 条 直线 。 £ p 和 
ps 恰好 落 在 直线 上 ， 则 出 现 边界 情况 。 两 条 线段 相交 当 且 仅 当 下 面 两 个 条 件 至 少 成 立 一 个 : 


1. 每 条 线段 都 跨越 了 包含 另 一 条 线段 的 直线 。 
2. 一 条 线段 的 某 个 端点 落 在 另 一 条 线段 上 。 (这 一 情况 来 自 于 边界 情况 。) 


P: Pı 
pi Pı 
ntt > < 顺 时 针 
Po Po 
(a) (b) 


33-2 ”利用 叉 积 来 确定 连续 线段 PoPr 和 Pi 在 点 入 MAUS. HATA ARB DP 
检查 有 向 线段 如 疡 是 在 其 顺 时 针 方 向 还 是 逆 时 针 方向 。(a) 如 果 是 在 逆 时 针 方 
向 ， 则 说 明 在 点 p 处 向 左 转 。(b) 如 果 是 在 顺 时 针 方 向 ， 则 说 明 向 右 转 1017 


下 面 的 过 程 实现 了 这 一 思想 。 如 果 线 段 Pps 和 pp 相交 ，SEGMENTS-INTERSECT 返回 
TRUE; 否则 ， 返 回 FALSE。 它 调用 了 子 过 程 DIRECTION， 利 用 上 述 的 叉 积 方 法 计算 出 线段 的 
相应 方向 ; 并 调用 子 过 程 ON-SEGMENT 来 判断 一 个 与 线段 共 线 的 点 是 否 位 于 这 条 线段 上 。 


SEGMENTS-INTERSECT (p, , pz» ps + p4) 
1 d; =DIRECTION(p;, pı» pı) 

dı =DIRECTION( p,» ps + p2) 

d,=DIRECTION( p, ; p2» ps) 

d,=DIRECTION(); » p2 + p4) 

if ((d,> 0 and d;< 0) or (d= 0 and d;> 0))and 
((di> 0 and d< 0) or(d;< 0 and d;> 0)) 
return TRUE 

elseif dı == 0 and ON-SEGMENT (p; » fu» p1) 
return TRUE 

elseif d: == 0 and ON-SEGMENT( ;, P4 » p2) 

10 return TRUE 

11 elseif d} == 0 and ON-SEGMENT( ; » p2» p3) 

12 return TRUE 

13 elseif d, == 0 and ON-SEGMENT (p; » p2» p4) 

14 return TRUE 

15 else return FALSE 


DIRECTION ( p; » p; » Pi) 

1 return(p,— p:)X(p;—p:) 

ON-SEGMENT( ; » P; + Pa) 

1 if min(2z;,2;)<a2,<max(z;,2x;)and min(y;, yj) Sy Emax(y,,y;) 

2 return TRUE 

3 else return FALSE 

算法 SEGMENTS-INTERSECT 按 如 下 流程 工作 。 第 1 一 4 行 计 算 每 个 端点 p; 关于 另 一 条 线段 
的 相对 方向 d;。 如 果 所 有 相对 方向 都 非 0， 则 可 以 很 容易 判断 出 户 包 和 户 如 是 否 相 交 ， 具 体 做 法 如 
下 。 若 有 向 线段 六 六 和 轧 访 相对 于 思议 的 方向 相反 ,那么 线段 广 忘 跨越 了 包含 太太 的 直线 。 在 这 种 
WHE. di Ad, MASA. Kh, Ad Ad 的 符号 不 同 ， 则 线段 pp 跨越 了 包含 Pp 的 直 
线 。 如 果 第 5 行 测试 结果 为 真 ， 那 么 这 两 条 线段 互相 跨越 ，SEGMENTS-INTERSECT 返回 TRUE. 


nea Ww wo 
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图 33-3(a) 显 示 了 这 种 情况 。 否 则 ,线段 不 互相 跨越 对 方 所 在 的 直线 ,但 边界 情况 也 可 能 出 现 。 如 
果 所 有 的 相对 方向 都 非 0， 那 么 不 会 出 现 边 界 情况 。 第 7 一 13 行 中 所 有 关于 是 否 为 0 的 测试 都 会 失 
败 ， 在 第 15 行 SEGMENTS-INTERSECT 将 返回 FALSE。 图 33-3(b) 展 示 了 这 种 情况 。 
如 果 任 何 一 个 相对 方向 di 为 0， 那么 将 出 现 边界 情况 。 此 处 ， 我 们 知道 p 与 另 一 条 线段 
是 共 线 的 。 它 直接 位 于 另 一 条 线段 上 ， 当 上 且 仅 当 它 位 于 线段 的 两 个 端点 之 间 。 过 程 ON- 
SEGMENT 返回 p, 是 否 位 于 线段 pp; 的 端点 之 间 ， 其 中 pip; 是 在 第 7 一 13 行 中 调用 ON- 
SEGMENT 过 程 时 的 另 一 条 线段 ; 该 子 过 程 假设 pi 与 p:p; 是 共 线 的 。 图 33-3(c) 和 (d) 显示 出 了 
共 线 点 的 情况 。 在 图 33-300), p 位 于 名 如上， 因而 在 第 12 行 中 ，SEGMENTS-INTERSECT 
返回 TRUE。 在 图 33-3 (d) 中 ， 没 有 哪个 端点 位 于 另 一 条 线段 上 ， 所 以 SEGMENTS 
INTERSECT 在 第 15 行 返回 FALSE。 







(P:-P;) x (pa-p;)<0 Ps (pi1-p;) x (ps-p;)<0 ps 
Pi p, M ae 
(P.-P,) x (py-p1)<0 (p. P,) X (py Pi) 
(P.-P;) X (pa-p:)<0 
Pz 
PEE (p,-P,) x (D:-P)>0 
Ps (P.-Ps) x (Pi-P)>0 Ps 
(a) (b) 
ps Ps 
Pi p. 
、 ey 
= Pr 
Ps 
Ce) (d) 


图 33-3 ”过 程 SEGMENTS-INTERSECT HERH. (a) EK Di pe All ps pi HAPS RIH TE HY AR. 
Ws p BRT Sp LW HR, BARB — pr) X Ch — pi) ACs — pi) X Cha — pr FEAR 
同 。 同 理 ， 因 为 轧 思 跨越 了 包含 加 的 直线 ， 所 以 叉 积 (pp 一 p3) X (pi — ps) AC — ps) X (ps 一 
PNASAR. Dap 跨越 了 包含 Pp 的 直线 , Hp pARBRAG Ap WHR. MALE 
(pi — ps) X Ci — ps) An 一声)X(ps 一 p) 的 符号 是 相同 的 。(O) 点 户 与 加 刀 共 线 且 位 于 p 和 
p 之 间 。(d) 点 ps 与 Pi 加 共 线 但 不 位 于 pi 和 ps 之 间 。 线 段 不 相交 


又 积 的 其 他 应 用 

本 章 后 续 几 节 将 介绍 叉 积 的 其 他 应 用 。 在 33. 3 节 中 ， 需 要 根据 相对 于 给 定 原 点 的 极 角 大 小 对 
给 定 的 点 集 进行 排序 。 正 如 练习 33. 1-3 要 求 读者 证 明 的 那样 ， 可 以 用 又 积 进行 排序 过 程 中 的 比较 。 
在 33. 2 节 中 ， 将 运用 红 黑 树 来 维护 一 个 线段 集合 的 垂直 顺序 。 这 种 方法 并 不 是 显 式 地 记录 红 黑 树 
关键 字 值 ， 而 是 通过 计算 又 积 来 确定 与 同一 个 给 定 的 垂直 线 相 交 的 两 条 线段 的 相对 位 置 。 


练习 


33.1-1 WEH: 4p. Xp. 值 为 正 ， 则 相对 于 原点 (0，0)， 向 量 p 位 于 向 量 po 的 顺 时 针 方 向 ; 若 
叉 积 为 负 ， 则 pi 在 p: 的 逆 时 针 方 向 。 

33. 1-2 van Pelt 教授 提出 ， 在 过 程 ON-SEGMENT 的 第 1 行 中 ， 只 需 测试 z 坐标 值 。 试 说 明教 
授 错 误 的 原因 。 

33.1-3 一 个 点 pi 相对 于 原点 po 的 极 角 (polar angle) 也 就 是 向 量 pi 一 po 在 常规 极 坐 标 系 中 的 角 
度 。 例 如 ， 点 (3，5) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1，1) 的 极 角 ， 即 45 度 或 x/4 弧度 。 
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点 (3，3) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1， 一 1) 的 极 角 ， 即 315 ER 7x/4 弧度 。 请 编 
写 一 段 伪 代码 ， 根 据 相对 于 某 个 给 定 原点 po 的 极 角 ， 对 一 个 由 个 点 构成 的 序列 
(pis Por cts Pn DEFT HERR. 所 给 过 程 的 运行 时 间 应 为 O(nlg n)， 并 要 求 用 叉 积 来 比较 
极 角 的 大 小 。 

33. 1-4” 试 说 明 如 何在 OG? Ig n) 的 时 间 内 确定 个 点 中 任意 三 点 是 否 共 线 。 

33.1-5 多边形 是 平面 上 由 一 系列 线段 构成 的 闭合 曲线 。 也 就 是 说 ， 它 是 由 一 系列 直线 段 构成 的 
首尾 相连 的 曲线 。 这 些 直 线段 称 为 多 边 形 的 边 。 一 个 连接 两 条 连续 边 的 顶点 称 为 多 边 形 
的 顶点 。 如 果 多 边 形 是 简单 的 (一 般 情 况 下 都 会 作 此 假设 )， 那 么 它 的 内 部 不 存在 边 交 叉 
的 情况 。 在 平面 上 被 简单 多 边 形 包围 的 点 集 组 成 了 该 多 边 形 的 内 部 (interior)， 恰 落 在 多 
边 形 上 的 点 组 成 了 多 边 形 的 边界 (boundary) ， 而 包围 该 多 边 形 的 点 构成 了 多 边 形 的 外 部 
(exterior) 。 对 于 一 个 简单 多 边 形 ， 如 果 给 定 任 意 两 个 位 于 其 边界 或 内 部 的 点 ， 连 接 这 
两 个 点 的 线段 上 的 所 有 点 都 在 这 个 多 边 形 的 边界 或 内 部 ， 那 么 该 多 边 形 为 凸 多 边 形 。 一 
个 凸 多 边 形 的 顶点 不 能 被 表示 成 边界 或 内 部 任意 两 个 顶点 的 凸 组 合 。 

Amundsen 教授 提出 ， 对 于 由 个 点 组 成 的 序列 (po。，pP1，…，p,1);， 可 以 用 下 面 

的 方法 来 确定 它们 能 否 形成 一 个 凸 多边 形 的 连续 顶点 。 若 集合 {pipitipits: 1=0, 
1，…，n 一 1)( 下 标 是 模 排列 的 ) 不 是 既 包 含 左 转 又 包含 右 转 ， 则 输出 “yes”; 否则 ， 输 
出 “no”。 试 说 明 虽 然 这 种 方法 的 运行 时 间 是 线性 的 ， 但 它 不 总 是 得 出 正确 结果 。 对 教授 
的 方法 做 修改 ， 使 其 总 是 能 在 线性 时 间 内 得 出 正确 结果 。 

33.1-6 已 知 一 个 点 加 二 (zw，%)， 它 的 右 水 平 射线 (right horizontal rry EMARE (p=, y): 
LiT, V= y), BRER, CE po 正 右 方 的 点 的 集合 ， 包 括 po 本 身 。 试 说 明 如 何 通 
过 把 问题 转化 为 判断 两 条 线段 是 否 相 交 ， 从 而 在 O(1) 的 时 间 内 确定 一 个 给 定 的 从 po 出 
发 的 右 水 平 射 线 是否 和 线段 pp, 相 交 。 

33.1-7 要 确定 点 po 是 否 在 简单 多 边 形 P( 不 一 定 是 凸 多 边 形 ) 内 部 ， 一 种 方法 是 检查 由 po 发 出 
的 全 部 射线 ， 看 它们 是 否 与 已 的 边界 相交 奇数 次 ， 但 是 如 本 身 不 能 位 于 边界 上 。 试 说 
明 如 何在 8(z)? 时 间 内 计算 出 po 是 否 在 一 个 由 个 顶点 组 成 的 多 边 形 的 内 部 。( 提 示 : 参 
考 练习 33. 1-6。 确 保 当 射线 与 多 边 形 边界 在 顶点 处 相交 ， 以 及 当 射 线 遮盖 住 多 边 形 的 一 
条 边 时 ， 算 法 的 正确 性 。) 

33.1-8 试 说明 如 何在 8(n) 时 间 内 计算 一 个 具有 个 顶点 的 简单 多 边 形 ( 不 一 定 是 凸 多 边 形 ) 的 
面积 。( 与 多 边 形 有 关 的 定义 见 练习 33. 1-5。) 


33.2 确定 任意 一 对 线段 是 否 相交 


本 节 给 出 一 种 算法 ， 用 来 确定 一 个 线段 集 之 中 的 任意 两 条 线段 是 否 相 交 。 该 算法 使 用 了 一 
种 称 为 “扫除 ?的 技巧 ， 它 在 许多 计算 几何 算法 中 很 常见 。 此 外 ， 如 本 节 末 尾 练习 所 示 ， 这 种 算法 
或 其 简单 变形 可 以 用 于 解决 其 他 计算 几何 问题 。 

该 算法 的 运行 时 间 为 O(nlg n)， 其 中 是 给 定 线段 的 数目 。 它 能 确定 是 否 存在 相交 线段 ， 并 
不 输出 所 有 的 相交 点 。( 根 据 练习 33. 2-1， 在 一 个 n 条 线段 的 顶点 集中 要 找到 所 有 的 相交 点 ， 最 
坏 情况 下 ， 需 花费 QC ) 的 时 间 。) 

在 扫除 过 程 中 ， 一 条 假想 的 扫除 线 (sweep line) 穿 过 一 个 给 定 的 几何 物体 集合 ， 并 且 通 常 是 
从 左 到 右 扫 描 。 考 虑 扫除 线 移 动 的 空间 维度 ， 当 沿 z 维 移动 时 ， 则 将 其 看 做 时 间 维 S 。 扫 除 提供 
了 一 种 将 几何 物体 排序 的 方法 ， 通 常 是 将 其 放 人 一 个 动态 数据 结构 ， 从 而 充分 利用 其 相互 关系 。 


日 ”是 将 扫除 线 移动 的 空间 维度 (在 这 种 情况 下 是 z 维度 ) 看 做 时 间 维 ， 而 并 非 真 正 时 间 维 。 一 一 译 者 注 
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本 节 的 线段 相交 算法 按照 从 左 到 右 的 顺序 考虑 所 有 的 线段 端点 ， 每 遇 到 一 个 端点 就 检查 其 是 否 
是 相交 点 。 

为 了 描述 判定 n 条 线段 中 任意 两 条 是 否 相交 的 算法 并 证 明 其 正确 性 ， 我 们 做 出 两 点 简化 问题 
的 假设 。 首 先 ， 假设 没有 一 条 输入 线段 是 垂直 的 。 其 次 ,假设 没有 三 条 输入 线段 相交 于 同一 点 。 
练习 33. 2-8 和 练习 33. 2-9 要 求 读者 说 明 这 一 算法 的 健壮 性 ， 即 当 上 述 假设 不 成 立时 ， 只 需 对 其 
稍 加 修改 ， 算 法 仍 能 正常 工作 。 当 然 ， 在 为 计算 几何 算法 进行 编程 实现 和 证 明 其 正确 性 时 ， 去 掉 
这 样 的 简化 性 假设 ， 对 边界 情况 进行 处 理 往往 是 最 困难 的 挑战 。 

线段 排序 

因为 之 前 假设 了 没有 垂直 的 线段 ， 所 以 任何 与 给 定 的 垂直 扫除 线 相 交 的 线段 与 其 只 有 一 个 
交点 。 因 此 ， 我 们 可 以 根据 交点 的 y 坐标 来 对 与 垂直 扫除 线 相交 的 线段 进行 排序 。 

为 了 将 问题 叙述 得 更 准确 ， 考 虑 两 条 线段 ss 和 s;。 如 果 一 条 x 坐标 值 为 x 的 扫除 线 与 二 者 
都 相交 ， 则 称 这 两 条 扫除 线 在 x 处 是 可 比较 的 。 如 果 Als, TE x Mb HT BEN, IF ALTE x Mb, 
s 与 扫除 线 的 交点 比 s 与 同一 条 扫除 线 的 交点 要 高 ， 或 者 两 者 在 扫除 线 上 相交 ， 则 称 在 z+ 处 5 
位 于 s 之 上 ， 记 作 % 关 :sz。 例 如 ， 在 图 33-4(a) 中 ， 有 如 下 关系 : a>,c, a 之 ,6b,， b>, c, a,c 
和 2 关 .c。 线 段 d 与 其 他 任何 线段 都 不 可 比 。 

对 任意 给 定 的 x， 关系 “>,” 是 定义 在 所 有 在 x 处 与 扫除 线 相交 的 线段 上 的 完全 前 序 关系 ( 参 
见 B. 2 节 )。 也 就 是 说 ， 这 个 关系 是 可 传递 的 ， 并 且 如 果 线 段 ss 和 ss 都 在 工 处 与 扫除 线 相交 ， 那 

BAR si 82 MK 82> 2815 或 两 者 皆 成 立 ( 若 s 和 相交 于 扫除 线 ) 。 (关系 之 。 也 是 自 反 的 ， 但 并 不 
是 对 称 或 反对 称 的 ,) 但 是 ， 当 线段 加 入 和 离开 该 排序 时 ， 随 着 z 值 的 不 同 ,线段 的 完全 前 序 也 可 
能 不 同 。 当 线段 的 左 端点 遇 到 扫除 线 时 ， 就 进入 该 排序 ， 当 其 右 端点 遇 到 扫除 线 时 ， 就 离开 该 
排序 。 

当 扫除 线 经 过 两 条 线段 的 交点 时 ， 会 发 生 什 么 情况 呢 ? 正如 图 33-4(b) 所 示 ， 它 们 在 完全 前 
序 中 的 位 置 被 颠倒 了 。 扫 除 线 和 了 痉 分 别 位 于 线段 e 和 上 了 交点 的 左 侧 和 右 侧 ， 因 而 有 emf 和 
J >。e。 注 意 ， 因 为 我 们 假设 没有 三 条 直线 相交 于 一 点 ， 所 以 必 有 某 条 扫除 线 x 使 得 相交 线段 e 
和 上 j 了 在 完全 前 序 关系 关 。 中 是 连续 的 。 任 何 通过 图 33-4(b) 中 阴影 区 域 的 扫除 线 ( 如 >) ， 都 有 e 和 
三 在 它 的 完全 前 序 排列 中 连续 。 


(Ca) (b) 


图 33-4 根据 各 垂直 扫除 线 确定 线段 的 顺序 。(a) 图 中 有 如 下 关系 成 立 : a>c, 
ab, b> .c, a> c, b> wc. RR d 与 其 他 任何 线段 都 不 可 比 。(b) HRE e 
和 了 相交 时 ， 它们 的 次 序 颠倒 了 : e> ff. 但 f>we。 任 何 穿 过 阴影 区 域 的 扫 
除 线 ( 如 z) 都 使 得 e 和 上 了 在 其 完全 前 序 中 连续 


移动 扫除 线 

典型 的 扫除 算法 要 维护 两 组 数据 : 

1. 扫除 线 状 态 (sweep-line status) 给 出 了 与 扫除 线 相交 的 物体 之 间 的 关系 。 

2. 事件 点 调度 (event-point schedule) 是 一 个 按 xz 坐标 从 左 到 右 排列 的 事件 点 序列 。 随 着 扫除 
线 由 左 到 右 行 进 ， 每 当 遇 到 事件 点 的 二 坐标 ， 扫 除 都 会 暂停 ， 处 理事 件 点 ， 然 后 重新 开始 扫除 。 
扫除 线 状态 仅 在 事件 点 处 改变 。 
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对 于 某 些 算法 (如 练习 33. 2-7 要 求 读者 给 出 的 算法 )， 事 件 点 调度 随 着 算法 的 执行 而 动态 确 
定 。 我 们 现在 所 讨论 的 算法 仅仅 是 基于 输入 数据 的 简单 性 质 ， 在 扫除 之 前 就 确定 了 所 有 的 事件 
点 。 特 别 地 ， 每 个 线段 端点 都 是 事件 点 。 我 们 通过 增加 工 坐 标 值 ， 并 且 从 左 向 右 执行 ， 来 对 线段 
端点 排序 。( 如 果 两 个 或 多 个 端点 共享 垂 线 ， 即 它们 有 相同 的 z 坐标 值 ， 就 将 所 有 共 垂 线 的 左 端 
点 放 在 共 垂 线 的 右 端点 之 前 。 而 在 一 个 共 垂 线 的 左 端点 集中 ， 将 y 坐标 较 小 的 放 在 前 面 ， 并 对 共 
垂 线 的 右 端点 集 也 做 同样 的 处 理 。) 当 遇 到 线段 的 左 端点 时 ， 就 将 此 线段 插入 扫除 线 状 态 中 ， 并 且 
当 遇 到 其 右 端点 时 ， 就 把 它 从 扫除 线 状态 中 删 掉 。 每 当 两 条 线段 首次 在 完全 前 序 中 变 为 连续 时 ， 
就 检查 它们 是 否 相交 。 

扫除 线 状态 是 一 个 完全 前 序 关系 TT， 需要 对 其 进行 以 下 操作 : 

。 INSERT(T, s): 把 线段 * 插 入 工 中 。 

e DELETE(T，s*): 把 线段 * 从 了 工 中 删除 掉 。 

。 ABOVE(T，s): 返回 工 中 * 上 方 紧 挨 着 的 线段 。 

。 BELOW(T, s): 返回 工 中 * 下 方 紧 挨 着 * 的 线段 。 

在 完全 前 序 关系 工 中 ， 可 能 出 现 线段 s, Ms 都 在 对 方 上 方 的 情况 ;这 是 由 于 % Al 在 扫除 
线 处 相交 ， 其 中 ， 扫 除 线 的 完全 前 序 在 工 中 给 出 。 在 这 种 情况 下 ， 这 两 条 线段 在 工 中 的 关系 无 
法 确定 。 

如 果 输 入 中 有 n 条 线段 ， 应 用 红 黑 树 ， 可 以 在 O(lgn) 的 时 间 内 执行 上 述 INSERT, 
DELETE, ABOVE, BELOW 操作 。 第 13 章 中 红 黑 树 的 操作 涉及 了 关键 字 的 比较 。 我 们 可 以 将 
关键 字 的 比较 替换 为 基于 又 积 的 比较 ， 用 以 确定 两 条 线段 的 相对 次 序 ( 见 练习 33. 2-2). 

求 线段 交点 的 伪 代 码 

下 面 的 算法 将 一 个 由 条 线段 组 成 的 集合 S 作为 输入 ， 如 果 S 中 有 任何 一 对 线段 相交 ， 则 返 
E TRUE; 否则 ， 返 回 FALSE。 完 全 前 序 工 由 一 棵 红 黑 树 来 维护 。 

ANY-SEGMENTS-INTERSECT(S) 

1 T= 

2 sort the endpoints of the segments in S from left to right, 
breaking ties by putting left endpoints before right endpoints 
and breaking further ties by putting points with lower 
y-coordinates first 


3 for each point p in the sorted list of endpoints 


4 if p is the left endpoint of a segment s 
5 INSERT(T,s) 
6 if (ABOVE(T,s) exists and intersects s) 
or (BELOW(T,s) exists and intersects s) 
7 return TRUE 
8 if p is the right endpoint of a segment s 
9 if both ABOVE(T,s) and BELOW(T,s) exist 
and ABOVE(T,s) intersects BELOW(T,s) 
10 return TRUE 
11 DELETE(T,s) 


12 return FALSE 


33-5 说 明了 这 一 算法 的 执行 过 程 。 第 1 行 初 始 化 完全 前 序 为 空 。 第 2 行 通 过 对 2n 个 线段 
端点 由 左 到 右 排序 ， 并 按照 描述 的 方法 处 理 多 个 点 z 坐标 值 相同 的 情况 ， 从 而 确定 事件 点 调度 。 
执行 第 2 行 的 一 种 方式 是 ,在 (zx，e，y) 上 对 端点 按照 字典 序 排序 ， 其 中 x Aly 为 通常 的 坐标 ， 
e 一 0 表示 左 端点 ，e 一 1 表示 右 端点 。 
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a d e 
boc a C d 
C c 
b b 





时 间 


33-5 ANY-SEGMENTS-INTERSECT 的 执行 过 程 。 每 条 虚线 都 对 应 一 个 事 
件 点 处 的 扫除 线 。 除 了 最 右边 的 扫除 线 之 外 ， 其 余 每 条 扫除 线 下 线段 
名 的 顺序 与 用 于 处 理 相 应 事件 点 的 for 循环 结束 时 的 完全 前 序 相对 
应 。 处 理 线段 c 的 右 端点 时 用 到 最 右边 的 扫除 线 ; 由 于 线段 4 Alb TE 
c 旁边 并 且 与 之 相交 ， 那 么 该 过 程 返回 TRUE 


在 第 3 一 11 行 的 for 循 环 中 ， 每 一 次 迭代 都 处 理 一 个 事件 点 p。 如 果 p ERE s 的 左 端点 ， 
那么 第 5 行将 s 添加 到 完全 前 序 中 ， 如 果 ;与 由 经 过 zp 的 扫除 线 所 定义 的 完全 前 序 中 的 与 之 连续 
的 两 条 线段 中 的 任 一 条 相交 ， 则 第 6 一 7 行 返回 TRUE. ME p 位 于 另 一 条 线段 ;上 ， 则 出 现 边 
界 情 况 ， 这 时 ， 仅 需要 将 ; 和 s' 连 续 地 放 到 TP WR p 是 线段 ; 的 右 端点 ， 则 把 s 从 完全 前 序 
中 删除 。 首 先 ， 考 虑 经 过 p 的 扫除 线 所 定义 的 完全 前 序 ， 如 果 s 旁边 的 线段 有 相交 ， 那 么 第 9 一 
10 行 返回 TRUE。 如 果 这 些 线 段 不 相交 ， 第 11 行 就 将 s 从 完全 前 序 中 删除 。 只 要 第 10 行 的 
return 语句 没有 阻碍 第 11 行 的 执行 ， 当 s 被 删除 后 ，s 旁边 的 线段 就 会 在 完全 前 序 中 变 为 连续 。 
接 下 来 对 正确 性 进行 讨论 ， 这 将 清晰 地 说 明 为 什么 这 些 语句 充分 检查 了 s 旁边 的 每 一 条 线段 。 最 
后 ， 如 果 在 处 理 完 全 部 2n 个 事件 点 后 没 发 现 线段 相交 ， 第 12 行 就 返回 FALSE, 

正确 性 

为 了 说 明 ANY-SEGMENTS-INTERSECT 是 正确 的 ， 我们 将 要 证 明 ANY-SEGMENTS- 
INTERSECT(S) 返 回 TRUE 当 且 仅 当 S 中 的 线段 有 一 个 交点 。 

很 容易 看 出 ， 仅 当 ANY-SEGMENTS-INTERSECT 发 现 两 个 输入 线段 之 间 的 一 个 交点 时 ， 
它 才 返回 TRUE( 在 第 7 行 和 第 10 行 中 ) 。 于 是 ， 如 果 它 返回 TRUE， 就 说 明 存在 一 个 交点 。 

另外 ， 还 需要 证 明 以 上 结论 的 逆 命 题 : 如 果 存 在 一 个 交点 ，ANY-SEGMENTS-INTERSECT 
就 会 返回 TRUE。 不妨 假设 至 少 有 一 个 交点 。 设 p 为 最 左边 的 交点 ， 选 择 > 坐标 最 小 的 那个 交 
点 ， 同 时 假设 a 和 4 为 相交 于 zp 的 两 条 线段 。 因 为 在 p 的 左边 没有 线段 相交 ， 因 此 对 于 p 左边 的 
点 来 说 ， 由 工 给 出 的 顺序 是 正确 的 。 因 为 没有 三 条 线段 相交 于 同一 点 ， 所 以 a 和 4 在 扫除 线 z 处 
成 为 完全 前 序 中 的 连续 线段 ?> 。 此 外 ，z 位 于 p 的 左边 ， 或 者 穿 过 p。 在 扫除 线 z 上 ， 存 在 一 个 
线段 端点 q， 它 是 使 4 Alb 在 完全 前 序 中 成 为 连续 线段 的 事件 点 。 如 果 p EHRE E, M= p. 
WR p 不 在 扫除 线 z 上 ， 那 么 g 位 于 p 的 左边 。 不 论 是 这 两 种 情况 中 的 哪 一 种 ， 在 遇 到 gq 之 前 ， 
TT 给 出 的 顺序 都 是 正确 的 。( 正 是 在 这 里 ， 算 法 按 字 典 序 对 事件 点 进行 了 排序 。 因 为 p 是 所 有 最 
左边 的 交点 中 最 低 的 ， 故 即使 p 位 于 扫除 线 z 上 ， 且 存在 另 一 个 交点 p 也 位 于 x 上， 事件 点 = 


日 ”如 果 人 允许 三 条 线段 相交 在 同一 点 ， 那 么 可 能 会 有 一 条 干扰 线段 c 在 点 p 处 与 a。 Mb 都 相交 。 也 就 是 说 ， 对 所 有 位 
于 左边 满足 a>wc 的 扫除 线 w， 都 可 能 有 a>wc 和 c 关 wb。 练 习 33. 2-8 要 求 读者 证 明 ， 即 使 三 条 线段 确实 相 
交 于 同一 点 ，ANY-SEGMENTS-INTERSECT 也 是 正确 的 。 
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也 能 在 另 一 个 交点 p' 对 完全 前 序 工 产生 干扰 之 前 得 到 处 理 。 此 外 ， 即 使 p 是 某 一 线段 (例如 a) 
的 左 端点 ， 同 时 也 可 以 是 另 一 线段 (例如 5) 的 右 端点 ， 因 为 左 端点 事件 发 生 在 右 端点 事件 之 前 ， 
故 当 首次 遇 到 线段 a 之前， 线段 5 已 经 在 完全 前 序 T 中 了 。) 事 件 点 9 或 者 被 ANY-SEGMENTS- 
INTERSECT 处 理 ， 或 者 不 被 处 理 。 

如 果 g 由 ANY-SEGMENTS-INTERSECT 进行 了 处 理 ， 只 可 能 产生 两 种 动作 : 

1. 只 要 a 或 5 被 插入 T 中， 则 另 一 线段 在 完全 前 序 中 位 于 它 的 上 面 或 下 面 。 第 4 一 7 行 可 以 
发 现 这 种 情况 。 

2. 线段 a 和 2 都 已 经 在 工 中 ， 并 且 在 完全 前 序 中 ， 位 于 它们 之 间 的 一 条 线段 被 删除 ， 使 得 a 
和 4 成 为 连续 线段 。 第 8 一 11 行 可 以 发 现 这 种 情况 。 

无 论 哪 种 情况 ， 都 能 发 现 交 点 p， 并 且 ANY-SEGMENTS-INTERSECT 返回 TRUE. 

如 果 事 件 点 g 没有 被 ANY-SEGMENTS-INTERSECT 处 理 ， 该 过 程 必定 在 处 理 完 所 有 的 事 
件 点 之 前 就 已 经 返回 。 只 有 当 ANY-SEGMENTS-INTERSECT 已 经 找到 了 一 个 交点 并 返回 
TRUE 时 ， 这 种 情况 才 会 发 生 。 

于 是 ， 如 果 存 在 着 一 个 交点 ，ANY-SEGMENTS-INTERSECT 就 返回 TRUE。 而 我 们 之 前 
已 经 看 到 ， 如 果 ANY-SEGMENTS-INTERSECT 返回 TRUE， 则 必定 存在 一 个 交点 。 因 此 ， 
ANY-SEGMENTS-INTERSECT 始终 能 返回 正确 的 结果 。 

运行 时 间 

如 果 集 合 S 中 有 条 线段 ， 则 ANY-SEGMENTS-INTERSECT 的 运行 时 间 为 O(nlgn)。 第 1 
行 的 运行 时 间 为 0(1)。 如 果 使 用 归并 排序 或 堆 排 序 ， 第 2 行 所 需 的 时 间 为 O(nlg n)。 第 3 一 11 
行 的 for 循 环 在 每 个 事件 点 处 至 多 迭代 一 次 ， 由 于 总 共有 2n 个 事件 点 ， 所 以 循环 至 多 和 迭代 2n 次。 
每 次 迭代 耗 时 O(lgn)， 这 是 因为 每 个 红 黑 树 操作 所 需 的 时 间 为 O(lgz) 。 而 运用 33. 1 节 中 的 方 
法 ， 可 以 使 每 次 相交 测试 耗费 时 间 O(1) 。 因 此 ， 总 的 运行 时 间 为 O(n lg n). 


练习 


33.2-1 试 说 明 在 n 条 线段 的 集合 中 ， 可 能 有 ONXA. 

33.2-2 已 知 两 条 在 工 处 可 比 的 线段 a 和 5， 试 说 明 如 何在 O(1) 时 间 内 确定 o>.b Mba 中 哪 
一 个 成 立 。 假 定 这 两 条 线段 都 不 是 垂直 的 。( 提 示 : 如 果 a Alb 不 相交 ， 利 用 叉 积 即 可 。 
如 果 a Alb 相交 (当然 也 可 以 用 叉 积 来 确定 )， 仍 然 可 以 只 利用 加 、 减 、 乘 这 几 种 运算 ， 
Tone FABRE. “SR, FEMS. 关系 时 ， 如 果 a Alb 相交 ， 就 可 以 停 下 来 并 声明 已 找 
到 了 一 个 交点 。) 

33. 2-3 Mason 教授 建议 修改 过 程 ANY-SEGMENTS-INTERSECT， 使 其 不 是 找 出 一 个 交点 后 返 
回 ， 而 是 输出 相交 的 线段 ， 再 继续 进行 for 循环 的 下 一 次 迭代 。 他 把 这 样 得 到 的 过 程 称 
为 PRINT-INTERSECTING-SEGMENTS， 并 声称 该 过 程 能 够 按照 线段 在 集合 中 出 现 的 
次 序 ， 从 左 到 右 输出 所 有 的 交点 。Dixon 教授 不 同意 Mason 教授 ， 称 其 做 法 有 误 。 哪 位 
教授 的 说 法 是 正确 的 ? PRINT-INTERSECTING-SEGMENTS 所 找 出 的 第 一 个 相交 点 总 
是 最 左边 的 交点 吗 ? 它 总 能 找 出 所 有 的 相交 点 吗 ? 

33.24 写 出 一 个 运行 时 间 为 O(nlg n) 的 算法 ， 以 确定 由 个 顶点 组 成 的 多 边 形 是 否 是 简单 多 
边 形 。 

33.2-5 ” 写 出 一 个 运行 时 间 为 Onlgn) 的 算法 ， 以 确定 总 共有 个 顶点 的 两 个 简单 多 边 形 是 否 相交 。 

33.26 一 个 圆 面 是 由 一 个 圆 加 上 其 内 部 所 组 成 ， 用 圆心 和 半径 表示 。 如 果 两 个 圆 面 有 公共 点 ， 
则 称 这 两 个 圆 面 相交 。 写 出 一 个 运行 时 间 为 O(n lg n) 的 算法 ， 以 确定 nn 个 圆 面 中 是 否 有 
任何 两 个 圆 面相 交 。 
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第 七 部 分 “算法 问题 选编 


33.2-7 已 知 n 条 线段 中 共有 个 相交 点 ， 试 说 明 如 何在 OC((n 十 &)lg z 时 间 内 输出 全 部 & 个 


交点 。 


33.2-8 论证 即使 有 三 条 或 更 多 的 线段 相交 于 同一 点 ， 过 程 ANY-SEGMENTS-INTERSECT 也 


能 正确 执行 。 


33.2-9 WEH: 在 有 垂直 线段 的 情况 下 ， 如 果 将 某 一 垂直 线段 的 底部 端点 当做 是 左 端点 ， 其 项 部 


33:3 


端点 当做 右 端点 ， 则 过 程 ANY-SEGMENTS-INTERSECT 也 能 正确 执行 。 如 果 人 允许 有 
垂直 线段 ， 对 练习 33. 2-2 的 回答 应 如 何 修改 ? 


寻找 凸 包 


点 集 Q 的 凸 包 是 一 个 最 小 的 凸 多边 形 己 ， 满 足 Q 中 的 每 个 点 都 在 己 的 边界 上 或 者 在 P 的 内 
部 。( 凸 多 边 形 的 准确 定义 见 练习 33. 1-5。) 我 们 用 CH(Q) 来 表示 Q 的 凸 包 。 我们 假定 Q 中 所 有 
的 点 是 独立 的 ， 并且 Q 至少 包含 3 个 不 共 线 的 点 。 直 观 地 讲 ， 可 以 把 Q 中 的 每 个 点 都 想象 成 是 
露 在 一 块 板 外 的 铁 钉 ， 那 么 凸 包 就 是 包围 了 所 有 这 些 铁 钉 的 一 条 拉 紧 了 的 橡皮 绳 所 构成 的 形状 。 


图 33-6 示 出 了 一 个 点 集 及 其 凸 包 。 
本 节 将 介绍 两 种 算法 来 计算 包含 ”个 点 的 点 集 
的 凸 包 。 两 种 算法 都 按 逆 时 针 方 向 的 顺序 输出 凸 包 
的 各 个 顶点 。 第 一 种 算法 称 为 Graham 扫描 法 
(Graham’s scan) ， 运 行 时 间 为 O(nlg n)。 第 二 种 算 
法 称 为 Jarvis 步 进 法 (Jarvis march) ， 其 运行 时 间 为 
O(Cz) ， 其 中 忆 为 凸 包 中 的 顶点 数 。 从 图 33-6 中 可 
以 看 出 ，CH(Q) 的 每 一 个 顶点 都 是 Q@ 中 的 点 。 两 种 
算法 都 利用 这 一 性 质 来 决定 应 该 以 Q 中 的 哪些 点 作 





为 凸 包 的 顶点 ， 以 及 应 该 去 掉 Q 中 的 哪些 点 。 图 33-6 点 集 Q= (加 ， 轧 ，…，zpiz)} 及 
事实 上 ， 有 好 几 种 方法 都 能 在 OC lg n) mhia A 其 用 灰色 表示 的 凸 包 CH(Q) 
计算 凸 包 。Graham 扫描 法 和 Jarvis 步 进 法 都 运用 了 一 种 称 为 “旋转 扫除 ”的 技术 ， 根 据 每 个 顶点 

对 一 个 参照 顶点 的 极 角 的 大 小 ， 依 次 进行 处 理 。 其 他 方法 有 以 下 几 种 : 


在 增 量 法 (incremental method) 中 ， 首 先 对 点 从 左 到 右 进 行 排序 ， 得 到 一 个 序列 ( 户 ， 户 ，…， 
p.)。 在 第 i 步 ， 根据 左 起 第 i 个 点 ， 对 最 左边 i 一 1 RA CHU ps ps ot p DHIT 
E, ATER CHU p, fh» > BAe FY 33. 3-6 要 求 读 者 说 明 如 何 实现 这 种 方法 ， 使 其 
所 需 的 全 部 时 间 为 Olg n). 

在 分 治 法 中 ， 在 8(n) 时 间 内 ,将 由 个 点 组 成 的 集合 划分 为 两 个 子 集 ， 分 别 包 含 最 左边 
的 [zx/2] 和 最 右边 的 [zy2] 个 点 ， 并 对 子 集 的 凸 包 进 行 递归 计算 ， 然 后 利用 一 种 巧妙 的 办 
法 ， 在 O(n) 时 间 内 对 计算 出 来 的 凸 包 进 行 组 合 。 这 种 方法 的 运行 时 间 用 大 家 熟悉 的 递归 
式 T(n) 二 2T(n/2) 十 O(n) 来 表示 ， 因 此 ， 分 治 法 的 运行 时 间 为 O(nlg n)。 

剪 枝 -搜索 方法 (prune-and-search method) 类 似 于 9. 3 节 中 讨论 的 最 坏 情况 下 线性 时 间 的 
中 值 算法 。 它 通过 反复 丢弃 剩余 点 中 固定 数量 的 点 ， 直 至 仅 剩 下 凸 包 的 上 链 ， 从 而 找到 
凸 包 的 上 部 (或 称 ” 上 链 ”)” 。 然 后 ， 再 执行 同样 的 操作 来 找 出 下 链 。 从 渐 近 意义 上 来 看 ， 
这 种 方法 速度 最 快 ， 如 果 凸 包 包含 h 个 顶点 ， 那 么 该 方法 的 运行 时 间 仅 为 O(nlg)。 


计算 一 个 点 集 的 凸 包 本 身 就 是 一 个 有 趣 的 问题 。 此 外 ， 其 他 一 些 关 于 计算 几何 学 问题 的 算 
法 都 始 于 对 凸 包 的 计算 。 例 如 ， 考 虑 二 维 的 最 远 点 对 问题 : 已 知 平面 上 包含 ”个 点 的 集合 ， 和 希望 
找 出 它们 中 相距 最 远 的 两 个 点 。 正 如 练习 33. 3-3 要 求 读者 证 明 的 那样 ， 这 两 个 点 必定 是 凸 包 的 
顶点 。 尽 管 在 此 不 作证 明 ， 但 我 们 能 在 O(n) 的 时 间 内 找 出 个 顶点 的 凸 多 边 形 中 的 最 远 项 点 对 。 
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因此 ， 通 过 在 Oln lg n Et Ta) ATE n MBAS tl, Re FR SB A IP eT 
点 对 ， 就 可 以 在 Olnlgn) 的 时 间 内 ， 找 出 任意 7 个 点 组 成 的 集合 中 距离 最 远 的 点 对 。 

Graham 扫描 法 

Graham 扫描 法 通过 维持 一 个 关于 候选 点 的 栈 S 来 解决 凸 包 问题 。 输 入 集合 Q 中 的 每 个 点 都 
被 压 人 栈 一 次 ， 非 CH(Q 中 顶点 的 点 最 终 被 弹出 栈 。 当 算法 终止 时 ， 栈 S 中 仅 包含 CH(Q) 中 的 
顶点 ， 以 逆 时 针 的 顺序 出 现在 边界 上 。 

过 程 GRAHAM-SCAN 的 输入 为 点 集 Q， 其 中 |Ql| 三 3。 在 无 需 改 变 栈 S 的 情况 下 ， 调 用 函 
数 TOP(S) 和 函数 NEXT-T0-TOP(S) 分 别 返回 处 于 栈 项 的 点 和 处 于 栈 顶 部 下 面 的 那个 点 。 稍 后 
将 证 明 : 过 程 GRAHAM-SCAN 返回 的 栈 S 从 底部 到 顶部 ， 依 次 是 按 逆 时 针 方向 排列 的 CH(Q) 
中 的 顶点 。 


GRAHAM-SCAN(Q) 
1 let po be the point in Q with the minimum y-coordinate, 
or the leftmost such point in case of a tie 

2 let(p:,p2+°'t+ Pm) be the remaining points in Q, 
sorted by polar angle in counterclockwise order around po 
(if more than one point has the same angle, remove all but 
the one that is farthest from po) 

3 if m<2 

4 return“ convex hull is empty” 

5 else let S be an empty stack 

6 PUSH(p,,S) 

7 PUSH(p; ,S) 

8 PUSH(p;,S) 

9 fori=3tom 

10 while the angle formed by points NEXT-TO-TOP(S), TOP(S), 

and p, makes a nonleft turn 

11 POP(S) 

12 PUSH (p; , S) 

13 return S 


图 33-7 说 明了 GRAHAM-SCAN 的 执行 过 程 。 第 1 行 选取 po 作为 y 坐标 最 小 的 点 ， 如 果 有 
多 个 这 样 的 点 ， 则 选取 最 左边 的 点 作为 pos HF Q 中 没有 其 他 点 比 p。 更 低 ， 并 且 与 其 有 相同 y 
坐标 的 点 都 在 它 的 右边 ， 所 以 po 一 定 是 CH(Q) 的 一 个 顶点 。 第 2 行 根据 相对 于 po 的 极 角 对 Q 
中 剩余 的 点 进行 排序 ， 所 用 的 方法 (比较 叉 积 ) 与 练习 33. 1-3 中 相同 。 如 果 有 两 个 或 更 多 的 点 对 
po 的 极 角 相 同 ， 那 么 除了 与 po 距离 最 远 的 点 以 外 ， 其 余 各 点 都 是 po 与 该 最 远 点 的 凸 组 合 。 因 
此 ， 我 们 可 以 完全 不 考虑 这 些 点 。 设 m ERER po 以 外 剩余 的 点 的 数目 。Q 中 每 个 点 关于 的 极 
角 ( 用 弧度 表示 ) 属 于 半 开 区 间 [0，r) 。 由 于 这 些 点 是 按 其 极 角 排 序 ， 因 此 可 以 把 这 些 点 按 相 对 于 
Po 的 逆 时 针 方 向 进行 排序 。 我 们 将 这 一 有 序 点 表示 为 (p!，p:，…，p,)。 注 意 ， 点 pi 和 p 都 
是 CHCQ) 中 的 顶点 (参见 练习 33. 3-1)。 图 33-7(a) 说 明了 图 33-6 中 的 点 是 按 相对 于 po 的 极 角 进 
行 递增 排序 得 到 的 序列 。 

过 程 的 剩余 部 分 运用 了 栈 S。 第 5 一 8 行 对 栈 进行 初始 化 ， 使 其 从 底部 到 顶部 依次 包含 前 三 
个 点 Pos Di Fl pe. FA 33-7(a) 说 明了 初始 的 栈 S。 第 9 一 12 行 的 for TARIHE pss Pas tts Pn) 
中 的 每 一 个 点 进行 一 次 迭代 。 算 法 的 意图 是 在 对 点 p; 进行 处 理 后 ， 在 栈 S 中 ， 由 底部 到 顶部 依 
次 包含 CH({po。，Py，…，p;})) 中 按 逆 时 针 方 向 排列 的 各 个 顶点 。 第 10~11 行 的 while 循环 把 所 
发 现 的 不 是 凸 包 中 的 顶点 的 点 从 栈 中 移 去 。 当 沿 逆 时 针 方 向 遍历 凸 包 时 ， 我 们 应 该 在 每 个 顶点 
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处 向 左 转 。 因 此 ， 每 当 while 循环 发 现在 一 个 顶点 处 没有 向 左 转 时 ， 就 把 该 项 点 从 栈 中 弹出 。 
( 仅 检 查 不 向 左 转 的 情况 ， 而 不 是 对 向 右 转 进行 检查 ， 这 样 的 测试 就 排除 了 在 所 形成 凸 包 的 某 个 
顶点 处 为 直角 的 可 能 性 。 一 个 凸 多 边 形 的 每 个 顶点 不 能 是 该 多 边 形 中 其 他 顶点 的 凸 组 合 ， 所 以 
我 们 不 希望 有 直角 .。) 当 算法 向 点 p 推进 并 已 经 弹出 了 所 有 非 左 转 的 顶点 后 ， 就 把 p; EARP. 
图 33-7(b) 一 (k) 给 出 了 for 循环 每 次 迭代 后 ， 栈 S 的 状态 。 最 后 ，GRAHAM-SCAN 在 第 13 行 返 


回 栈 S。 相 应 的 凸 包 如 图 33-7(D 所 示 。 


下 面 的 定理 形式 化 证 明了 GRAHAM-SCAN 算法 的 正确 性 。 


定理 33. 1(Graham 扫描 算法 的 正确 性 ) 


如 果 在 一 个 |Q| 三 3 的 点 集 Q 上 运行 GRAHAM- 


SCAN， 则 在 过 程 终止 时 ， 栈 S 从 底部 到 顶部 包含 了 按 逆 时 针 方 向 排列 在 CH(Q) 中 的 各 个 顶点 。 
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图 33-7 GRAHAM-SCAN 在 图 33-6 所 示 的 集合 Q 上 的 执行 过 程 。 在 每 一 步 中 ， 栈 S 中 包含 的 当前 凸 包 
以 灰色 示 出 。(a) 点 序列 (pi ，pz，…，pis)， 按 相对 于 点 po 的 极 角 大 小 的 递增 顺序 编号 ， 初 始 
的 栈 SPEE po. pi 和 p;。(b)~(k) 是 第 9~12 行 中 for 循环 每 一 次 迭代 后 栈 S 的 情况 。 虚 线 
表示 非 左 转 的 情况 ， 导 致 点 从 栈 中 被 弹出 。 例 如 ， 在 (h) 中 ， 角 pr ps ps 处 的 右 转 使 得 ps 被 弹 
H, FHA ps pr ps 处 的 右 转 使 得 pr 被 弹出 。(]) 过 程 返回 的 凸 包 与 图 33-6 中 的 凸 包 匹 配 
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33-7 ( 续 ) 


证 明 在 第 2 行 之 后 ,我 们 有 点 序列 (P11，pz，…，pm)。 对 i 二 2，3，…，m， 定 义 一 个 点 
FHRQ={Por Pir > Pi}. Q-Q, 中 的 点 是 那些 被 删除 的 点 ， 因 为 它们 与 Q, 中 的 某 个 点 相对 
于 po 的 极 角 相同 ; 这 些 点 不 在 CH(Q) 中 ， 因 而 CH(Q,) 二 CH(Q)。 于 是 , 我 们 只 要 证 明 当 
GRAHAM-SCAN 终止 时 ， 栈 S 中 包含 了 CH(Q,) 中 的 顶点 ， 且 这 些 顶 点 是 按照 逆 时 针 顺 序 从 底 
部 至 项 部 在 栈 中 排列 的 。 注 意 ， 正 如 po» bi 和 加 是 CH(Q) 中 的 顶点 一 样 ，po。、p 和 p; 也 是 
CH(Q,) 中 的 顶点 。 

证 明 中 要 用 到 如 下 的 循环 不 变 式 : 

在 第 9 一 12 行 中 for 循环 的 每 一 晨 和 迭代 开始 时 ， 栈 S 从 底部 至 顶部 恰 包 含 了 CH(Q; 1) 中 按 
逆 时 针 顺 序 排列 的 各 个 顶点 。 

初始 化 : 在 首次 执行 第 9 行 时 ， 这 个 循环 不 变 式 得 到 保持 ， 因 为 此 时 栈 S PRAT Q=Q., 
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中 的 顶点 ， 这 三 个 顶点 的 集合 形成 了 它们 各 自 的 凸 包 。 此 外 ， 它 们 按 逆 时 针 排 序 ， 从 底 至 项 地 出 
现在 栈 S 中 。 

保持 : 进行 for 循环 的 一 层 和 迭代 后 ， 栈 S 顶 上 的 点 为 如- ， 它 是 在 上 一 次 迭代 最 后 (或 在 第 
一 次 迭代 开始 之 前 ， 当 i=3 时 ) 被 压 和 人 栈 的 。 设 第 10 一 11 行 中 while 循环 执行 后 、 第 12 行将 p 
压 人 栈 之 前 ， 栈 S 顶部 的 点 为 p;。 设 ps: 为 栈 S 中 紧 靠 p; 之 下 的 点 。 在 p; 成 为 栈 顶 点 且 尚 未 将 
bi 压 入 栈 时 ， 栈 S 中 包含 了 与 for 循环 的 第 j 次 迭代 后 一 样 的 点 。 因 此 ， 根 据 循环 不 变 式 ， 在 该 
HA, R S 中 恰 包 含 了 CHCQ,) 中 的 顶点 ， 它 们 按 逆 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 

我 们 继续 关注 当 p 被 压 人 栈 之 前 的 这 一 时 刻 。 我 们 已 经 知道 ，p; 相对 于 po 的 极 角 大 于 b; 
Wik. IFAS Ap dp 是 向 左 转 的 (否则 p 已 经 被 弹出 )。 从 图 33-8(a) 中 可 以 看 出 ， 由 于 St 
包含 了 CH(Q) 中 的 顶点 ， 因 此 ， 一旦 压 入 p;， 栈 S 中 恰 包 含 了 CH(Q U {pi)) 中 的 顶点 ， 并且 
这 些 点 仍然 按 逆 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 


P, 


Pr P; 





P: 


Po Po 
(a) Cb) 


图 33-8 GRAHAM-SCAN 的 正确 性 的 证 明 过 程 。(a) 因 为 p 相对 于 po 的 极 角 大 于 p, 
的 极 角 ， 又 因为 角 和 prpjp; 是 向 左 转 的 ， 所 以 将 p 加 入 CHO ) 中 就 得 到 
CH(Q U {p;)) 中 的 各 顶点 。(b) 如 果 角 ppip; 执行 的 是 非 左 的 转向 ， 则 p 
或 者 是 在 由 pp。，p, Ap: 所 构成 的 三 角形 内 部 ， 或 者 是 在 该 三 角形 的 一 条 边 
上 ， 它 不 可 能 是 CH(Q) 的 一 个 顶点 
现在 ， 我 们 已 经 证 明了 CHO U {pi)) 与 CH(Q) 是 同一 个 点 集 。 考 虑 任意 一 个 在 for 循环 的 
第 i 次 迭代 中 被 弹出 的 点 p,， 设 p, Ap, 被 弹出 时 栈 S 中 紧 靠 在 p, 下面 的 点 (p, 可 以 是 p;)。 角 
Z PPP: 所 做 的 是 非 左 转向 ， 而 p 相对 于 po 的 极 角 大 于 b, 的 极 角 ， 如 图 33-8(b) 所 示 ，p, 必定 
EH po, p, 和 zp; 构成 的 三 角形 内 部 ， 或 者 在 这 个 三 角形 的 某 一 条 边 上 (但 它 不 是 该 三 角形 的 一 
个 顶点 ) 。 显 然 ， 由 于 p, 在 一 个 由 Q, 的 其 他 三 个 点 所 构成 的 三 角形 内 部 ， 故 不 可 能 是 CH(CQ,) 的 
一 个 顶点 。 正 是 因为 p 不 是 CHCQ,) 的 一 个 顶点 ， 所 以 有 : 
CHCQ: 一 (加 )) = CH(Q) (33. 1) 
设 已 为 for 循环 的 第 ;次 迭代 中 弹出 点 的 集合 。 由 于 等 式 (33. 1) 适 用 于 P 中 的 所 有 点 ， 因 此 ， 
可 以 反复 地 应 用 它 来 说 明 CH(Q 一 P;) 二 CH(Q,)。 但 是 ，Q 一 P; 二 QU 1{p;}， 于 是 可 得 结论 
CH(Q, U {p;}) = CH(Q, — P,) = CH(Q,) 
上 面 已 经 证 明了 一 旦 将 P: 压 人 栈 后 ， 栈 S 中 恰 包 含 CH(Q;) 中 的 顶点 ， 并 且 按 逆 时 针 顺 序 
自 栈 底 向 上 排列 。 增 加 i 的 值 将 使 得 循环 不 变 式 对 下 一 次 迭代 也 保持 成 立 。 
终止 : 当 循 环 终止 时 ， 有 i 二 =m 十 1， 因 而 ， 循 环 不 变 式 意味 着 栈 S 中 恰 包 含 了 CH(Q,)( 即 
CHCQ) ) 中 按 逆 时 针 顺 序 从 栈 底 向 上 排列 的 顶点 。 E 
现在 来 证 明 GRAHAM-SCAN 的 运行 时 间 为 O(nlgn)， 其 中 n= |Q| 。 执 行 第 1 行 代码 需要 
8(n) 的 时 间 。 运 用 归并 排序 或 堆 排 序 对 极 角 进行 排序 ， 并 用 33. 1 节 中 的 叉 积 方法 对 极 角 进 行 比 
较 ， 执 行 第 2 行 代 码 所 需 的 时 间 为 O(nlg n)。( 对 所 有 7 个 点 ， 我们 可 以 在 O(nlgn) 的 时 间 内 去 
掉 除 最 远 点 外 所 有 极 角 相同 的 点 。) 第 5 一 8 行 执行 时 间 为 0(1)。 因 为 mn 一 1， 所 以 第 9 一 12 行 
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for 循 环 至 多 执行 n—3 次 。 因 为 PUSH 的 执行 时 间 为 O(1)， 所 以 ， 除 了 花 在 第 10~11 77 while 
循环 上 的 时 间 外 ， 每 一 次 迭代 需要 O(1) 的 时 间 。 于 是 ， 除 去 执行 典 套 while 循环 所 需 的 时 间 外 ， 
整个 for 循环 的 执行 时 间 为 O(n)。 

下 面 运用 聚合 分 析 方 法 来 证 明 执行 整个 while 循环 所 需 的 时 间 为 O(n), Xf i=O, 1, ++, m, 
每 个 点 p HEARERS 一 次 。 和 在 17. 1 节 中 对 过 程 MULTIPOP 的 分 析 类 似 ， 注 意 到 我 们 所 能 执行 
的 POP 操作 的 次 数 至 多 与 PUSH 次 数 相同 。 至 少 有 三 个 点 (加 、 妃 和 p,) 不 会 从 栈 中 弹出 ， 所 以 
事实 上 总 共 至 多 执行 m 一 2 次 POP HE., While 循环 中 每 次 迭代 时 执行 一 次 POP 操作 ， 因 此 ， 
while 循环 总 共 至 多 执行 m 一 2 次 迭代 。 由 于 第 10 行 的 测试 所 需 时 间 为 0(1)， 每 次 调用 POP 所 
需 的 时 间 为 O(1)， 且 xm 三 n 一 1， 所 以 执行 while 循环 所 需 的 全 部 时 间 为 O(n)。 因 此 ， 过 程 
GRAHAM-SCAN 的 运行 时 间 为 O(nlgn)。 

Jarvis 步 进 法 

Jarvis 步 进 法 运用 一 种 称 为 打包 (package wrappjng) 或 包装 礼物 (gift wrapping) 的 技术 来 计算 
一 个 点 集 Q@ 的 凸 包 。 算 法 的 运行 时 间 为 O(nh)， 其 中 是 CH(Q 中 的 顶点 数 。 当 有 h 为 o(lgn) 时 ， 
Jarvis 步 进 法 在 渐 近 意义 上 比 Graham 扫描 法 更 快 。 

从 直观 上 看 ， 可 以 把 Jarvis 步 进 法 看 做 是 在 集合 Q 的 外 面 紧 紧 地 包 了 一 层 纸 。 开 始 时 ， 把 纸 
的 末端 钉 在 集合 中 最 低 的 点 上 ， 即 钉 在 与 Graham 扫描 法 相同 的 起 始点 如 上。 该 点 为 凸 包 的 一 
个 顶点 。 把 纸 拉 向 右边 使 其 绷 紧 ， 然 后 再 把 纸 拉 高 一 些 ， 直 到 碰 到 一 个 点 。 该 点 也 必定 是 凸 包 的 
一 个 顶点。 使 纸 保持 绷 紧 状态 ， 用 这 种 方法 继续 围绕 顶点 集合 ， 直 至 回 到 起 始点 poo 

更 形式 化 地 说 ，Jarvis 步 进 法 构造 了 CH(Q) 的 顶点 序列 H=, Dis ts Paa) Po 为 起 始 
点 。 如 图 33-9 所 示 ， 下 一 个 凸 包 顶点 加 具有 相对 于 po 的 最 小 极 角 。( 如 果 有 数 个 这 样 的 点 ， 就 选 
PUER po 最 远 的 点 作为 pi ZM, p 具有 相对 于 b 的 最 小 极 角 ， 依 此 类 推 。 当 到 达 最 高 顶点 ， 
如 p.( 如 果 有 数 个 这 样 的 点 ， 则 选取 距离 最 远 的 点 ) 时 ， 我们 已 经 构造 好 了 CH(Q) 的 右 链 ， 如 
图 33-9 所 示 。 为 了 构造 其 左 链 ， 从 Pp 开始 选取 相对 于 pe 具有 最 小 极 角 的 点 作为 Peris IXA x 
轴 是 原 工 轴 的 负 方 向 。 如 此 继续 下 去 ， 根 据 负 z 轴 的 极 角 逐渐 形成 左 链 ， 直 至 回 到 初始 顶点 po 


seit lt 





ee ER 
33-9 Jarvis 步 进 法 的 操作 。 选 择 第 一 个 顶点 po 作为 最 低 的 点 。 下 一 个 顶点 pi 与 其 他 点 相 比 ， 


有 着 相对 于 po 的 最 小 极 角 。 接 着 ，ps 有 着 相对 于 pi 的 最 小 极 角 。 右 链 最 高 达到 最 高 点 
pse RE, WARAH 工 轴 的 最 小 极 角 将 左 链 构造 出 来 
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可 以 用 围绕 凸 包 的 一 次 扫除 来 实现 Jarvis 步 进 法 ， 也 就 是 说 ， 无 需 分 别 构造 左 链 和 右 链 。 在 
这 样 一 种 典型 的 实现 方法 中 ， 要 随时 记录 上 一 次 选取 的 凸 包 的 边 ， 并 要 求 凸 包 边 的 角度 序列 严 
格 递增 ( 在 0 一 2x 弧度 范围 内 ) 。 分 别 构造 左 、 右 链 的 优点 是 无 需 显 式 地 计算 角度 ，33. 1 节 介绍 
的 技术 就 足以 用 来 对 角度 进行 比较 了 。 

如 果 正 确 地 执行 Jarvis 步 进 法 ， 其 运行 时 间 可 达到 O(nh)。 对 CH(Q@) 的 h 个 顶点 ， 都 需要 找 
出 具有 最 小 极 角 的 顶点 。 如 果 采 用 33. 1 节 中 讨论 过 的 技术 ， 则 每 次 极 角 比 较 操作 所 需 的 时 间 为 
OQ). IEW 9.1 节 所 示 ， 如 果 每 次 比较 操作 所 需 时 间 为 0(1)， 则 可 以 在 O(n) 时 间 内 计算 出 nn 个 
值 中 的 最 小 值 。 因 此 ，Jarvis 步 进 法 的 运行 时 间 为 Oah). 


练习 

33.3-1 证 明 : 在 过 程 GRAHAM-SCAN P, 点 pi 和 如 必定 是 CHCQ) 的 顶点 。 

33.3-2 考虑 一 个 能 支持 加 法 、 比 较 和 乘法 运算 的 计算 模型 ， 用 该 模型 对 n 个 数 进行 排序 时 ， 其 
FARA QCnlgn)。 证 明 : 当 在 这 样 一 个 模型 中 有 序 地 计算 出 由 7 个 点 组 成 的 集合 的 凸 包 
时 ， 其 下 界 为 Align). 

33.3-3 已 知 一 个 点 集 Q， 证 明 彼 此 相距 最 远 的 点 对 必定 是 CHCQ) 中 的 顶点 。 

33.3-4 对 一 个 给 定 的 多 边 形 P 和 在 其 边界 上 的 一 个 点 q，gq 的 投影 是 满足 线段 qr 完全 在 P 的 边 
界 上 或 内 部 的 点 -的 集合 。 正 如 图 33-10 所 示 ， 如 果 在 的 内 部 存在 一 个 点 志 ， 它 处 于 
P 的 边界 上 每 个 点 的 投影 中 ， 则 多 边 形 P 是 星 形 多 边 形 。 所 有 满足 这 种 条 件 的 点 p 的 集 
合 称 为 P 的 内 核 。 给 定 一 个 个 顶点 的 星 形 多 边 形 P， 它 的 各 个 顶点 已 按 逆 时 针 方 向 排 
序 ， 试 说 明 如 何在 O(n) 的 时 间 内 计算 出 CHCQ) 。 





(a) 


图 33-10 练习 33. 3-4 中 用 到 的 星 形 多 边 形 的 定义 。(a) 一 个 星 形 多 边 形 。 从 p 
至 边界 上 任何 点 q 的 线段 仅 在 g 处 与 边界 相交 。(b) 一 个 非 星 形 多 边 
形 。 左 边 投影 区 域 为 q 的 投影 ， 而 右边 的 投影 区 域 为 g 的 投影 。 由 
于 这 些 区 域 是 不 相交 的 ， 故 内 核 为 空 


33.3-5 ”在 联机 凸 包 问题 (on-line convex-hull problem) 中， 每 次 只 给 出 由 个 点 所 组 成 的 集合 Q 
中 的 一 个 点 。 在 接收 到 每 个 点 后 ， 就 计算 出 当前 所 有 点 的 凸 包 。 显 然 ， 可 以 对 每 个 点 运 
行 一 次 Graham 扫描 算法 ， 总 的 运行 时 间 为 O? lg n)。 试 说 明 如 何在 OC ) 时 间 内 解决 
KIL ala a. 
*33.3-6 ” 试 说 明 如 何 实 现 增 量 法 ， 以 在 OC lg nn) 的 时 间 内 计算 出 个 点 的 凸 包 。 


33.4 寻找 最 近 点 对 
现在 来 考虑 一 下 在 "之 2 个 点 的 集合 Q 中 寻找 最 近 点 对 的 问题 。“ 最 近 ” 指 的 是 通常 意义 下 的 欧 


几 里 得 距离 : 点 pPi=(y; yA b= (22, 罗 ) 之 间 的 欧 几 里 得 距离 为 (aa) +n) 集 
合 Q 中 的 两 个 点 可 能 会 重合 ， 这 种 情况 下 ， 它 们 之 间 的 距离 为 0。 最 近 点 对 问题 可 以 应 用 于 交通 
控制 等 系统 中 。 为 检测 出 潜在 的 碰撞 事故 ， 在 空中 或 海洋 交通 控制 系统 中 ， 需 要 识别 出 两 个 距离 
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最 近 的 交通 工具 。 
在 暴力 搜索 最 近 点 对 的 算法 中 ， 只 需 简单 地 查看 所 有 (”) B(x) 个 点 对 。 本 节 将 介绍 一 种 


解决 该 问题 的 分 治 算法 ， 其 运行 时 间 可 以 用 大 家 熟悉 的 递归 式 T 二 2T(n/2) 十 O(n) 来 描述 。 
因此 ， 该 算法 的 运行 时 间 仅 为 Olg n). 

分 治 算法 

算法 每 一 次 递归 调用 的 输入 为 子 集 PEQ 以 及 数组 X 和 Y， 每 个 数组 均 包 含 输入 子 集 书 的 所 
有 点 。 对 数组 关中 的 点 排序 ， 使 其 xz 坐标 单调 递增 ,类 似 地 ， 对 数组 Y 中 的 点 排序 ， 使 其 y 坐 
标 单调 递增 。 注 意 ， 为 了 维持 Olg nn) 的 时 间 界 ， 不 能 在 每 次 递归 调用 中 都 进行 排序 。 否 则 ， 运 
行 时 间 的 递归 式 就 变 为 T(n)= 二 2T(n/2) 十 Olnlgn)， 其 解 为 T(n) 二 O(nlg*n)。( 利 用 练习 4. 6-2 
中 给 出 的 主 方法 。) 我 们 稍 后 将 会 看 到 如 何 运 用 “ 预 排 序 ” 来 维持 这 种 排序 性 质 ， 而 无 需 在 每 次 递归 
调用 中 都 进行 排序 。 

输入 为 P、X 和 YY 的 递归 调用 首先 检查 是 否 有 |P| 三 3 成 立 。 如 果 有 ， 则 仅 执 行 上 述 的 暴力 


方法 : 对 所 有 (| ) 个 点 对 进行 检查 ， 并 返回 最 近 点 对 。 如 果 |P| 二 3， 则 递归 调用 执行 如 下 分 


治 法 模式 。 

分 解 : 找 出 一 条 垂直 线 !， 它 把 点 集 已 对 分 为 满足 下 列 条 件 的 两 个 集合 Pl 和 Pr: 使 得 
|Pi|=[|1P1/21，| Pel =LIP|/2), Po 中 的 所 有 点 都 在 直线 1 上 或 在 1 的 左 侧 ，Ps 中 的 所 有 点 
都 在 直线 :上 或 在 /的 右 侧 。 数 组 XX 被 划分 为 两 个 数组 X 和 XR， 分 别 包含 已 和 Pe 中 的 点 ， 
并 按 z 坐标 单调 递增 的 顺序 进行 排序 。 类 似 地 ， 将 数组 Y 划分 为 两 个 数组 Y. A Yr HAA 
Pi 和 Pr 中 的 点 ， 并 按 y 坐标 单调 递增 的 顺序 进行 排序 。 

解决 : 把 PP 划分 为 Pi 和 PR 后 ， 再 进行 两 次 递归 调用 ， 一 次 找 出 Pi 中 的 最 近 点 对 ， 另 一 次 
找 出 Pr 中 的 最 近 点 对 。 第 一 次 调用 的 输入 为 子 集 已 、 数 组 X, YL: 第 二 次 调用 的 输入 为 子 集 
Pr. Xr 和 Yr。 令 Pi 和 Pr 返回 的 最 近 点 对 的 距离 分 别 为 6. Moe, HAR O=min(d,, de). 

合并 : 最 近 点 对 要 么 是 某 次 递归 调用 找 出 的 距离 为 6 的 点 对 ， 要 么 是 Pi 中 的 一 个 点 与 Pr 
中 的 一 个 点 组 成 的 点 对 。 算 法 确定 是 否 存 在 距离 小 于 6 的 一 个 点 对 ， 一 个 点 位 于 PL 中 ， 另 一 个 
点 位 于 Pr 中 。 注 意 ， 如 果 存 在 这 样 的 一 个 点 对 ， 则 点 对 中 的 两 个 点 与 直线 /的 距离 必定 都 在 6 
单位 之 内 。 因 此 ， 如 图 33-11(a) 所 示 ， 它 们 必定 都 处 于 以 直线 /为 中 心 、 宽 度 为 26 的 垂直 带 形 
区 域内 。 为 了 找 出 这 样 的 点 对 (如 果 存 在 )， 算 法 要 做 如 下 工作 : 

1. 建立 一 个 数组 Y ， 它 是 把 数组 Y 中 所 有 不 在 宽度 为 26 的 垂直 带 形 区 域内 的 点 去 掉 后 所 得 
的 数组 。 数 组 与 Y 一 样 ， 是 按 y 坐标 顺序 排序 的 。 

2. 对 数组 Y 中 的 每 个 点 p, 算法 试图 找 出 Y' 中 距离 p 在 6 单位 以 内 的 点 。 下 面 将 会 看 到 ， 
在 六 中 仅 需 考虑 紧 随 pp 后 的 7 个 点 。 算 法 计算 出 从 p 到 这 7 个 点 的 距离 ， 并 记录 下 YY 的 所 有 点 
对 中 最 近 点 对 的 距离 $ 。 

3. 如 果 6' 二 8， 则 垂直 带 形 区 域内 的 确 包 含 比 根据 递归 调用 所 找 出 的 最 近 距 离 更 近 的 点 对 ， 
于 是 返回 该 点 对 及 其 距离 5。 否则 ， 返 回 函 数 的 递归 调用 中 发 现 的 最 近 点 对 及 其 距离 。 

上 述 描 述 中 ， 省 略 了 一 些 对 获得 OC lg nn) 运 行 时 间 非 常 必要 的 实现 细节 。 在 证 明 算法 的 正确 
性 以 后 ， 将 说 明 如 何 实现 算法 才能 获得 要 求 的 运行 时 间 。 

正确 性 

除 以 下 两 方面 外 ， 这 种 最 近 点 对 算法 的 正确 性 是 显而易见 的 。 第 一 ， 当 | P| 三 3 时 ， 将 递归 
调用 过 程 进行 到 底 ， 就 可 以 确保 不 会 解 仅 含 一 个 点 的 子 问 题 。 第 二 ， 仅 需 检查 数组 Y 中 紧 随 每 
个 点 了 后 的 7 个 点 。 现 在 就 来 证 明 这 条 性 质 。 
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假定 在 某 一 级 递归 调用 中 ， 最 近 点 对 为 p.€ PL，pr€ Pr， 则 pr 和 pr 间 的 距离 9 严格 小 于 
86。 点 p 必定 在 直线 1 上 ,或 者 在 1 左边 6 单位 之 内 。 类 似 地 ，pr 必定 在 直线 ! 上， 或 者 在 ! 右 
We 单位 之 内 。 此 外 ，pr 和 pr 相互 之 间 的 垂直 距离 也 小 于 6 单位 。 因 此 ， 正 如 图 33-11(a) 所 示 ， 
pr 和 pr 在 以 直线 ; 为 中 心 线 的 S$SX28 矩形 区 域内 。( 在 该 矩形 内 也 可 能 有 其 他 点 。) 

下 面 来 证 明 该 SX 28 矩形 区 域内 至 多 有 忆 中 8 个 点 。 考 察 该 矩形 左 半边 的 $X8 正方 形 。 
为 已 中 所 有 点 之 间 至 少 相距 5 单位 ， 所 以 该 正方 形 内 至 多 有 4 个 点 ， 图 33-11(b) 说 明了 原因 。 
AV, Pr 中 至 多 有 4 个 点 可 能 位 于 该 矩形 右 半 边 的 $SX 8 EWEN., Ai, P PESH 8 个 点 
可 能 位 于 该 SX 26 矩形 内 。( 注 意 ， 由 于 直线 上 的 点 既 可 能 属于 已 ， 也 可 能 属于 Pe， 所 以 直线 / 
上 至 多 有 4 个 点 。 如 果 有 两 对 重合 的 点 ， 每 对 包含 一 个 Pi 中 的 点 和 一 个 Pr 中 的 点 ， 且 其 中 一 
对 在 直线 ! 与 矩形 上 面 边 的 交点 处 ， 另 一 对 在 直线 /与 矩形 下 面 边 的 交点 处 ， 就 会 达到 上 述 
限制 。) 


H Py 





H Pr 
j P, <4 
e 2 ô 
wo 重合 
° | hee 一 个 在 
a 3 人 个 在 Ph 
| 重合 点 

$ 一 个 在 PP 
$ AME Pr 





(a) (b) 


图 33-11 在 证 明 最 近 顶 点 对 算法 仅 需要 检查 数组 Y 中 每 个 点 后 面 的 7 个 点 时 ， 所 涉及 的 一 些 关 键 概念 。 
(a) 如 果 pr E€ Pi，prEPr， 且 pr 和 pe 间 的 距离 小 于 6 单位 ， 则 它们 必定 位 于 一 个 以 直线 /为 
中 心 线 的 SX 28 矩形 区 域内 。(b)4 个 两 两 之 间距 离 至 少 为 6 单位 的 点 是 如 何 位 于 同一 个 6X5 正 
方形 内 的 。 左 边 为 已 中 的 4 个 点 ， 右 边 为 Pr 中 的 4 个 点 。 在 SX26 的 矩形 区 域内 ， 如 果 直 线 
i 上 示 出 的 点 是 重合 的 点 对 (其 中 一 个 点 在 PL 中 ， 另 一 个 在 PR 中 )， 就 可 能 会 有 8 个 点 


在 说 明了 尸 中 至 多 可 能 有 8 个 点 位 于 该 矩形 中 后 ， 就 很 容易 看 出 ， 为 什么 只 需要 检查 数组 
Y 中 每 个 点 之 后 的 7 个 点 。 仍 假设 最 近 的 点 对 为 pr 和 pr， 并 (不 失 一 般 性 ) 假 设 在 数组 Y H, pi 
位 于 pe 之 前 。 那 么 ， 即 使 pi 在 Y 中 尽 可 能 早 地 出 现 而 pr 尽 可 能 晚 地 出 现 ，pr 也 一 定 是 紧 随 
pi 的 7 个 位 置 中 的 一 个 。 由 此 ,证 明了 最 近 点 对 算法 的 正确 性 。 

算法 的 实现 与 运行 时 间 

正如 之 前 所 讨论 的 ， 我们 的 目标 是 得 到 关于 运行 时 间 的 递归 式 TC(n) 二 2T(n/2) 十 O(n), 其 
中 T(n) 是 在 包含 nn 个 点 的 集合 上 算法 的 运行 时 间 。 主 要 困难 在 于 确保 传递 给 递归 调用 的 数组 
Xi, Xr, Y, 和 Ys 按 适 当 的 坐标 进行 排序 ， 并 且 Y 按 y 坐标 进行 排序 。( 注 意 ， 如 果 某 次 递归 调 
用 接收 到 的 数组 X 已 经 排 好 序 ， 则 很 容易 在 线性 时 间 内 把 已 划分 为 P, Al Pr.) 

关键 点 在 于 ， 在 每 次 调用 中 ， 我 们 希望 形成 一 个 已 排序 数组 的 有 序 子 集 。 例 如 ， 某 个 特定 调 
用 的 输入 为 子 集 PA y 坐标 排序 的 数组 Y。 将 P 划分 为 Pi 和 Px 后 ， 需 要 在 线性 时 间 内 形成 
按 > 坐标 排序 的 数组 YL 和 Yr。 我 们 可 以 将 这 种 方法 看 做 与 2. 3. 1 节 中 介绍 的 归并 排序 过 程 
MERGE 相反 的 过 程 : 把 一 个 已 排序 数组 分 成 两 个 有 序数 组 。 下面 的 伪 代 码 给 出 了 这 种 思想 的 
实现 。 
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1 let Y,[1.. Y. length ]and Yr[1..Y. length be new arrays 
2 Y.. length=Yp. length=0 

3 fori = 1 to Y. length 

4 if Y[i]E P., 

5 Y,. length=YL. length+1 

6 Yi[Yi. length }=Y(i] 

7 else Yg. length=Yx. length+1 

8 Yr[Yk. length ]=Y[i]} 


我 们 仅仅 是 按 次 序 检查 数组 站 中 的 点 。 如 果 一 个 点 YL 在 PhP. UIE Sn BAY, 的 
末端 ; 否则， 将 其 添加 到 数组 Yr 的 末端 。 数 组 XL. Xe 和 YY 也 可 以 用 类 似 的 伪 代 码 来 实现 。 
剩 下 的 首要 问题 是 如 何 对 点 进行 排序 。 我 们 对 点 进行 预 排序 ， 即 在 第 一 次 递归 调用 前 ， 对 所 
有 点 进行 一 次 排序 。 将 这 些 有 序数 组 传递 到 第 一 次 递归 调用 中 ， 在 那里 ， 根 据 需 要 在 递归 调用 时 
对 其 进行 前 减 。 虽 然 预 排序 使 运行 时 间 增 加 了 O(nlgn)， 但 这 样 一 来 ， 除 递归 调用 外 ， 递 归 过 程 
的 每 一 步 仅 需 线性 时 间 。 如 果 令 T(z) 为 每 一 步 递归 的 运行 时 间 ，T (nm) 为 整个 算法 的 运行 时 间 ， 
WT DST +O@lgn), FE 
2T(n/2) 十 Ol(n) wKn>3 
O(1) wRn<3 
KHH, Tin)=O(™lgn), Tn) =O(lg n). 


练习 


33.4-1 Williams 教授 提出 了 一 个 方案 ， 可 以 在 最 近 点 对 算法 中 ， 只 检查 数组 Y 中 每 个 点 后 面 的 
5 个 点 ， 其 思想 是 ， 总 是 将 直线 :上 的 点 放 入 集合 Pi 中 。 那 么 ， 直 线 ! 上 就 不 可 能 有 一 
个 点 属于 Pr， 另 一 个 点 属于 Pr 的 重合 点 对 。 因 此 ， 至 多 可 能 有 6 个 点 处 于 6X26 HR 
形 内 。 这 种 方案 的 缺陷 何在 ? 

33. 4-2” 试 说 明 只 检查 数组 Y 中 跟随 在 每 个 点 后 的 5 个 数组 位 置 就 足够 了 。 

33. 4-3 ”两 点 之 间 的 距离 除 欧 几 里 得 距离 外 ， 还 有 其 他 定义 方法 。 在 平面 上 ,点 户 A p 之 间 的 
Ln 距离 由 下 式 给 出 :〈| zz 一 zz1" 十 | 一 yz1")"”。 因 此 ， 欧 几 里 得 距离 实际 上 是 L E 
离 。 修 改 最 近 点 对 算法 ， 使 其 适用 于 L 距离 ， 也 称 为 曼哈顿 距离 (Manhattan distance), 

33.4-4 已 知 平面 上 的 两 个 点 pi Ap. CNL LERH max | rael, ymyl). & 
改 最 近 点 对 算法 ， 使 其 适用 于 LERN. 

33.4-5 假设 最 近 点 对 算法 里 Q(Cz)? 对 点 是 共 垂 线 的 。 试 说 明 如 何 确定 集合 已 和 PR 以 及 如 何 确 
E Y 中 的 每 个 点 是 在 Pi 还 是 Pe 中 ， 从 而 使 最 近 点 对 算法 的 运行 时 间 保 持 O(n Ig n). 

33.46 ”对 最 近 点 对 算法 进行 修改 ,使 其 能 避免 对 数组 Y 进行 预 排序 ， 但 仍然 能 使 算法 的 运行 时 
间 保 持 为 Ol(nlg n)。( 提 示 : 将 已 排序 的 数组 Y, 和 Yr 加 以 合并 ， 以 形成 有 序数 组 Y。) 


思考 题 

33-1 (44%) 已 知 平面 上 的 点 集 Q， 我 们 用 归纳 法 来 定义 Q 的 凸 层 (convex layer), Q 的 第 一 
凸 层 是 由 Q 中 属于 CHCQ) 顶点 的 那些 点 组 成 。 对 i>, EQ 由 把 Q 中 所 有 在 凸 层 
1，2，…，i;i 一 1 中 的 点 去 除 后 所 剩余 的 点 构成 。 如 果 QQ 天 弛 ,， 那么 Q 的 第 ;im 凸 层 为 
CHQ); 否则 ， 第 i DAREN. 
a 写 出 一 个 运行 时 间 为 OG ) 的 算法 ， 以 找 出 > 个 点 所 组 成 的 集合 的 各 凸 层 。 
b. 证 明 : 在 对 nn 个 实数 进行 排序 所 需 时 间 为 Alg nn) 的 任何 计算 模型 上 ， 计 算 n 个 点 的 凸 

层 需要 Qnlg nn) 时 间 。 


Tn) = | 
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33-2 (RKE) 设 Q 是 平面 上 n 个 点 所 组 成 的 集合 。 如 果 有 z 宇 zx' 且 y 宇 y ， 则 称 点 (x，y) 支 


33-3 


33-4 


33-5 


配点 (z'，y')。Q 中 不 被 其 中 任何 其 他 点 支配 的 点 称 为 最 大 点 。 注 意 ，Q 可 以 包含 许多 最 
大 点 ， 可 以 把 这 些 最 大 点 组 织 成 如 下 的 最 大 层 。 第 一 最 大 层 L 是 Q 中 最 大 点 构成 的 集合 。 


对 i>1, 第 i 最 大 层 L, 是 Q 一 U L 中 的 最 大 点 构成 的 集合 。 
BAQUE k 个 非 空 的 最 大 层 ， 并 设 y JEL, 中 最 左边 点 的 y 坐标 (i 一 1，2，…， 且 。 
假定 Q 中 没有 两 个 点 有 相同 的 £ 坐标 或 y 坐标 。 
a. 证 明 y > ye Mo 
考虑 一 个 点 (x，y)， 它 在 Q 中 任意 点 的 左边 ， 并 且 其 y 坐标 与 Q 中 任何 点 的 y 坐标 
都 不 相同 BEQ'=QU{(z, y)}. 
b. Bij EWE <> 的 最 小 下 标 ， 除 非 y 二 yt， 在 这 种 情况 下 ， 令 j 二 十 1。 证明 Q 的 最 
大 层 如 下 : 
。 若 j 过 k， 则 Q' 的 最 大 层 与 Q 的 最 大 层 相 同 ， 只 是 L 也 包含 (tz，y) 作 为 其 新 的 最 


左 点 。 
。 若 j= 二 =k 十 1， 则 Q 的 前 & 个 最 大 层 与 Q 的 相同 ， 但 此 外 ，Q' 有 一 个 非 空 的 第 & 十 1 最 
AEB Li 一 {(z， y)}。 


c 描述 一 种 时 间 为 O(nlgn) 的 算法 ， 用 于 计算 出 包含 个 点 的 集合 Q 的 各 最 大 层 。( 提 示 : 
把 一 条 扫除 线 从 右 向 左 移动 。) 

d 如 果 人 允许 输入 点 有 相同 的 z 坐标 或 y 坐标 ， 会 不 会 出 现 问题 ? 如 果 会 ， 提 出 一 种 方法 
来 解决 这 一 问题 。 

(巨人 和 和 鬼 问题 ) 有 个 巨人 正 与 个 鬼 战斗 。 每 个 巨人 的 武器 是 一 个 质子 包 ， 它 可 以 用 

一 串 质子 流 射 中 鬼 来 把 鬼 消 灭 。 质 子 流 沿 直线 行进 ， 在 击 中 鬼 时 就 终止 。 巨 人 决定 采取 下 

列 策 略 。 他 们 各 自 寻 找 一 个 鬼 形成 个 巨人 - 鬼 对 ， 然 后 每 个 巨人 同时 向 各 自选 取 的 鬼 射 

出 一 串 质子 流 。 我 们 知道 ， 质 子 流 互相 交叉 是 很 危险 的 ， 因 此 ， 巨 人 选择 的 配对 方式 应 该 

使 质子 流 都 不 会 交叉 。 
假定 每 个 巨人 和 每 个 鬼 的 位 置 都 是 平面 上 一 个 固定 的 点 ， 并 且 没 有 三 个 位 置 共 线 。 

a. 论证 存在 一 条 通过 一 个 巨人 和 一 个 鬼 的 直线 ,使 得 直线 一 边 的 巨人 数 与 同一 边 的 鬼 数 
相等 。 试 说 明 如 何在 OC lg 时 间 内 找 出 这 样 一 条 直线 。 

b. 写 出 一 个 运行 时 间 为 OG? lg n) 的 算法 ,使 其 以 不 会 有 质子 流 交叉 为 条 件 把 巨人 与 鬼 
配对 。 

(拾取 棍子 问题 ) Charon 教授 及 根 小 棍子 ， 它 们 以 某 种 方式 互相 合 放 在 一 起 。 每 根 棍子 

都 用 其 端点 来 指定 ， 每 个 端点 都 是 一 个 有 序 的 三 元 组 ， 其 坐标 (z，>y，z) 已 知 。 所 有 棍子 

都 不 是 垂直 的 。 他 和 希望 拾取 所 有 的 棍子 ， 但 要 满足 如 下 条 件 : 一 次 一 根 地 挑 起 棍子 ， 当 一 

根 棍子 上 面 没有 压 着 其 他 棍子 时 ， 该 棍子 才 可 以 被 挑 起 。 

a 给 出 一 个 过 程 ， 取 两 根 棍子 a 和 2 作为 参数 ， 返 回 a 是 在 2 的 上 面 、 下 面 还 是 与 5 无 关 。 

b 给 出 一 个 有 效 的 算法 ， 用 于 确定 是 否 有 可 能 拾取 所 有 的 棍子 。 如 果 能 ， 提 供 一 个 拾取 
所 有 棍子 的 合法 顺序 。 

WALUTA) 考虑 计算 平面 上 点 集 的 凸 包 问 题 ， 但 这 些 点 是 根据 某 已 知 的 随机 分 布 取得 

的 。 有时， 从 这 样 一 种 分 布 中 取得 的 个 点 凸 包 的 期 望 规模 为 Ol(mw“)， 其 中 e 为 某 个 大 于 

0 的 常数 。 称 这 样 的 分 布 为 稀疏 包 分 布 。 稀 疏 包 分 布 包括 以 下 几 种 : 

。 点 是 均匀 地 从 一 个 单位 半径 的 圆 面 中 取得 的 ， 凸 包 的 期 望 规模 为 O). 

。 点 是 均匀 地 从 一 个 具有 条 边 的 凸 多 边 形 内 部 取得 的 (& 为 任意 常数 ) 。 凸 包 的 期 望 规模 
为 Bl(lgn)。 
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。 点 是 根据 二 维 正 态 分 布 取得 的 。 凸 包 的 期 望 规模 为 @( Vign)。 

a 已 知 两 个 分 别 有 m 和 x 个 顶点 的 凸 多 边 形 ， 说 明 如 何在 Oln 十 nn) 时 间 内 计算 出 全 部 
m+n 个 点 的 凸 包 (多 边 形 可 以 重重 )。 

b. 证 明 : 对 于 根据 稀疏 包 分 布 独立 取得 的 一 组 7 个 点 ， 其 是 包 可 以 在 O(n) 的 期 望 时 间 内 
计算 出 来 。( 提 示 : 采用 递归 方法 分 别 求 出 前 n/2 个 点 和 后 n/2 个 点 的 凸 包 ， 然 后 再 对 
结果 进行 合并 。) 


本 章 注 记 

本 章 只 是 刚刚 氛 开 了 计算 几何 学 算法 和 技术 这 一 神秘 面纱 的 一 角 。 有 关 计 算 几 何 学 的 参考 
书 很 多 ， 如 Preparata 和 Shamos[282]、Edelsbrunner[99]， 以 及 O’Rourke[269]. 

尽管 几何 学 从 古代 就 有 人 研究 了 ， 但 用 于 解决 几何 问题 的 算法 方面 的 发 展 相 对 来 说 却 是 比 
较 新 的 。Preparata 和 Shamos 指出 ， 最 早 的 用 于 描述 问题 复杂 性 的 记号 表示 是 由 E. Lemoine 于 
1902 年 提出 的 。 当 时 ， 他 正 致力 于 研究 欧 几 里 得 构造 ， 即 用 指南 针 和 尺子 所 做 的 构造 ， 并 设计 
出 了 5 条 原 语 : 将 指南 针 的 一 个 指针 放 在 某 一 给 定点 上 ， 将 指南 针 的 一 个 指针 放 在 某 一 给 定 的 线 
上 ， 画 一 个 圆 ， 使 尺子 的 边 通过 某 一 给 定 的 点 ， 画 一 条 直线 。Lemoine 对 完成 某 一 构造 所 需 的 原 
语 数目 比较 感 兴趣 ， 他 称 这 一 数目 为 该 构造 的 “简单 性 ”。 

33. 2 节 中 用 于 确定 任何 线段 是 否 相交 的 算法 是 由 Shamos 和 Hoey [313] 提 出 的 。 

Graham 扫描 算法 的 原始 版 本 是 由 Graham[150j 给 出 的 。 打 包 算法 是 由 Jarvis [189] 提 出 的 。 
Yao [359] 利 用 决策 树 计算 模型 ， 证 明了 凸 包 算法 运行 时 间 的 一 个 下 界 QCnlgn)。 当 将 凸 包 中 顶 
AAH h ZEEN, Kirkpatrick 和 SeidelL206 的 前 枝 -搜索 算法 是 渐 近 最 优 的 ， 其 运行 时 间 为 
O(nlg h). 

用 于 寻找 最 近 点 对 -运行 时 间 为 OC lg z) 的 分 治 算法 是 由 Shamos 提出 的 ， 并 出 现 于 
Preparata 和 Shamos[L282]j 中 。Preparata 和 Shamos 还 证 明了 在 决策 树 模型 下 ， 该 算法 是 渐 近 最 
优 的 。 
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迄今 为 止 ， 我 们 所 研究 的 所 有 算法 几乎 都 是 多 项 式 时 间 的 算法 : 对 于 规模 为 n 的 输入 ， 在 最 
坏 情况 下 的 运行 时 间 是 O( 办 ) ， 其 中 & 为 某 一 确定 常数 。 我 们 很 自然 地 会 想到 这 样 一 个 问题 : 是 
和 否 所 有 的 问题 都 可 以 在 多 项 式 时 间 内 解决 ? 答案 是 否定 的 ! 例如 ， 著 名 的 “图 灵 停 机 问题 “， 不管 
在 多 长 的 时 间 内 ， 都 不 能 被 任何 一 台 计 算 机 解决 。 另外， 还 有 许多 可 以 在 多 项 式 时 间 内 解决 的 问 
题 ， 但 对 任意 常数 &， 它 们 都 不 能 在 OC ) 时 间 内 被 解决 。 一 般 来 说 ,我 们 认为 在 多 项 式 时 间 内 
可 解 的 问题 是 易 处 理 的 问题 ， 在 超 多 项 式 时 间 内 解决 的 问题 是 不 易 处 理 的 问题 。 

本 章 的 主题 是 一 类 称 为 “NP 完全 ”的 有 趣 问题 ， 它 的 状态 是 未 知 的 。 迄 今 为 止 ， 既 没有 人 找 
出 求解 NP 完全 问题 的 多 项 式 时 间 算 法 ， 也 没有 人 能 够 证 明 对 这 类 问题 不 存在 多 项 式 时 间 算 法 。 
这 一 所 谓 的 PANP 问题 自 1971 年 被 提出 以 后 ， 已 经 成 为 理论 计算 机 科学 领域 中 最 深奥 、 最 令 人 
费解 的 开放 问题 之 一 。 

AJL NP 完全 问题 特别 诱 人 ， 因 为 它们 表面 上 看 起 来 和 我 们 已 知 的 可 以 用 多 项 式 时 间 算 法 
解决 的 问题 很 相似 。 在 下 面 列 出 的 每 一 对 问题 中 ， 一 个 是 可 以 用 多 项 式 时 间 算 法 来 解决 的 ， 另 一 
个 却 是 NP 完全 问题 ,但 是 它们 之 间 的 区 别 看 起 来 却 是 微乎其微 的 。 

最 短 与 最 长 简单 路 径 在 第 24 章 中 ,我 们 发 现 即使 边 的 权 值 为 负 ， 也 可 以 在 有 向 图 G=(V， 
EF, 76 OCVE) 的 时 间 内 从 单一 源 顶 点 开始 找到 最 短路 径 。 然 而 ， 在 两 个 顶点 间 找 到 最 长 简单 
路 径 问 题 却 是 困难 的 。 也 仅仅 只 有 “确定 是 否 一 个 图 在 给 定数 量 的 边 中 包含 一 条 简单 路 径 ” 这 一 
问题 才 是 NP 完全 问题 。 

欧 拉 回路 与 哈密 顿 圈 ”即使 允许 不 止 一 次 访问 每 一 个 结 点 ， 一 个 连通 有 向 图 G= 二 (V，E) 中 
的 欧 拉 回路 (Euler tour) 只 是 一 个 能 路 过 G 中 的 每 一 条 边 一 次 的 圈 。 在 思考 题 22-3 中 ， 我们 可 以 
确定 是 否 一 个 图 在 OC(E) 的 时 间 内 仅仅 有 一 个 欧 拉 回 路 ， 事实 上 ， 还 可 以 在 O(E) 的 时 间 内 遍历 
欧 拉 回路 中 的 各 条 边 。 一 个 有 向 图 G= 二 (V，E) 中 的 哈密 顿 圈 是 包含 V 中 每 一 个 顶点 的 简单 回路 。 
确定 一 个 有 向 图 中 是 否 包 含 哈 密 顿 圈 就 是 一 个 NP 完全 问题 。( 在 本 章 的 后 文中 ， 我 们 将 证 明确 
定 一 个 无 向 图 中 是 否 包含 哈密 顿 圈 是 一 个 NP 完全 问题 。) 

2-CNF 可 满足 性 问题 与 3-CNF 可 满足 性 问题 “在 一 个 布尔 公式 中 ， 可 以 包含 这 样 一 些 成 分 : 
取 值 为 1 或 0 的 布尔 变量 ; 布尔 连接 词 ， 如 入 (AND)、V (OR)、 一 (NOT); 括号 。 对 一 个 布尔 
公式 来 说 ， 若 存在 对 其 变量 的 某 种 0 和 1 的 赋值 ， 使 得 它 的 值 为 1， 则 此 布尔 表达 式 是 可 满足 
的 。 本 章 稍 后 将 更 加 形式 化 地 定义 这 些 术语 ， 但 是 非 形式 化 地 ， 若 布尔 公式 是 用 AND 连接 若干 
个 OR 子 句 ， 且 每 个 子 句 中 惟有 个 布尔 变量 或 其 否定 形式 ， 则 称 它 为 k 合 取 范 式 或 &-CNF。 例 
W, HARRER C Var) 人 (Ax, V az) A Or: V 一 xz;) 是 属于 2-CNF 的 (满足 赋值 条 件 n=l, 
Zz 一 0，Zs 二 1)。 虽 然 可 以 确定 在 多 项 式 时 间 内 一 个 2-CNF 布尔 表达 式 是 否 是 可 满足 的 ， 但 是 稍 
后 我 们 将 会 发 现 “ 证 明 一 个 3-CNF 布尔 表达 式 是 否 是 可 满足 的 ”是 一 个 NP 完全 问题 。 

NP 完全 性 与 P 类 问题 和 NP 类 问题 

纵 观 本 章 内容 ， 我 们 将 涉及 三 类 问题 : P 类 问题 、NP 类 问题 和 NPC 类 问题 ， 最 后 一 类 问题 
就 是 我 们 所 说 的 NP 完全 问题 。 这 里 ， 我 们 姑且 先 不 规范 地 描述 它们 ， 稍 后 将 形式 化 地 对 它们 进 
行 定 义 。 

P 类 问题 就 是 在 多 项 式 时 间 内 可 以 解决 的 问题 。 更 为 确切 地 说 ， 这 些 问 题 可 以 在 时 间 Ot) 
内 解决 ， 其 中 为 某 一 常量 ，n 是 此 问题 输入 的 规模 。 前 面 所 讨论 的 大 多 数 问 题 为 P 类 问题 。 
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NP 类 问题 是 指 那些 在 多 项 式 时 间 内 可 以 被 证 明 的 问题 。 那 么 所 谓 的 “可 被 证 明 ” 又 是 什么 意 
思 呢 ? 即 如 果 已 知 一 个 问题 解 的 证 书 (certificate)， 那 么 可 以 证 明 此 问题 在 该 输入 规模 下 能 在 多 
项 式 时 间 内 解决 。 例 如 ， 在 哈密 顿 圈 问题 中 ， 给 定 一 个 有 向 图 GSV, E, 证书 是 一 个 含有 
1V| 个 顶点 的 序列 (vw， Ur» WW Ujvi?» 我 们 可 以 轻易 地 证 明 Co, v+) EEG i=1, 2, 


3，…，|V| 一 1) REET MWE Covo ，w)EE。 再 看 另 一 个 例子 ， 对 于 3-CNF 可 满足 性 问 
题 ， 一 个 证 书 可 以 是 对 一 组 变量 的 一 个 赋值 。 我 们 可 以 在 多 项 式 时 间 内 检验 这 一 赋值 是 否 满足 
此 布尔 表达 式 。 


所 有 的 P 类 问题 同时 也 是 NP 类 问题 ， 因 为 如 果 一 个 问题 是 P 类 问题 ， 那 么 不 用 任何 证 书 就 
可 以 在 多 项 式 时 间 内 解决 它 。 我 们 稍 后 将 会 把 这 一 概念 形式 化 ， 但 是 现在 我 们 可 以 暂且 相信 有 
PSCNP。 至 于 P 类 问题 是 否 是 NP 类 问题 的 真子 集 ， 在 目前 是 一 个 开放 的 问题 。 

非 形式 地 ， 如 果 一 个 NP 问题 和 其 他 任何 NP 问题 一 样 “不 易 解 决 "， 那 么 我 们 认为 这 一 问题 
是 NPC 类 问题 或 称 之 为 NP 完全 问题 。 本 章 稍 后 将 会 形式 化 地 定义 什么 是 所 谓 的 “和 其 他 NP 问 
题 一 样 ' 不 易 解 决 '”。 同 时 ， 我 们 将 不 加 证 明 地 宣称 : 如 果 任 何 NP 完全 问题 可 以 在 多 项 式 时 间 
内 人 解决， 那么 所 有 NP 问题 都 有 一 个 多 项 式 时间 算 法 。 大 多 数 从 事理 论 研究 的 计算 机 科学 家 认为 
NP 完全 问题 是 “不 易 解 决 ”" 的 ， 因 为 迄今 为 止 研究 过 的 NP 完全 问题 非常 之 多 ， 但 还 没有 任何 人 
发 现任 何 一 个 问题 的 多 项 式 时 间 解 决 方案 。 因 此 ， 如 果 所 有 NP 完全 问题 都 能 在 多 项 式 时 间 内 解 
决 ， 那 将 是 令 人 震惊 的 。 然 而 ， 尽 管 迄 今 为 止 ， 人 们 付出 大 量 的 努力 来 证 明 NP 完全 问题 是 不 易 
解决 的 ， 但 却 没有 一 个 结论 性 研究 成 果 ， 所 以 我 们 不 能 排除 NP 完全 问题 实际 上 可 以 在 多 项 式 时 
间 内 求解 的 可 能 性 。 

要 成 为 一 名 优秀 的 算法 设计 者 ， 就 一 定 要 懂得 NP 完全 问题 的 基本 原理 。 如 果 读 者 能 够 确定 
一 个 NP 完全 问题 ， 就 可 以 提供 充分 的 论据 说 明 其 不 易 处 理性 。 作 为 一 名 工程 师 ， 更 好 的 办 法 就 
是 花 时 间 开 发 一 种 近似 算法 ( 见 第 35 章 ) 或 解决 某 种 易 处 理 问 题 的 特例 ， 而 不 是 寻找 求 得 问题 确 
切 解 的 一 种 快速 算法 。 此 外 ， 从 表面 上 看 ， 很 多 固有 而 有 趣 的 问题 并 不 比 排序 、 图 的 搜索 或 者 网 
络 流 问 题 更 难 ， 但 事实 上 ， 它 们 却 是 NP 完全 问题 。 因 此 ， 熟 悉 这 类 问题 是 十 分 重要 的 。 

证 明 NP 完全 问题 概述 

在 证 明 某 一 个 特定 的 问题 是 NP 完全 问题 时 ， 我 们 所 采用 的 技术 与 本 书 中 大 部 分 内 容 里 设计 
和 分 析 算 法 时 用 到 的 技术 都 有 所 不 同 。 之 所 以 会 产生 这 样 的 差别 ， 有 一 个 根本 的 原因 : 当 证 明 一 
个 问题 为 NP 完全 问题 时 ， 我 们 是 在 陈述 它 是 一 个 多 么 困难 的 问题 (或 至 少 我 们 认为 他 有 多 难 ) 。 
我 们 并 不 是 要 证 明 存 在 某 个 有 效 的 算法 ， 而 是 要 证 明 不 太 可 能 存在 有 效 的 算法 。 从 这 样 的 角度 
来 看 ，NP 完全 性 证 明和 8. 1 节 中 “对 任何 比较 排序 算法 的 运行 时 间 下 界 AC lg 2 的 证 明 有 点 类 
似 。 然 而 ， 在 证 明 NP 完全 性 时 所 用 到 的 特殊 技巧 与 8. 1 中 所 用 的 决策 树 方法 却 是 大 相 径 庭 的 。 

在 证 明 一 个 问题 是 NP 完全 问题 时 ， 要 依赖 于 三 个 关键 概念 。 

判定 问题 与 最 优化 问题 

很 多 有 趣 的 问题 都 是 最 优化 问题 (optimization problem), ， 其 中 每 一 个 可 行 的 解 ( 即 “合理 的 
解 ”) 都 有 一 个 关联 的 值 ， 我 们 希望 找 出 一 个 具有 最 佳 值 的 可 行 解 。 例如， 在 一 个 称 为 
SHORTEST-PATH 的 问题 中 ,已 知 无 向 图 G 以 及 顶点 u Av, WRH u 和 w 之 间 经 过 边 数 目 最 
少 的 一 条 路 径 。 换 句 话说 ，SHORTEST-PATH 是 一 个 在 无 权 、 无 向 图 中 的 单 点 对 间 最 短路 径 问 
题 。 然 而 ，NP 完全 性 不 适合 直接 应 用 于 最 优化 问题 ， 但 适合 用 于 判定 问题 (decision problem), 
因为 这 种 问题 的 答案 是 简单 的 “是 ?或 “和 否 ”( 或 者 ， 更 为 形式 化 地 ， 答 案 是 “1? 或 “0”) 。 

尽管 证 明 一 个 问题 是 NP 完全 问题 会 将 我 们 的 目光 局 限于 判定 问题 ， 但 我 们 可 以 利用 最 优化 
问题 与 判定 问题 之 间 存 在 的 方便 关系 。 通 常 ， 通 过 对 待 优化 的 值 强加 一 个 界 ， 就 可 以 将 一 个 给 定 
的 最 优化 问题 转化 为 一 个 相关 的 判定 问题 了 。 例 如 ， 对 SHORTEST-PATH 问题 来 说 ， 有 一 个 相 
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关 的 判定 问题 ( 称 之 为 PATH)， 就 是 要 判定 给 定 的 有 向 图 G、 顶 点 w 和 vw、 一 个 整数 &， E u Mv 
之 间 是 否 存在 一 条 至 多 包含 & 条 边 的 路 径 。 

当 我 们 试图 证 明 最 优化 问题 “不 易 处 理 ” 时 ， 就 可 以 利用 该 问题 与 相关 的 判定 问题 之 间 的 关 
系 。 这 是 因为 ， 从 某 种 意义 上 来 说 ,判定 问题 要 “更 容易 一 些 ”， 或 至 少 “ 不 会 更 难 ”。 举 一 个 十 分 
典型 的 例子 ， 我 们 可 以 先 解决 SHORTEST-PATH 问题 再 将 找 出 最 短路 径 上 边 的 数目 与 相关 判 
定 问 题 中 的 参数 & 进行 比较 ， 从 而 解决 PATH 问题 。 换 名 话说， 如 果 某 个 最 优化 问题 比较 容易 ， 
那么 其 相关 的 判定 问题 也 会 比较 容易 。 按 照 与 NP 完全 性 更 为 相关 的 方式 来 说 ， 就 是 如 果 我 们 能 
够 提供 证 据 表明 某 个 判定 问题 是 个 困难 问题 ， 就 等 于 提供 了 证 据 表明 其 相关 的 最 优化 问题 也 是 
困难 的 。 因 此 ， 即 使 NP 完全 性 理论 限制 了 人 们 对 判定 问题 的 关注 ， 但 它 对 最 优化 问题 通常 还 是 
有 一 定 意义 的 。 

归 约 

上 述 有 关 证 明 问 题 不 难于 也 不 简单 于 另 一 个 问题 的 说 法 ， 对 两 个 问题 都 是 判定 问题 也 是 适 
用 的 。 我 们 可 以 把 这 一 思想 应 用 于 几乎 每 一 个 NP 完全 问题 的 证 明 中 ， 做 法 如 下 : 我 们 来 考虑 一 
个 判定 问题 A， 希 望 在 多 项 式 时 间 内 解决 该 问题 。 称 某 一 特定 问题 的 输入 为 该 问题 的 实例 
(instance) 。 例 如 ，PATH 问题 中 的 实例 可 以 是 某 一 特定 的 图 G、G 中 特定 的 点 和 v， 以 及 一 个 
特定 的 整数 &。 现 在 ， 假 设 有 另 一 个 不 同 的 判定 问题 B, 我们 知道 如 何在 多 项 式 时 间 内 解决 它 。 
最 后 假设 有 一 个 过 程 ， 它 可 以 将 A 的 任何 实例 a 转化 成 B 的 具有 以 下 特征 的 某 个 实例 B: 

。 转换 操作 需要 多 项 式 时 间 。 

。 两 个 实例 的 解 是 相同 的 。 也 就 是 说 ，a 的 解 是 “是 ”>， 当 且 仅 当 有 8 的 解 也 是 “是 ”。 
我 们 称 这 一 过 程 为 多 项 式 时间 归 约 算法 (reduction algorithm)， 并 且 如 图 34-1 所 示 ， 它 提供 了 一 
种 在 多 项 式 时 间 内 解决 问题 A 的 方法 : 

1. 给 定 问 题 A 的 实例 a， 利 用 多 项 式 时 间 归 约 算法 ， 将 它 转 化 为 问题 B 的 一 个 实例 8。 

2. FEB BE, AT B 的 多 项 式 时 间 判 定 算法 。 

3. 将 8B 的 解 作为 a 的 解 。 
只 要 上 述 过 程 中 的 每 一 步 只 需要 多 项 式 时 间 ， 则 所 有 三 步 合 起 来 也 只 需要 多 项 式 时 间 ， 这 样 ， 我 
们 就 有 了 一 种 在 多 项 式 时 间 对 a 进行 判断 的 方法 。 换 名 话说， 通过 将 问题 A 的 求解 “ 归 约 ”为 对 
问题 B 的 求解 ， 就 可 以 利用 问题 B 的 “ 易 求解 性 ”来 证 明 A 的 “ 易 求 解 性 ”。 
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图 34-1 在 给 定 另 一 个 问题 B 的 多 项 式 时 间 判 定 算法 后 ， 如 何 利 用 多 项 式 时 间 归 约 算法 在 多 
项 式 时 间 内 解决 判定 问题 A。 将 A 的 实例 a 在 多 项 式 时 间 内 转换 为 B 的 实例 8， 在 
多 项 式 时 间 内 解决 B， 再 将 8 作为 a 的 解 


前 文 说 过 NP 完全 问题 是 为 了 反映 一 个 问题 有 多 难 ， 而 不 是 为 了 反映 它 有 多 容易 ， 因 此 ， 我 
们 以 相反 的 方式 来 利用 多 项 式 时 间 归 约 ， 从 而 说 明 某 一 问题 是 NP 完全 的 。 可 以 将 这 一 思想 进 一 
步 延伸 ， 并 说 明 如 何 利用 多 项 式 时 间 的 归 约 问题 来 表明 对 某 一 特定 问题 B 而 言 ， 不 存在 多 项 式 
时 间 算 法 。 假 设 有 一 个 “判定 问题 >A， 我 们 已 经 知道 它 不 可 能 存在 多 项 式 时 间 算 法 。( 此 时 暂且 
不 考虑 如 何 找到 这 样 一 个 A.。) 进 一 步 假设 有 一 个 多 项 式 时 间 的 归 约 ， 它 将 A 的 一 个 实例 转化 为 
一 个 B 的 实例 。 现 在 ， 可 以 用 反 证 法 来 证 明 B 不 可 能 存在 多 项 式 时 间 算 法 。 那 么 应 用 如 图 34-1 
所 示 的 方法 ,我 们 就 有 某 种 方法 能 在 多 项 式 时 间 内 解决 A， 而 这 与 A 没有 多 项 式 时 间 算 法 这 一 
假设 矛盾 。 
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至 于 NP 完全 性 ， 我 们 不 能 假设 问题 A 绝对 没有 多 项 式 时 间 算 法 。 然 而 ， 证 明 的 方法 是 类 似 
的 ， 即 在 问题 A 是 NP 完全 的 假设 下 ,证 明 问 题 B 是 NP 完全 的 。 

第 一 个 NP 完全 问题 

由 于 归 约 这 一 技巧 依赖 于 条 件 “ 已 知 一 个 NP 完全 问题 ”才能 去 解决 男 一 不 同 的 NP 完全 问 
题 ， 所 以 我 们 需要 找到 “第 一 个 ”NP 完全 问题 。 我 们 将 使 用 的 这 第 一 个 问题 就 是 电路 可 满足 性 问 
题 (circuit-satisfiability problem) ， 在 这 个 问题 中 ,已 知 一 个 由 AND, OR 和 NOT 门 所 组 成 的 布 
尔 组 合 电路 ， 我 们 希望 知道 这 个 电路 是 否 存在 一 组 布尔 输入 ， 能 够 使 它 的 输出 为 1。 我 们 还 会 在 
34. 3 节 中 证 明 这 一 问题 是 NP 完全 的 。 

本 章 内 容 概述 

本 章 主要 研究 NP 完全 性 对 算法 分 析 有 着 最 直接 影响 的 几 个 方面 。 在 34. 1 节 中 ， 要 对 “ 问 
题 "这 一 概念 做 形式 化 的 定义 ， 还 要 定义 复杂 类 P， 它 包含 了 多 项 式 时 间 内 可 解 的 判定 问题 。 同 
时 ， 我 们 还 要 看 看 这 些 概念 是 如 何 对 应 到 形式 语言 理论 的 结构 框架 中 去 的 。34. 2 节 中 定义 了 关 
于 判定 问题 的 NP 类 ， 这 些 问题 解 可 以 在 多 项 式 时 间 内 进行 验证 。 在 本 节 中 ， 还 要 形式 化 地 提出 
PANP 这 一 问题 。 

34.3 节 主 要 讨论 如 何 通 过 多 项 式 时 间 的 归 约 来 研究 问题 之 间 的 关系 。 它 定义 了 NP 完全 性 ， 
并 概述 了 一 个 被 称 为 “电路 可 满足 性 ”的 问题 是 NP 完全 问题 的 证 明 过 程 。 在 找 出 一 个 NP 完全 问 
题 之 后 ，34. 4 节 中 要 讨论 如 何 利用 归 约 方法 ， 更 简便 地 证 明 其 他 一 些 问题 也 是 NP 完全 问题 。 通 
过 证 明 两 个 公式 可 满足 性 问题 是 NP 完全 的 ， 对 归 约 方法 加 以 说 明 。 另 外 ， 我 们 会 在 34.5 节 中 
给 出 其 他 一 些 NP 完全 问题 。 


34.1 多 项 式 时 间 


在 开始 研究 NP 完全 性 之 前 ， 先 来 形式 化 地 定义 一 下 多 项 式 时 间 可 解 问题 。 我 们 通常 都 把 这 
些 问题 看 做 是 易 处 理 的 ， 其 原因 是 哲学 方面 的 ， 而 不 是 数学 的 。 我 们 可 以 提供 三 点 论据 : 

第 一 ， 虽 然 把 所 需 运 行 时 间 为 OC’ ) 的 问题 作为 “难处 理 问 题 ? 也 有 其 合理 之 处 ， 但 在 实际 
中 却 只 有 极 少 数 问题 需要 如 此 高 次 的 多 项 式 时 间 。 在 实际 中 ， 所 遇 到 的 典型 多 项 式 时 间 可 解 问 
题 所 需 的 时 间 要 少 得 多 。 经 验 表明 ， 一 旦 某 一 问题 的 第 一 个 多 项 式 时 间 算 法 被 发 现 后 ， 往 往 跟着 
就 会 发 现 更 为 有 效 的 算法 。 即 使 对 某 个 问题 来 说 ， 当 前 最 佳 算法 的 运行 时 间 为 Ow), RA 
可 能 在 极 短 的 时 间 内 又 会 发 现 运 行 时 间 更 短 的 算法 。 

第 二 ， 对 很 多 合理 的 计算 模型 来 说 ， 在 一 个 模型 上 用 多 项 式 时 间 可 解 的 问题 ， 在 另 一 个 模型 
上 也 可 以 在 多 项 式 时 间 内 解决 。 例 如 ， 用 本 书 中 大 量 使 用 的 串 行 随机 存 取 计 算 机 在 多 项 式 时 间 
内 可 求解 的 问题 类 ， 与 抽象 的 图 灵机 上 在 多 项 式 时 间 内 可 求解 的 问题 类 是 相同 的 9 ， 而 且 ， 即 使 
处 理 器 数目 随 输入 规模 以 多 项 式 增加 ， 它 也 与 利用 并 行 计算 机 在 多 项 式 时 间 内 可 求解 的 问题 类 
相同 。 

第 三 ， 由 于 在 加 法 、 乘 法 和 组 合 运 算 下 多 项 式 是 封闭 的 ， 因 此 ， 多 项 式 时 间 可 解 问题 具有 很 
好 的 封闭 性 。 例 如 ， 如 果 一 个 多 项 式 时 间 算 法 的 输出 传送 给 另 一 个 多 项 式 时 间 算 法 作为 输入 ， 则 
得 到 的 组 合算 法 仍 是 多 项 式 时 间 算 法 。 练 习 34. 1-5 要 求 读者 证 明 : 如 果 一 个 多 项 式 时 间 算 法 对 
另 一 个 多 项 式 时 间 的 子 程序 进行 常数 次 调用 ， 那 么 组 合算 法 的 运行 时 间 也 是 多 项 式 的 。 

抽象 问题 

为 了 理解 多 项 式 时 间 可 解 问题 类 ， 首 先 必 须 对 所 谓 的 “问题 ”这 一 概念 进行 形式 化 定义 。 定 义 
抽象 问题 Q 为 在 问题 实例 集合 I 和 问题 解 集合 S 上 的 一 个 二 元 关系 。 例 如 ，SHORTEST-PATH 
的 一 个 实例 是 由 一 个 图 和 两 个 顶点 所 组 成 的 三 元 组 。 其 解 为 图 中 的 顶点 序列 ， 序 列 可 能 为 空 (两 


O 关于 图 灵机 模型 的 详细 讨论 ， 可 参考 Hopcroft 和 Ullman[180] 或 者 Lewis 和 Papadimitriou[236] 。 
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个 顶点 间 不 存在 通路 )。SHORTEST-PATH 问题 本 身 就 是 一 个 关系 ， 它 把 图 的 每 个 实例 和 两 个 
顶点 与 图 中 联系 这 两 个 顶点 的 最 短路 径 联 系 在 了 一 起 ， 因 为 最 短路 径 不 一 定 是 唯一 的 ， 因 此 ， 一 
个 给 定 的 问题 实例 可 能 有 多 个 解 。 

抽象 问题 的 这 个 形式 定义 对 我 们 的 要 求 来 说 显得 太 笼 统 。 为 了 简单 起 见 ，NP 完全 性 理论 把 
注意 力 集中 在 判定 问题 上 ， 即 那些 解 为 “是 ?或 “ 否 ” 的 问题 。 于 是 ， 我 们 可 以 把 抽象 的 判定 问题 看 
做 是 从 实例 集 工 映射 到 解 集 {10，1} 上 的 一 个 函数 。 例 如 ， 一 个 与 SHORTEST-PATH 有 关 的 判定 
问题 是 我 们 先前 见 到 过 的 较为 简单 的 PATH 问题 。 它 是 这 样 的 : 如 果 I= (G, u, v, AEFI 
题 PATH 的 一 个 实例 ， 那 么 若 从 x 到 wv 的 最 短路 径 的 长 度 至 多 为 条 边 ， 则 PATHOS), 
否则 PATH(i)==0( 否 )。 许 多 抽象 问题 并 不 是 判定 问题 ， 而 是 最 优化 问题 ， 在 这 些 问题 中 ， 某 些 
量 必须 被 最 大 化 或 最 小 化 。 然 而 ， 如 我 们 在 上 面 看 到 的 ， 将 最 优化 问题 转化 为 一 个 “判定 问题 ”" 通 
常 并 不 困难 。 

编码 

如 果 要 用 一 个 计算 机 程序 来 求解 一 个 抽象 问题 ， 就 必须 用 一 种 程序 能 理解 的 方式 来 表示 问 
题 实例 。 抽 象 对 象 集合 S 的 编码 是 从 S 到 二 进 制 串 集合 的 映射 ee 。 例 如 ， 我 们 都 熟悉 把 自然 数 
N={0, 1, 2, 3, 4, +++} 编码 为 串 {0，1，10，11，100，…}。 在 这 种 编码 方案 中 ，e(17) = 
10001。 看 过 计算 机 键盘 上 字符 的 表示 法 的 人 都 会 熟知 ASCI 码 。 在 ASCII 码 中 ，A 的 编码 为 
1000001。 即 使 是 一 个 复合 对 象 ， 也 可 以 把 其 组 成 部 分 的 表示 进行 组 合 ， 从 而 把 它 编 码 为 一 个 二 
进 制品。 多 边 形 、 图 、 函 数 、 有 序 对 、 程 序 等 都 可 以 编码 为 二 进 制 串 。 

因此 ,，“ 求 解 ” 某 个 抽象 判定 问题 的 计算 机 算法 实际 上 是 把 一 个 问题 实例 的 编码 作为 其 输入 。 
我 们 把 以 二 进 制 串 集合 为 实例 集 的 问题 称 为 具体 问题 。 如 果 当 提供 给 算法 的 是 长 度 为 n= | i 的 
一 个 问题 实例 i 时 ,算法 可 以 在 OCT(n)) 时 间 内 产生 问题 的 解 ， 我 们 就 说 该 算法 在 时 间 OCT) ) 
内 解决 了 该 具体 问题 > 。 因 此 ， 如 果 对 某 个 常数 &， 存 在 一 个 能 在 OC(x*) 时 间 内 求解 出 某 具体 问 
题 的 算法 ， 就 说 该 具体 问题 是 多 项 式 时 间 可 解 的 。 

现在 可 以 形式 化 地 定义 复杂 类 P 为 在 多 项 式 时 间 内 可 解 的 具体 判定 问题 的 集合 。 

我 们 可 以 利用 编码 将 抽象 问题 映射 到 具体 问题 上 。 给 定 一 个 抽象 判定 问题 Q， 其 映射 为 实例 
集合 I 到 {0，1}， 利 用 编码 e: I>(0, 1} 可 以 导出 与 该 问题 相关 的 具体 判定 问题 ， 用 e(Q) 来 表 
示 SS。 如 果 一 个 抽象 问题 实例 TE T AHA QG)E {0，1}， 则 该 具体 问题 实例 e(i) €E (0, 1}* 的 解 
也 是 QCi)。 在 技术 上 上， 二进制 串 可 能 表示 一 组 无 意义 的 抽象 问题 实例 。 为 了 方便 起 见 ， 假 定 任何 
这 样 的 串 都 映射 到 0。 因 此 ， 对 表示 抽象 问题 实例 的 编码 的 二 进 制 串 实例 ， 具 体 问题 与 抽象 问题 
产生 同样 的 解 。 

我 们 希望 通过 编码 的 方式 把 多 项 式 时 间 可 解 性 的 定义 从 具体 问题 扩展 到 抽象 问题 ,但 同时 
也 希望 这 一 定义 与 任何 特定 的 编码 无 关 ， 即 求解 一 个 问题 的 效率 不 应 依赖 于 问题 的 编码 。 遗 憾 
的 是 ， 实 际 上 这 种 依赖 性 是 相当 严重 的 ， 例如， 假定 把 一 个 整数 作为 一 个 算法 的 唯一 输入 ， 
并 假设 算法 的 运行 时 间 为 6(&)。 如 果 提 供 的 整数 上 是 一 元 的 ( 即 由 & 个 1 组 成 的 串 )， 那 么 对 长 
度 为 n 的 输入 ,该 算法 的 运行 时 间 为 多 项 式 时 间 O(z) 。 但 是 ， 如 果 采 用 更 自然 的 二 进 制 来 表 
示 整 数 k， 则 输入 长 度 为 n 二 Llgk」 十 1。 在 这 种 情况 下 ， 该 算法 的 运行 时 间 为 OCA) =0(2"), E 
与 输入 规模 成 指数 关系 。 因 此 ， 根 据 编码 的 不 同 ， 算 法 的 运行 时 间 是 多 项 式 时 间或 超 多 项 式 
时 间 。 


“的 陪 域 不 一 定 是 二 进 制 串 ， 定 义 在 一 个 有 限 字母 表 ( 至 少 包含 两 个 符号 ) 上 的 任何 串 集 都 是 可 以 的 。 

O ”假定 此 算法 的 输入 是 独立 于 其 输出 的 。 由 于 我 们 至 少 需要 一 个 时 间 步 来 产生 输出 的 每 一 位 ， 并 且 共 有 OC(T(n)) 
个 时 间 步 ， 所 以 输出 规模 为 OCT(z) ) 。 

© ”我们 将 用 (0，1} 表示 所 有 由 集合 {0，1} 中 符号 构成 的 串 的 集合 。 
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因此 ， 对 一 个 抽象 问题 如 何 编码 ， 对 理解 多 项 式 时 间 是 相当 重要 的 。 如 果 不 先 指定 编码 ， 就 
不 可 能 真正 谈 及 对 一 个 抽象 问题 的 求解 。 然 而 ， 在 实际 应 用 中 ， 如 果 不 采 用 代价 高 昂 的 编码 (如 
一 元 编码 )， 则 问题 的 实际 编码 形式 对 问题 是 否 能 在 多 项 式 时 间 内 求解 的 影响 是 微不足道 的 。 例 
如 ， 因 为 在 多 项 式 时 间 内 ， 很 容易 将 三 进 制 表示 的 整数 转化 为 二 进 制 表示 的 整数 ， 所 以 三 进 制 代 
替 二 进 制 表 示 整 数 对 问题 是 否 能 在 多 项 式 时 间 内 求解 没有 任何 影响 。 

对 一 个 函数 f: {0，1)" 一 {0，1}" ， 如 果 存 在 一 个 多 项 式 时 间 的 算法 A， 它 对 任意 给 定 的 输 
入 zxE10，1)" ， 都 能 产生 输出 f(z)， 则 称 该 函数 是 一 个 多 项 式 时 间 可 计算 的 函数 。 对 某 个 问题 
实例 集 I， 如 果 存 在 两 个 多 项 式 时 间 可 计算 的 函数 fi 和 fz 满足 对 任意 i€1I， 有 fole G= 
eli), H falez(i))=e (i), 我 们 就 说 这 两 种 编码 e 和 ez 是 多 项 式 相关 的 2 。 也 就 是 说 ， ez (i) AY 
以 由 一 个 多 项 式 时 间 的 算法 根据 编码 e COR, RIK. WRIE—MA GAH A Baws e 和 
e 是 多 项 式 相关 的 ， 则 如 下 面 引 理 所 述 ， 该 问题 本 身 是 否 是 多 项 式 时 间 可 解 与 选用 哪 一 种 编码 
无 关 。 

引 理 34.1 设 Q 是 定义 在 一 个 实例 集 T 上 的 一 个 抽象 判定 问题 ，e| 和 es 是 1 上 多 项 式 相 关 
的 编码 ， 则 e1(Q)EP 当 且 仅 当 e,(Q)EP。 

证 明 ”只 需要 证 明 一 个 方向 (本 证 明 中 取 正 向 )， 因 为 反 向 与 正 向 是 对 称 的。 假定 对 某 一 常数 
&，e(Q) 能 在 O() 的 时 间 内 求解 。 进 一 步 ， 再 假定 对 任意 问题 实例 i 和 某 个 常数 c<， 根据 编 码 
e (iD)， 可 以 在 时 间 OG) 内 计算 出 编码 e (GD ， 其 中 xz 一 |e(G) |。 为 了 在 输入 e (i) 上 求解 问题 
ez(Q)， 可 以 先 计算 出 ea (i)， 然 后 在 输入 e (i) 上 运行 关于 e (Q) 的 算法 。 这 一 过 程 需要 多 长 时 
间 ? 转换 代码 所 需 的 时 间 为 OG), PAE | e (让 | 二 Or), 这 是 因为 串 行 计算 机 的 输出 不 可 能 比 
其 运行 时 间 更 长 。 求 解 关于 e (Ci 的 问题 所 需 的 时 间 为 OC e (让 1 ) 二 O(n“)， 因 为 c Ak 都 是 常 
数 ， 所 以 这 也 是 多 项 式 时 间 的 。 a 

综 上 所 述 ， 对 一 个 抽象 问题 的 实例 ， 无 论 采 用 二 进 制 或 三 进 制 来 进行 编码 ， 对 其 "复杂 
性 ?都 没有 影响 ， 也 就 是 说 ， 对 其 是 否 为 多 项 式 时 间 可 解 没 有 影响 。 但 是 ， 如 果 对 实例 进行 
一 元 编码 ， 则 其 复杂 性 可 能 会 变化 。 为 了 能 够 用 一 种 与 编码 无 关 的 方式 进行 描述 ， 一 般 都 假 
定 用 合理 的 、 简 洁 的 方式 对 问题 实例 进行 编码 ， 除 非 我 们 特殊 指明 。 更 准确 地 说 ， 我 们 将 假 
定 一 个 整数 的 编码 与 其 二 进 制 表示 是 多 项 式 相关 的 ， 并 且 一 个 有 限 集合 的 编码 与 其 相应 的 括 
在 括号 中 元 素 间 用 逗号 隔 开 的 列表 的 编码 是 多 项 式 相关 的 (ASCII 码 就 是 这 样 的 一 种 编码 方 
案 )。 有 了 这 样 一 种 "标准 的 编码， 就 可 以 合理 地 推导 出 其 他 数学 对 象 (如 元 组 、 图 和 公式 
等 ) 的 编码 了 。 为 了 表示 一 个 对 象 的 标准 编码 ， 我 们 将 对 象 用 尖 括 号 括 起 来 ， 如 (G) 即 表示 
图 G 的 标准 编码 。 

只 要 隐 式 地 使 用 与 标准 编码 多 项 式 相关 的 编码 ， 就 可 以 避免 参照 任何 特定 的 编码 ， 而 直接 
讨论 抽象 问题 ， 因 为 我 们 知道 ， 选 取 哪 一 种 编码 对 问题 是 否 多 项 式 时 间 可 解 没 有 任何 影响 。 从 
本 章 起 ， 除 显 式 地 指明 其 他 情况 外 ， 我 们 一 般 假 设 所 有 问题 实例 都 是 采用 标准 编码 的 二 进 制 
串 。 此 外 ， 我 们 也 将 忽略 抽象 问题 与 具体 问题 之 间 的 差别 。 但 是 ， 读 者 也 应 该 注意 对 实际 中 产 
生 的 某 些 问题 ， 其 标准 编码 并 非 是 显而易见 的 ， 并 且 ， 选 择 编码 方式 对 问题 的 求解 会 带 来 不 同 
的 影响 。 

形式 语言 体系 

关注 判定 问题 有 一 个 方便 之 处 ， 就 是 它们 使 得 形式 语言 理论 的 使 用 变 得 比较 容易 了 。 让 我 
们 先 来 回顾 一 下 这 一 理论 中 的 一 些 定义 。 字 母 表 沁 是 符号 的 有 限 集合 。 字 母 表 上 的 语言 工 是 


O 从 技术 上 说 ， 我 们 还 要 求 函 数 fi 和 fo“ 将 非 实 例 映 射 到 非 实例 ”。 对 于 某 一 编码 e， 其 非 实例 是 指 一 个 串 
ZE {0，1)*， 使 得 没有 任何 实例 i 能 满足 eCi) 二 xz。 我 们 要 求 对 于 编码 el 的 每 个 实例 =， 都 存在 fi2(x) = 二 y， 其 
中 > 是 es 的 某 个 非 实例 ， 并且， 对 ez 的 每 个 非 实例 z'， 都 有 fay, Hp y 是 ei 的 某 个 实例 。 
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由 表 中 符号 组 成 的 串 的 任意 集合 。 例 如 ， 如 果 之 ={0，1}， 集 合 工 一 {10，11，101，111，1011， 
1101，10001} 是 关于 素数 的 二 进 制 表示 的 语言 。 我 们 用 表示 空 串 ， 用 $ 表 示 空 语言 ，22 上 所 有 
HARMIBRHRAD*. Bln, MRO={0, 1}, WE'={e, 0, 1, 00, 0l, 10, 11, 000, +++} 
就 是 所 有 二 进 制 串 的 集合 。 守 上 的 每 个 语言 工 都 是 之 " 的 一 个 子 集 。 
我 们 可 以 把 多 种 运算 作用 于 语言 。 集 合 论 中 的 运算 (如 并 与 交 )， 其 直接 来 自 集合 论 定义 。 定 
义工 的 补 为 王 王 "一 二。 两 种 语言 L! ML, 的 连结 (concatenation)LiL, 是 语言 
L= {nrn m E L, zx € Ll} 
语言 工 的 闭 包 (或 Kleene 星 ) 为 语言 
Le ={ehULUVUL Us 
Hep EL 与 其 自身 进行 & 次 并 置 运算 后 得 到 的 语言 。 
从 语言 理论 的 观点 来 看 ， 任 何 判定 问题 Q 的 实例 集 即 集合 之 ， 其 中 光 二 {0，1}。 因 为 Q 完 全 
是 由 解 为 1( 是 ) 的 问题 实例 来 描述 的 ， 因 而 可 以 把 Q 看 做 是 定义 在 二 {0，1} 的 一 个 语言 L， 其 中 
L={xE€dD* : Q(z)=1} 
例如 ， 与 判定 问题 PATH 对 应 的 语言 
PATH ={(G,u,v,k):G = (V,E) 是 一 个 无 向 图 ,u,v E V,k 宇 0 是 一 个 整数 ， 
H Gt Au 到 wv 存在 一 条 长 度 至 多 为 k 的 路 径 } 
(在 对 问题 本 身 无 影响 的 时 候 ， 有 时 用 同一 个 名 称 ( 如 上 述 的 PATH) 来 表示 一 个 判定 问题 和 与 其 
相应 的 语言 。) 
形式 语言 体系 可 以 用 来 表示 判定 问题 与 求解 这 些 问 题 的 算法 之 间 的 关系 。 如 果 对 给 定 输入 
ZX， 算法 输出 A(x) 二 1， 我 们 就 说 算法 A 接受 串 zE {0，1)" 。 被 算法 A 接受 的 语言 是 串 的 集合 
L={z€{0, 1}* : A(z) 二 1)， 即 为 算法 所 接受 的 串 的 集合 。 如 果 A(z) = 二 0， 则 算法 A 拒绝 
P x. 
即使 语言 L 被 算法 A 所 接受 ， 该 算法 也 不 一 定 会 拒绝 输入 一 个 串 zfL。 例 如 ， 某 一 算法 可 
能 会 永远 循环 下 去 。 如 果 工 中 每 个 二 进 制 串 只 是 被 算法 A 接受 或 拒绝 ， 则 称 语言 工 由 算法 A H 
定 。 如 果 存 在 某 个 常数 k， 使 得 对 任意 长 度 为 n 的 串 zEL, 算法 A 在 时 间 O(Cw) 内 接受 zx， 则 语 
言 世 在 多 项 式 时 间 内 被 算法 A 接受 。 如 果 存 在 某 个 常数 有 ， 使 得 对 于 任意 长 度 为 n HB 
XE{0，1}, 算法 A 可 以 在 时 间 OCx) 内 正确 地 判定 xEL， 则 称 语言 在 多 项 式 时 间 内 被 算法 A 
判定 。 因 此 ， 要 接受 一 个 语言 ， 算 法 只 需 根 据 提供 的 工 中 的 字符 串 给 出 一 个 答案 但 是 要 判定 某 
一 语言 ， 算 法 必须 正确 地 接受 或 者 拒绝 10，1)* 中 的 每 一 个 串 。 
例如 ， 语言 PATH 就 能 够 在 多 项 式 时 间 内 被 接受 。 一 个 多 项 式 时 间 的 接受 算法 要 验证 G 是 否 编 
码 一 个 无 向 图 G，x 和 wv 是 否 是 G 中 的 顶点 。 利 用 广度 优先 搜索 计算 出 G 中 从 到 wv 的 最 短路 径 。 然 
后 把 得 到 的 最 短路 径 上 的 边 数 与 进行 比较 。 如 果 G 编 码 了 无 向 图 ， 并 且 从 到 wv 的 路 径 中 至 多 有 上 
条 边 ， 则 算法 输出 1 并 停机 。 否 则 ， 该 算法 永远 运行 下 去 。 但 是 ， 这 一 算法 并 没有 对 PATH 问题 进行 
判定 ， 因 为 对 最 短路 径 长 度 多 于 & 条 边 的 实例 ， 算 法 并 没有 显 式 地 输出 0。PATH 的 判定 算法 必须 显 
式 地 拒绝 不 属于 PATH 的 二 进 制 串 。 对 PATH 这 样 的 判定 问题 来 说 ， 很 容易 设计 出 这 样 一 种 判定 算 
法 : 当 不 存在 从 到 vw 至 多 包含 条 边 的 路 径 时 ， 算法 不 是 永远 地 运行 下 去 ， 而 是 输出 0 并 停机 。 对 
于 其 他 的 一 些 问题 (如 图 灵 停 机 问题 )， 存 在 接受 算法 ， 但 是 却 不 存在 判定 算法 。 
我 们 可 以 非 形式 地 定义 一 个 复杂 类 为 语言 的 一 个 集合 ， 某 一 语言 是 否 属 于 该 集合 ， 可 以 通 
过 某 种 复杂 性 度量 来 确定 ， 比 如 一 个 算法 的 运行 时 间 ， 该 算法 可 以 确定 某 个 给 定 的 串 zx 是 否 属 
于 语言 L。 当 然 ， 复杂 类 的 实际 定义 要 更 专业 一 些 。 


日 更 多 复杂 类 ， 请 参见 Hartmanis 和 Stearns[162] 的 那 篇 开创 性 文章 。 
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运用 上 述 的 形式 语言 理论 体系 ， 可 以 给 出 关于 复杂 类 P 的 另外 一 种 定义 : 
P= {LC {0,1) :存在 一 个 算法 A, 可 以 在 多 项 式 时 间 内 判定 工 } 

事实 上 ， 己 也 是 能 在 多 项 式 时 间 内 被 接受 的 语言 类 。 

定理 34.2 P={L: L 能 被 一 个 多 项 式 时 间 算 法 所 接受 }。 

证 明 ”因为 由 “多 项 式 时 间 算 法 判定 的 语言 类 ”是 “多 项 式 时 间 算 法 接受 的 语言 类 ”的 一 个 
子 集 ， 所 以 ,我们 仅 需 要 证 明 如 果 工 能 被 一 个 多 项 式 时 间 的 算法 所 接受 ， 它 也 能 够 被 一 个 多 
项 式 时 间 的 算法 所 判定 。 设 工 是 被 某 个 多 项 式 时 间 算 法 A 所 接受 的 语言 。 我 们 将 运用 经 典 
的 “模拟 ”论证 方法 ， 来 构造 男 一 个 能 够 判定 工 的 多 项 式 时 间 算 法 A  。 因 为 对 某 个 常数 &，A 
能 在 OC) 时 间 内 接受 LL， 所 以 也 存在 一 个 常数 <， 使 得 A 至 多 在 cnt 步 内 可 以 接受 工 。 对 任 
意 输入 的 串 zx， 算 法 A' 模 拟 A 在 crt 步 内 的 操作 状态 ,在 cnt 步 后 ， 算 法 A' 即 检查 算法 A 的 
行为 。 如 果 A 接受 了 x, WW A' 通 过 输出 1 来 接受 +。 如 果 和 A 没有 接受 +， 则 A' 通 过 输出 0 来 
拒绝 z。A' 模 拟 A 的 运行 时 间 的 增长 不 会 大 于 一 个 多 项 式 因 子 ， 因 此 ，A 是 一 个 能 判定 工 的 
多 项 式 时 间 算 法 。 a 

注意 ， 定 理 34. 2 的 证 明 过 程 是 非 构 造 性 的 。 对 于 一 个 给 定 的 语言 LEP， 我 们 也 许 实际 上 并 
不 知道 接受 工 的 算法 A 的 运行 时 间 界 ， 然 而 ， 我 们 知道 这 样 的 一 个 界 是 存在 的 。 因 此 ， 我 们 知 
道 存在 着 能 够 检查 该 界 的 算法 A'， 只 是 这 一 算法 不 容易 找到 而 已 。 


练习 

34. 1-1 定义 最 优化 问题 LONGEST-PATH-LENGTH 为 一 个 关系 ， 它 将 一 个 无 向 图 的 每 个 实 
例 、 两 个 顶点 与 这 两 个 顶点 间 的 一 条 最 长 简单 路 径 中 所 包含 的 边 数 联系 了 起 来 。 定 义 判 
定 问题 LONGEST-PATH= {(G, u, v, k)}: G=(V, EF) 为 一 个 无 向 图 ，u，wEV， 
& 宇 0 是 一 个 整数 ， 且 G 中 存在 着 一 条 从 x Bu 的 简单 路 径 ， 它 至 少 包含 & 条 边 } 。 证 明 : 
最 优化 问题 LONGEST-PATH-LENGTH 可 以 在 多 项 式 时 间 内 解决 ， 当 和 且 仅 当 
LONGEST-PATHE P, 

34.1-2 ”对 于 在 无 向 图 中 寻找 最 长 简单 回路 这 一 问题 ， 给 出 其 形式 化 的 定义 并 给 出 其 相关 的 判定 
问题 。 另 外 ， 给 出 与 该 判定 问题 对 应 的 语言 。 

34.1-3 给 出 一 种 形式 化 的 编码 ， 它 利用 邻接 矩阵 的 表示 形式 ， 将 有 向 图 编码 为 二 进 制 串 。 另 
外 ， 再 给 出 利用 邻接 表 表 示 的 编码 。 论 证 这 两 种 表示 形式 是 多 项 式 相关 的 。 

34.1-4 练习 16.2-2 中 曾 要 求 读者 给 出 的 0-1 背包 问题 的 “动态 规划 算法 ”， 它 是 一 个 多 项 式 时 间 
的 算法 吗 ? 解释 你 的 答案 。 

34.1-5 WEH: 对 于 一 个 多 项 式 时 间 的 算法 ， 当 它 调用 一 个 多 项 式 时 间 的 子 例 程 时 ， 如 果 至 多 调 
用 常数 次 ， 则 此 算法 以 多 项 式 时 间 运 行 ， 但 是 ， 当 进行 多 项 式 次 的 子 例 程 调用 时 ， 此 算 
法 就 可 能 变 成 一 个 指数 时 间 的 算法 。 

34.1-6 WEH: 类 P 在 被 看 做 是 一 个 语言 集合 时 ， 在 并 集 、 交 集 、 连 结 、 补 集 和 Kleene 星 运 
AFEA., EREK, WR L, LEP, 则 LUL€EP, LALEP, LLEP, 
LEP, L'EP. 


34.2 多项式 时 间 的 验证 

现在 来 看 看 对 语言 成 员 进行 “验证 ”的 算法 。 例 如 ， 假 定 对 判定 问题 PATH 的 一 个 给 定 实例 
《G，u，v，k)， 同 时 也 给 定 了 一 条 从 w 到 wv 的 路 径 p。 我 们 可 以 很 容易 地 检查 p 是 否 在 图 G 中 以 
及 思 的 长 度 是 否 至 多 为 k。 如 果 是 ， 就 可 以 把 p 看 做 是 该 实例 确 属于 PATH 的 “证 书 ”。 对 于 判定 
问题 PATH 来 说 ,这 一 证 书 看 似 并 没有 使 我 们 得 益 多少 。 但 无 论 如 何 ，PATH 属于 P, WKE, 
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PATH 可 以 在 线性 时 间 内 求解 ， 因 此 ， 根 据 指定 的 证 书 来 验证 成 员 所 需 的 时 间 与 从 头 开始 解决 
问题 的 时 间 一 样 长 。 现 在 来 考虑 这 样 一 个 问题 : 我 们 已 知 此 问题 没有 多 项 式 时 间 的 判定 算法 ， 但 
是 对 于 指定 的 证 书 ， 验 证 却 是 比较 容易 的 。 

哈密 顿 回 路 

在 无 向 图 中 找 出 哈密 顿 回 路 这 一 问题 已 被 研究 100 多 年 了 。 形 式 化 地 说 ， 无 向 图 GV, E) 
中 的 一 条 哈密 顿 回路 是 通过 V 中 每 个 顶点 的 简单 回路 。 具 有 这 种 回路 的 图 称 为 哈密 顿 图 ， 否 则 
称 为 非 哈密 顿 图 。 这 一 名 字 是 为 了 纪念 W. R. Hamiltonian， 他 曾经 描述 过 这 样 一 个 在 正 十 二 面体 
上 的 数学 游戏 ? : (图 34-2(a) ) 一 个 游戏 者 在 任意 5 个 连续 顶点 上 钉 上 5 个 图 钉 ， 另 一 个 游戏 者 必 
须 完成 一 个 包含 所 有 顶点 的 回路 。 正 十 二 面体 是 哈密 顿 图 ， 图 34-2(a) 显 示 一 条 哈密 顿 回路 。 但 
是 ， 并 不 是 所 有 的 图 都 是 哈密 顿 图 。 例 如 ， 图 34-2(b) 显 示 了 一 个 具有 奇数 个 顶点 的 二 分 图 。 练 
习 34. 2-2 中 将 要 求 读者 证 明 所 有 这 样 的 图 都 是 非 哈密 顿 图 。 





图 34-2 (a) 一 个 表示 正 十 二 面体 中 顶点 、 边 、 面 的 图 ， 其 中 哈密 顿 回 路 以 阴影 边 示 出 。 
(b) 一 个 包含 奇数 个 顶点 的 二 分 图 。 任 何 这 样 的 图 都 是 非 哈 密 顿 图 
我 们 可 以 用 下 列 形式 语言 定义 哈密 顿 回路 问题 :“ 图 G 中 是 否 具 有 一 条 哈密 顿 回 路 ?” 
HAM-CYCLE = {(G):G 是 哈密 顿 图 } 

那么 如 何 用 算法 来 判定 语言 HAM-CYCLE。 给 定 一 个 问题 实例 (G) ， 一 种 可 能 的 判定 算法 就 是 罗 
列 出 G 的 顶点 的 所 有 排列 ， 然 后 对 每 一 种 排列 进行 检查 ， 以 确定 它 是 否 是 一 条 哈密 顿 回路 。 那 
么 ， 该 算法 的 运行 时 间 是 多 少 呢 ? 如 果 我 们 使 用 “合理 的 ?方式 把 图 编码 为 其 邻接 矩阵 ， 图 中 顶点 
Bm A AG/n), Fe n= |(O |H G 的 编码 长 度 ， 则 总 共 会 有 m! 种 可 能 的 顶点 排列 ， 因 此 ， 算 
法 的 运行 时 间 为 AMSAA), HARE OG!) (CA 为 任意 常数 ) 。 因 此 ， 这 种 朴素 算法 
的 运行 时 间 不 是 多 项 式 时 间 的 。 事 实 上 ， 哈 密 顿 问题 是 NP 完全 问题 ， 我 们 将 在 34. 5 节 中 进 一 
步 证 明 这 一 结论 。 

验证 算法 

现在 来 考虑 一 个 稍为 容易 一 些 的 问题 。 假 设 有 人 说 某 给 定 图 G 是 哈密 顿 图 ， 并 提出 可 以 
通过 给 出 沿 着 此 哈密 顿 回路 排列 的 顶点 来 证 明 他 的 话 。 证 明 当 然 是 非常 容易 的 : 仅仅 需要 检 
查 所 提供 的 回路 是 否 是 V 中 顶点 的 一 个 排列 ， 以 及 沿 回路 的 每 条 连续 的 边 是 否 确 实在 图 中 


© Hamilton[157，p. 624] 1856 4 10 H 17 日 在 给 他 的 朋友 John T. Graves 的 信 中 写 道 : 我 发 现 一 些 年 轻 人 现在 
对 这 样 一 种 数学 游戏 很 感 兴趣 : 一 个 人 将 5 个 图 钉 钉 在 5 个 连续 顶点 上 …… 另 一 个 游戏 者 试图 再 加 入 另外 15 个 
图 钉 ， 试 图 覆盖 正 十 二 面体 上 的 所 有 顶点 。 这 封 信 中 所 提 到 的 理论 总 是 可 以 被 完成 的 。 
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存在 。 这 样 就 可 以 验证 给 定 的 回路 是 否 是 哈密 顿 回路 。 当 然 ， 该 验证 算法 可 以 在 OC? ) 时 间 
ASH, Kn Ee G 的 编码 的 长 度 。 因 此 ， 我们 可 以 在 多 项 式 时 间 内 验证 图 中 存在 一 条 哈密 
顿 回路 。 

我 们 定义 验证 算法 为 含 两 个 自 变量 的 算法 A， 其 中 一 个 自 变量 是 普通 输入 串 z， 男 一 个 是 称 
为 “证 书 ” 的 二 进 制 串 y。 如 果 存 在 一 个 证 书 > 满足 A(x，y) 二 1， 则 该 含 两 个 自 变量 的 算法 A 验 
证 了 输入 捉 z。 由 一 个 验证 算法 A 所 验证 的 语言 是 : 

= {x E {0,1}" :存在 yE€ {0,1)" ,满足 A(z,y) = 1} 

从 直观 上 来 看 ， 如 果 对 任意 串 zxE 工 ， 都 存在 一 个 证 书 >， 且 算法 A 可 以 用 y KEHEL, 
则 算法 A 就 验证 了 语言 工 。 此 外 ， 对 任意 串 zx-EL， 必 然 不 存在 一 个 能 证 明 zxEL 的 证 书 。 例 如 ， 
在 哈密 顿 回 路 问题 中 ， 证 书 是 某 一 哈密 顿 回路 中 顶点 的 列表 。 如 果 一 个 图 是 哈密 顿 图 ， 哈 密 顿 回 
路 本 身 就 提供 了 足够 的 信息 来 验证 这 一 事实 。 相 反 地 ， 如 果 某 个 图 不 是 哈密 顿 图 ， 那 么 也 不 存在 
这 样 的 顶点 列表 能 使 验证 算法 认为 该 图 是 哈密 顿 图 ， 因 为 验证 算法 会 仔细 地 检查 该 回路 是 否 为 
哈密 顿 回路 。 

复杂 类 NP 

复杂 类 NP 是 能 被 一 个 多 项 式 时 间 算 法 验证 的 语言 类 。 更 准确 地 说 ， 一 个 语言 L 属于 NP， 
当 且 仅 当 存在 一 个 两 输入 的 多 项 式 时 间 算 法 A 和 常数 <， 满 足 : 

L= {x € {0,1)" :存在 一 个 证 书 y,|y|== OC|x1'), 满 足 A(x,y) = 1} 
我 们 说 算法 A 在 多 项 式 时 间 内 验证 了 语言 工 。 

根据 先前 我 们 对 哈密 顿 回路 问题 的 讨论 ， 可 知 HAM-CYCLEE NP。( 能 知道 某 个 重要 的 集 
合 是 非 空 的 总 是 件 好 事 。) 此 外 ， 如 果 LEP， 则 LENP。 如 果 存 在 一 个 多 项 式 时 间 的 算法 来 判定 
L， 那 么 只 要 忽略 任何 证 书 ， 并 接受 那些 确定 属于 工 的 输入 串 ， 就 可 以 很 容易 地 把 该 算法 转化 为 
一 个 两 参数 的 验证 算法 。 因 此 ，PSNP。 

目前 还 不 知道 是 否 有 P=NP， 但 大 多 数 研 究 人 员 认 为 P 和 NP 并 不 是 同一 个 类 。 从 直觉 上 
F, X P 由 一 些 可 以 快速 解决 的 问题 组 成 ， 而 类 NP 则 由 一 些 可 以 快速 验证 其 解 的 问题 组 成 。 许 
多 读者 可 能 已 经 从 实际 经 验 中 发 现 ， 从 头 开始 解决 一 个 问题 往往 要 比 验 证 一 个 明确 给 出 的 解难 
得 多 ， 尤 其 是 在 有 时 间 限 制 的 情况 下 。 从 事理 论 研 究 的 计算 机 科学 家 一 般 都 认为 ， 这 一 类 比 可 以 
延伸 到 类 P 和 类 NP 上 ， 因 此 NP 包括 了 不 属于 PP 的 语言 。 

此 外 ， 还 有 一 些 虽然 不 具 结 论 性 但 却 更 令 人 信服 的 证 据 能 说 明 P 关 NP， 即 存在 着 “NP 完全 ” 
的 语言 。34. 3 节 将 对 这 类 语言 进行 研究 。 

在 PANP 问题 之 外 ， 还 有 许多 其 他 基本 问题 没有 解决 。 尽 管 很 多 研究 人 员 做 了 大 量 工作 ， 
但 还 没有 人 知道 NP 类 在 补 运算 下 是 否 是 封闭 的 ， 即 LE NP 是 否 说 明了 LE NP。 我 们 可 以 定义 
复杂 类 co-NP 为 满足 LE NP 的 语言 L 构成 的 集合 。 这 样 一 来 ，NP 在 补 运算 下 是 否 封闭 的 问题 
就 可 以 重新 表示 为 是 否 有 NP 二 co-NP。 由 于 P 在 补 运算 下 具有 封闭 性 (练习 34. 1-6) ， 所 以 在 练 
习 34. 2-9 会 进一步 说 明 关 于 PC NP co-NP。 但 是 ， 和 上 一 个 问题 一 样 ， 我 们 仍 不 知道 是 否 有 
P=NPf)\co-NP, 或 者 在 NP 门 co-NP 一 P 中 是 否 存 在 某 种 语言 。 

因此 ， 我 们 对 了 与 NP 之 间 确 切 关 系 的 理解 是 很 不 完全 的 。 然 而 ， 即 使 我 们 可 能 没有 能 力 去 
证 明 一 个 特定 问题 是 “难处 理 的 ”>， 但 是 通过 探讨 NP 完全 性 理论 ， 如 果 可 以 证 明 这 一 问题 是 NP 
完全 的 ， 那 么 我 们 已 经 获取 了 关于 它 的 一 些 有 价值 的 信息 。 


日 “NP”" 这 一 名 称 代表 “ 非 确定 多 项 式 时 间 ”(nondeterministic polynomial time). NP 类 最 初 是 在 非 确定 性 这 一 上 下 
文中 得 到 研究 的 ， 但 本 书 采用 一 种 更 为 简单 但 等 价 的 验证 表示 记号 。Hopcroft 和 Ullman[180] 利 用 非 确定 性 计 
算 模 型 ， 给 出 了 NP 完全 性 的 一 种 很 好 的 表述 。 
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(c) (d) 


34-3 ”复杂 类 之 间 有 4 种 可 能 存在 的 关系 。 在 每 一 个 图 中 ， 一 个 区 域 包含 另 
一 个 区 域 表明 真子 集 关 系 。(a)P= 二 NP 二 co-NP。 多 数 研 究 人 员 都 认为 
这 种 情况 是 不 可 能 的 。(b) 若 NP 在 补 集运 算 下 封闭 ， 则 NP=co-NP, 
但 不 一 定 有 P=NP. (c)P=NPf)\co-NP, 但 NP 在 补 运算 下 不 封闭 。 
(d)NPco-NP, H P 关 NPNco-NP。 多 数 研究 人 员 认 为 这 种 情况 的 
可 能 性 最 大 


考虑 语言 GRAPH-ISOMORPHISM={({G,, G): Gi 和 G 是 同 构图 }。 通 过 描述 一 个 可 
以 在 多 项 式 时 间 内 验证 该 语言 的 算法 ， 来 证 明 GRAPH-ISOMORPHISME NP, 

证 明 : 如 果 G 是 一 个 有 奇数 个 顶点 的 无 向 二 分 图 ， 则 G 是 非 哈密 顿 图 。 

证 明 : 如 果 HAM-CYCLEEP， 则 按 序列 出 一 条 哈密 顿 回 路 中 各 个 顶点 的 问题 是 多 项 式 
时 间 可 解 的 。 

证 明 : 由 语言 构成 的 NP 类 在 并 集 、 空 集 、 连 结 和 Kleene 星 运 算 下 是 封闭 的 ， 讨 论 一 下 
NP 在 补 集运 算 下 的 封闭 性 。 

证 明 : 对 某 个 常数 &，NP 中 的 任何 语言 都 可 以 用 一 个 运行 时 间 为 22” 的 算法 来 加 以 
判定 。 

图 中 的 哈密 顿 路 径 是 一 种 简单 路 径 ， 它 遍历 图 中 每 个 顶点 且 只 有 一 次 。 证 明 : 语言 
HAM PATH=({(G, u, v): 图 G 中 存在 一 条 从 x 到 wv 的 哈密 顿 路 径 } 属 于 NP. 

证 明 : 在 练习 34. 2-6 中 的 哈密 顿 路 径 问 题 中 ， 在 有 向 无 环 图 中 ， 哈 密 顿 路 径 问 题 可 以 
在 多 项 式 时 间 内 求解 。 给 出 解决 该 问题 的 一 个 有 效 算法 。 

设 $ 为 一 个 布尔 公式 ， 它 由 布尔 输入 变量 zz T, s ts JEC), ANDA), ORCV) 
和 括号 组 成 。 如 果 对 公式 的 输入 变量 的 每 一 种 1 和 0 赋值 ， 公 式 的 结果 都 为 1， 则 此 公 
式 为 重 言 式 (tautology)。 定 义 TAUTOLOGY 为 由 重 言 式 布尔 公式 所 组 成 的 语言 。 证 
HH: TAUTOLOGYE co-NP, 

证 明 : PCco-NP。 


34.2-10 EHH: 如 果 NP 了 关 co-NP， 则 PNP, 
34.2-11 设 G 为 一 个 至 少 包 含 3 个 顶点 的 连通 无 向 图 ， 并 设 对 G 中 所 有 由 长 度 至 多 为 3 的 路 径 


连接 起 来 的 点 对 ， 将 它们 直接 连接 后 所 形成 的 图 为 GG 。 证 明 : C 是 一 个 哈密 顿 图 。 
(提示 : 为 G 构 造 一 棵 生成 树 ， 并 采用 归纳 法 进行 证 明 。) 


34.3 NP 完全 性 与 可 归 约 性 
从 事理 论 研 究 的 计算 机 科学 家 们 之 所 以 会 相信 P 天 NP， 最 令 人 信服 的 理由 就 是 存在 着 一 类 
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“NP 完全 ”问题 。 该 类 问题 有 一 种 令 人 惊奇 的 特质 ， 即 如 果 任 何 一 个 NP 完全 问题 能 在 多 项 式 时 
间 内 得 到 解决 ， 那 么 ，NP 中 的 每 一 个 问题 都 存在 一 个 多 项 式 时 间 解 ， 即 P=NP. (Hit, RA 
过 了 多 年 的 研究 ， 目 前 仍 没 有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 。 

语言 HAM-CYCLE 就 是 一 个 NP 完全 问题 。 如 果 我 们 能 够 在 多 项 式 时 间 内 判定 HAM- 
CYCLE， 就 能 够 在 多 项 式 时 间 内 求解 NP 中 的 每 一 个 问题 。 事 实 上 ， 如 果 能 证 明 NP—P 为 非 空 
集合 ， 就 可 以 肯定 地 说 HAM-CYCLEE NP 一 P。 

在 某 种 意义 上 说 ，NP 完全 语言 是 NP 中 “最 难 ” 的 语言 。 在 本 节 中 ， 我 们 将 说 明 如 何 运 用 称 
为 “多 项 式 时 间 可 归 约 性 ”的 确切 概念 ， 来 比较 各 种 语言 的 相对 “难度 ”。 首先， 我 们 先 正式 定义 
NP 完全 语言 ， 然 后 ， 再 简要 地 证 明 一 种 称 为 CIRCUIT-SAT 的 语言 是 NP 完全 的 。 在 34.4 节 和 
34. 5 节 中 ， 将 运用 可 归 约 性 概念 来 证 明 许 多 其 他 问题 都 是 NP 完全 的 。 

可 归 约 性 

从 直觉 上 看 ， 问 题 Q@ 可 以 被 归 约 为 男 一 个 问题 Q'。 如 果 Q@ 的 任何 实例 都 可 以 被 “容易 地 重新 
描述 ”为 Q 的 实例 ， 而 Q 的 实例 的 解 也 是 Q 的 实例 的 解 。 例 如 ， 求 解 关于 未 知 量 zx 的 线性 方程 
问题 可 以 转化 为 求解 二 次 方程 问题 。 已 知 一 个 实例 ar 十 6 二 0， 可 以 把 它 变换 为 0z? 十 az 十 6 二 0， 
其 解 也 是 方程 ax 十 6 二 0 的 解 。 因 此 ， 如 果 一 个 问题 Q 可 以 转化 为 另 一 个 问题 Q ， 则 从 某 种 意义 
上 来 说 ，Q 并 不 比 Q 更 难 解决 。 

回 到 关于 判定 问题 的 形式 语言 体系 中 。 我 们 说 语言 L aac a i as sia ki Ls 
记 作 工 志 bsL;:， 如 果 存 在 一 个 多 项 式 时 间 a 
可 计算 的 函数 f: {0, 1}* (0, 1)", W 
足 对 所 有 的 XE {0，1)*， 

cel, 当 目 仅 当 f(x) 一 ZL (34.1) 

则 称 函数 了 为 归 约 函数 ,计算 了 的 多 项 式 必 
时 间 算 法 F 称 为 归 约 算法 。 Re 

图 34-4 说 明了 关于 从 语言 L 到 另 一 
种 语言 L 的 多 项 式 时 间 归 约 的 思想 。 每 一 
种 语言 都 是 (0，1》 的 子 集 ， 归 约 函 数 f 提 
供 了 一 个 多 项 式 时 间 的 映射 ， 使 得 若 





图 34-4 通过 归 约 函数 /， 在 多 项 式 时 间 内 将 语言 L JA 


约 为 语言 L:。 对 任何 输入 zxE {0，1)" ， 是否 有 
rEL,, WADDEL. MAArEAL, W a iy e ae 的 答案 是 一 
f(z) 儿 L。 因 此 归 约 函数 提供 了 从 语言 Li 样 的 


表示 的 判定 问题 的 任意 实例 x 到 语言 Le 表 
示 的 判定 问题 的 实例 /(z) 上 的 映射 。 如 果 能 提供 是 否 有 f(x) EL 的 答案 ,也 就 直接 提供 了 是 否 有 
Z 天 六 的 答案 。 

多 项 式 时 间 归 约 为 证 明 各 种 语言 属于 了 提供 了 一 种 有 力 的 工具 。 

引 理 34. 3 WRL, LE(0, 是 满足 LpLs 的 语言 ， 则 LsEP 冀 涵 着 Li EP。 

证 明 RA, 是 一 个 判定 问题 L, 的 多 项 式 时 间 算法 ,下 是 计算 归 约 函数 的 多 项 式 时间 归 约 
算法 。 下 面 来 构造 一 个 判定 L 的 多 项 式 时 间 算 法 Al。 

图 34-5 说 明了 A, 的 构造 过 程 。 对 给 定 的 输入 zxE {0，1}" ， 算 法 A 利用 下 把 变换 为 
f(x), RICA A, 测试 是 否 有 SEL. A 的 输出 值 提供 A, 作为 输入 ， 并 产生 答案 作为 
输出 。 

根据 条 件 (34. 1) 可 以 推导 出 A 的 正确 性 。 因 为 和 A, 的 运行 时 间 都 是 多 项 式 时 间 ， 所 以 
该 算法 的 运行 时 间 为 多 项 式 时 间 ( 参 见 练习 34. 1-5)。 
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1067 多 项 式 时 间 归 约 提供 了 一 种 形式 方法 ， 用 来 证 明 一 个 问题 在 一 个 多 项 式 时 间 因 子 内 至 少 与 
另 一 个 问题 一 样 难 。 也 就 是 说 ， 如 果 LS. WL 大 于 Lz 的 难度 不 会 超过 一 个 多 项 式 时 间 因 
子 。 这 就 是 我 们 采用 “小 于 或 等 于 ”来 表示 归 约 记号 的 原因 。 现 在 ,我 们 就 可 以 定义 NP 完全 语言 

的 集合 ， 这 类 问题 是 NP 中 最 难 的 问题 。 






34-5 引 理 34. 3 证 明 。 算 法 下 是 一 个 归 约 算法 ， 它 在 多 项 式 时 间 内 计算 出 从 Li 到 Lz 的 归 约 
函数 f, Ar 是 一 个 能 判定 Lz 的 多 项 式 时间 算 法 。 算 法 A 通过 利用 下 将 任何 输入 zx 转 
A f(a), BAA A 来 判定 是 否 有 f(z) EL， 最 终 判 定 是 否 有 xzEL 


语言 LS{0，1)' 是 NP 完全 的 ， 如 果 : 

1.LENP。 

2. 对 每 一 个 L'ENP,， 有 LL'<<eL，。 

如 果 一 种 语言 工 满足 性 质 2， 但 不 一 定 满足 性 质 1， 则 称 L 是 NP 难度 (NP-hard) 的 。 同 时 ， 
我 们 定义 NPC 为 NP 完全 语言 类 。 

正如 下 列 定理 所 述 ，NP 完全 性 是 判定 P 是 否 等 于 NP 的 关键 。 

定理 34.4 如果 任何 NP 完全 问题 是 多 项 式 时 间 可 求解 的 ， 则 P 二 NP。 等 价 地 ， 如 果 存 在 某 
一 NP 中 的 问题 不 是 多 项 式 时 间 可 求解 的 ， 则 所 有 NP 完全 问题 都 不 是 多 项 式 时 间 可 求解 的 。 

证 明 假定 LEP 并 且 LENPC， 对 任意 L'ENP， 由 NP 完全 性 定义 中 的 性 质 2， 有 L'<pL。 
因此 ， 根 据 引 理 34. 3， 就 有 L' EP， 这 样 就 证 明了 本 定理 的 第 一 个 结论 。 第 二 个 结论 是 第 一 个 结 
论 的 对 换 句 ， 因 此 第 二 个 结论 也 得 证 。 回 

正 是 因为 如 此 ， 对 PANP 问题 的 研究 都 是 以 NP 完全 问题 为 中 心 的 。 大 部 分 从 事理 论 研究 
的 计算 机 科学 家 们 都 认为 P 关 NP， 据 此 可 以 导出 图 34-6 中 所 示 的 P、NP 与 NPC 之 间 的 关系 。 
但 是 ， 我 们 都 知道 ， 或 许 有 一 天 会 找 出 关于 一 个 NP 完全 问题 的 多 项 式 时 间 算 法 ， 这 样 就 能 证 明 

P 二 NP。 然 而， 由 于 迄今 为 止 还 没有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 ， 所 以 在 目前 ,证 
明了 一 个 问题 具有 NP 完全 性 ， 也 就 找到 了 可 以 提供 其 难处 理性 的 极 好 证 明 。 





图 34-6 大 多 数理 论 计 算 机 科学 家 们 眼中 的 P、NP 和 NPC 三 者 之 间 的 关系 。P 和 
NPC 都 完全 包含 在 NP 内 ， 且 PM NPC=2 
电路 可 满足 性 
前 面 已 经 定义 过 NP 完全 问题 这 一 概念 ， 但 到 现在 为 止 ， 我 们 实际 上 还 没有 证 明 任 何 问题 是 
NP 完全 问题 。 一 旦 我 们 证 明了 至 少 有 一 个 问题 是 NP 完全 问题 ， 就 可 以 用 多 项 式 时 间 可 归 约 性 
作为 工具 ， 来 证 明 其 他 问题 也 具有 NP 完全 性 。 因 此 ， 下 面 来 着 重 证 明 存在 一 个 NP 完全 问题 : 
电路 可 满足 性 问题 。 
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遗憾 的 是 ， 在 电路 可 满足 性 问题 的 形式 化 证 明 中 ， 需 要 一 些 超出 本 书 范围 的 技术 细节 。 因 
此 ， 我 们 将 非 形式 地 描述 一 种 基于 布尔 组 合 电路 知识 的 证 明 过 程 。 

布尔 组 合 电路 是 由 布尔 组 合 元 素 通过 电路 互 连 后 构造 而 成 的 ， 布 尔 组 合 元 素 是 指 任何 一 种 
电路 元 素 ， 它 有 着 固定 数目 的 输入 和 输出 ， 执 行 的 是 某 种 良 定义 的 函数 功能 。 布 尔 值 取 自 集合 
{0，1}， 其 中 0 代表 FALSE( 假 )，1 代表 TRUE( 真 ) 。 

在 电路 可 满足 性 问题 中 ， 所 用 到 的 布尔 组 合 元 素 计 算 的 是 一 个 简单 的 布尔 函数 ， 这 些 元 素 
称 为 逻辑 门 。 图 34-7 表示 出 了 在 电路 可 满足 性 问题 中 用 到 的 三 种 基本 的 逻辑 门 : NOT GET, 
也 称 为 反 向 器 )、AND 门 (与 门 ) 和 OR 门 ( 或 门 )。NOT 门 只 有 一 个 二 进 制 输入 x， 它 的 值 为 0 或 
1， 产 生 的 是 二 进 制 输出 z， 其 值 与 输入 值 相 反 。 另 外 的 两 种 门 都 取 两 个 二 进 制 输入 z 和 y， 然 后 
产生 一 个 二 进 制 输出 z。 





图 34-7 此 三 种 基本 的 逻辑 门 都 具有 二 进 制 形式 的 输入 和 输出 。 在 每 一 种 门下 面 ， 是 描述 该 多 
辑 门 的 真 值 表 。(a)NOT 门 。(b)AND 门 。(CCOR 门 


每 一 种 门 及 任何 一 种 布尔 组 合 元 素 的 操作 都 可 以 用 一 个 真 值 表 来 描述 ， 如 图 34-7 所 示 。 真 
值 表 给 出 了 对 于 输入 组 合 元 素 的 每 一 种 可 能 取 值 ， 以 及 组 合 元 素 的 输出 情况 。 例 如 ，OR 门 的 真 
值 表 告诉 我 们 ， 当 输入 为 z=0 和 y==1 时 ， 输 出 值 z==1。 我 们 用 符号 一 来 表示 NOT MH, FAA 
来 表示 AND 函数 ， 用 V 来 表示 OR 函数 。 例 如 ，0V1=1。 

我 们 可 以 将 AND 门 和 OR 门 加 以 推广 ， 使 其 可 以 有 多 于 两 个 的 输入 。 对 AND 门 来 说 ， 如 
果 其 所 有 输入 均 为 1， 则 其 输出 为 1; 否则 ， 其 输出 为 0。 对 OR 门 来 说 ， 如 果 其 任何 一 个 输入 为 
1， 则 其 输出 为 1; 否则 ， 其 输出 为 0。 

布尔 组 合 电路 由 一 个 或 多 个 布尔 组 合 元 素 通 过 线路 连接 而 成 。 一 个 电路 可 以 将 某 一 元 素 的 
输出 与 另 一 个 元 素 的 输入 连接 起 来 ， 即 将 第 一 个 元 素 的 输出 值 提供 给 第 二 个 元 素 作 为 其 输入 值 。 
图 34-8 给 出 了 两 个 类 似 的 布尔 组 合 电路 ， 它 们 仅 在 一 个 门 上 有 所 不 同 。 图 34-8(a) 给 出 了 当 输入 
为 (zx 二 1，zz 二 1，zs 二 0) 时 ， 每 根 接线 上 的 值 。 虽 然 一 个 线 上 不 可 能 有 多 于 一 个 的 布尔 元 素 的 输 
出 与 其 相连 , 但 它 可 以 作为 其 他 几 个 元 素 的 输入 。 由 一 根 接线 提供 输入 的 元 素 的 个 数 称 为 该 接线 
的 扇 出 (fan-out)。 如 果 没 有 哪 一 元 素 的 输出 是 接 到 菜根 接线 上 ， 则 称 该 接线 是 电路 输入 ， 它 接受 来 
自 外 部 的 数据 。 如 果 没 有 哪 一 个 元 素 的 输入 连接 到 菜根 接线 上 ， 则 称 该 接线 为 电路 输出 ， 它 将 电 
路 的 计算 结果 提供 给 外 部 。( 一 根 内 部 接线 也 可 以 扇 出 至 电路 的 输出 上 .。) 为 了 定义 电路 可 满足 性 问 
题 ， 我 们 限制 电路 的 输出 为 1， 在 实际 的 硬件 设计 中 ， 布 尔 组 合 电路 是 可 以 有 多 个 输出 的 。 

布尔 组 合 电路 不 包含 回路 。 换 名 话说， 假设 我 们 创建 了 一 个 有 向 图 G=(V，E)， 其 中 每 一 个 
顶点 代表 一 个 组 合 元 素 , 条 有 向 边 代表 每 一 根 扇 出 为 下 的 接线 ;如 果 某 一 接线 将 一 个 元 素 x 的 输 
出 与 男 一 个 元 素 v 的 输入 连接 了 起 来 ,图 中 就 会 包含 一 条 有 向 边 (u，v)。 那 么 ，G 必定 是 无 回 
路 的 。 

一 个 布尔 组 合 电路 的 真 值 赋值 是 指 一 组 布尔 输入 值 。 如 果 一 个 单 输出 布尔 组 合 电 路 具有 一 
个 可 满足 性 赋值 (即使 得 电路 的 输出 为 1 的 一 个 真 值 赋值 )， 就 称 该 布尔 组 合 电 路 是 可 满足 的 。 例 
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如 ， 图 34-8(a) 中 的 电路 具有 可 满足 性 赋值 (zi =1, 22 =1, 22 二 0)， 所 以 它 是 可 满足 的 。 如 练习 
34. 3-1 中 要 求 读者 说 明 的 那样 ， 不 存在 对 21. x, 和 zs 的 赋值 ， 使 得 图 34-8(b) 中 的 电路 产生 输 
出 为 1， 它 总 是 输出 0， 因 此 ， 它 是 不 可 满足 的 。 


x; 





(a) (b) 


图 34-8 电路 可 满足 性 问题 的 两 个 实例 。(a) 对 此 电路 的 输入 赋值 (zi = 1, =l, z 二 0;， 使 得 电路 的 输 
出 为 1。 因 而 ， 此 电路 是 可 满足 的 。(b) 对 此 电路 输入 的 任何 一 种 赋值 都 不 能 使 得 电路 的 输出 为 1。 
因而 ， 此 电路 是 不 可 满足 的 


电路 可 满足 性 问题 就 是 :“ 给 定 某 一 个 由 AND, OR 和 NOT 门 构成 的 布尔 组 合 电路 ， 它 是 
可 满足 电路 吗 ?为 了 给 出 这 一 问题 的 形式 定义 ， 必 须 对 电路 的 编码 有 一 个 统一 的 标准 。 布 尔 组 合 
电路 的 规模 是 指 其 中 布尔 组 合 元 素 的 数目 加 上 电路 中 接线 的 数目 。 我 们 可 以 设计 出 一 种 “类 图 形 
编码 ”(graphlike encoding)， 使 其 可 以 把 任何 给 定 电路 C 映射 为 一 个 二 进 制 串 (C?， 该 串 的 长 度 与 
电路 本 身 的 规模 呈 多 项 式 关系 。 作 为 一 种 形式 语言 ， 我 们 可 以 定义 : 

CIRCUIT-SAT = {(C):C 是 一 个 可 满足 的 布尔 组 合 电路 } 

电路 可 满足 性 问题 在 计算 机 辅助 硬件 优化 领域 中 越 来 越 凸 显 出 其 重要 性 。 如 果 一 个 子 电路 
总 是 输出 0， 那么 这 个 子 电路 对 整个 电路 结果 来 讲 就 是 非 必要 的 ， 我 们 就 可 以 用 一 个 更 为 简单 的 
子 电路 来 取代 原 电 路 。 该 子 电 路 省 略 了 所 有 逻辑 门 ， 并 提供 常数 值 0 作为 其 输出 。 如 此 ， 我 们 可 
以 很 容易 地 理解 开发 出 这 一 问题 相应 多 项 式 算 法 的 优点 。 

给 定 一 个 电路 C， 通 过 检查 输入 的 所 有 可 能 赋值 来 确定 它 是 否 是 可 满足 性 电路 。 遗 憾 的 是 ， 
MRA R MBA, BAA 2 种 可 能 的 赋值 。 当 电路 C 的 规模 为 & 的 多 项 式 时 ， 对 每 个 电路 的 检 
查 将 花费 Q(2*) 的 时 间 ， 这 与 电路 的 规模 呈 超 多 项 式 关系 S。 事 实 上 ， 如 前 面 所 述 ， 有 很 强 的 证 
据 表明 ， 能 解决 电路 可 满足 性 问题 的 多 项 式 时 间 算 法 是 不 存在 的 、 因 为 该 问题 是 NP 完全 的 。 根 
据 NP 完全 性 定义 中 的 两 个 部 分 ， 把 对 这 一 事实 的 证 明 过 程 也 分 为 两 部 分 。 

引 理 34.5 电路 可 满足 性 问题 属于 NP 类 。 

证 明 ”我 们 将 提出 一 个 能 验证 CIRCUIT-SAT 的 、 两 输入 的 多 项 式 时 间 算 法 A。A 的 一 个 输 
人 是 布尔 组 合 电路 C(C 的 一 个 标准 编码 ) ， 另 一 个 输入 是 一 个 相应 于 C 中 线路 的 一 个 布尔 型 赋值 
的 证 书 。( 练 习 34. 3-4 中 提供 了 一 个 更 小 的 证 书 。) 

对 算法 A 的 构造 如 下 : 对 电路 中 的 每 个 逻辑 门 ， 算 法 要 检查 输出 线路 上 证 书 所 提供 的 值 ， 
看 它 是 否 是 根据 输入 线路 值 正 确 计算 出 的 一 个 函数 值 。 然 后 ， 因 为 对 电路 C 的 输入 的 赋值 提供 
了 一 种 可 满足 性 赋值 ， 所 以 如 果 整 个 电路 的 输出 为 1， 则 算法 输出 为 1 ; 否则 ,算法 A 输出 0。 

每 当 将 一 个 可 满足 的 电路 C 输入 算法 A 时 ， 必 会 存在 一 个 证 书 ， 其 长 度 为 C 的 规模 的 多 项 


日 另 一 方面 ER C 的 规模 为 @(2:)， 则 对 于 运行 时 间 为 OC(2*) 的 算法 来 说 ， 其 运行 时 间 与 电路 规模 是 呈 多 项 式 
关系 的 。 即 使 P 震 NP， 这 种 情况 也 不 会 与 该 问题 是 NP 完全 的 这 一 事实 矛盾 ; 对 某 种 特例 存在 多 项 式 时 间 的 算 
法 ， 并 不 意味 着 对 于 所 有 情况 都 存在 多 项 式 时 间 的 算法 。 
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R, 并 使 A 输出 1。 每 当 将 一 个 不 可 满足 的 电路 作为 A 的 输入 时 ， 则 不 存在 这 样 的 证 书 让 A 认 
为 该 电路 是 可 满足 的 。 算 法 A 的 运行 时 间 为 多 项 式 时 间 : 如 果 运 用 较 好 的 实现 方法 ， 可 以 达到 
线性 时 间 。 因 此 ，CIRCUIT-SAT 可 以 在 多 项 式 时 间 内 被 验证 ， 从 而 有 CIRCUIT-SATENP。 W 

证 明 CIRCUIT-SAT 是 NP 完全 问题 的 第 二 部 分 ， 就 是 要 证 明 该 语言 是 NP 难度 的 。 也 就 是 
说 ， 必 须 证 明 NP 中 的 每 一 种 语言 都 可 以 在 多 项 式 时 间 内 归 约 为 CIRCUIT-SAT。 这 一 事实 的 实 
际 证 明 过 程 在 技术 上 是 比较 难 解决 的 ， 因 此 ， 我 们 将 基于 计算 机 硬件 的 工作 机 理 来 给 出 一 个 简 
要 的 证 明 过 程 。 

计算 机 程序 是 作为 一 个 指令 序列 存储 于 计算 机 存储 器 中 的 。 一 条 典型 的 指令 包含 操作 代码 、 
操作 数 在 存储 器 中 的 地 址 以 及 结果 的 存储 地 址 。 一 个 特定 的 称 为 程序 计数 器 的 存储 器 单元 记录 
了 将 被 执行 的 下 一 条 指令 的 地 址 。 每 当 取 出 一 条 指令 时 ， 程 序 计数 器 即 进行 自 增 操作 ， 这 样 就 可 
以 使 计算 机 按 顺 序 执行 指令 。 但 是 ， 一 条 指令 执行 后 ， 可 以 使 一 个 值 被 写 入 程序 计数 器 中 ， 于 是 
正常 的 执行 顺序 发 生 改 变 ， 从 而 允许 计算 机 执行 循环 和 条 件 分 支 语句 。 

在 程序 执行 的 过 程 中 ， 计 算 过 程 的 整个 状态 都 表示 于 计算 机 的 存储 器 里 。( 我 们 此 处 所 说 的 
存储 器 包括 程序 自身 、 程 序 计 教 器 、 工 作 存储 器 以 及 计算 内 务 操作 所 设置 的 各 种 状态 位 。) 我 们 把 
计算 机 存储 的 任何 一 种 特定 状态 称 为 一 个 配置 (configuration) 。 执 行 一 条 指令 可 以 看 做 建立 从 一 
个 配置 到 另 一 个 配置 的 映射 。 实 现 这 种 映射 关系 到 的 计算 机 硬件 可 以 用 一 个 布尔 组 合 电路 来 实 
现 ， 在 下 面 引 理 的 证 明 过 程 中 ， 用 M 来 表示 该 布尔 组 合 电路 。 

引 理 34.6 电路 可 满足 性 问题 是 NP 难度 的 。 

证 明 设 工 是 NP 中 的 任意 一 种 语言 。 我 们 将 描述 一 个 多 项 式 时 间 的 算法 下 来 计算 归 约 函数 
f， 该 函数 把 每 个 二 进 制 串 x 都 映射 为 一 个 电路 C=(z)， 使 得 zxE 工 当 且 仅 当 CE 
CIRCUIT-SAT。 

由 于 工 ENP， 因 此 必定 存在 一 个 算法 A， 它 可 以 在 多 项 式 时 间 内 验证 工 。 我 们 将 构造 的 算法 
下 将 使 用 含有 两 个 输入 的 算法 A 来 计算 归 约 函数 了。 

Ww T(n) 表 示 算 法 A 对 长 度 为 n 的 输入 串 在 最 坏 情 况 下 的 运行 时 间 ， 并 设 宇 1 为 一 个 常数 ， 
满足 T(n) 二 OC(w)， 且 证 书 的 长 度 为 OGA) 的 运行 时 间 实 际 上 是 关于 整个 输入 规模 的 一 个 多 
项 式 ， 既 包括 输入 串 也 包括 证 书 ， 但 由 于 证 书 的 长 度 是 关于 输入 串 长 度 nn 的 多 项 式 ， 所 以 运行 时 
间 也 是 关于 nn 的 多 项 式 )。 

证 明 的 基本 思想 是 把 A 的 计算 过 程 表 示 成 一 系列 配置 。 如 图 34-9 所 示 ， 我 们 可 以 把 每 个 配 
置 划分 为 数 个 部 分 ， 包括 A 的 程序 、 程 序 计 数 器 、 辅 助 机 器 状态 、 输 入 zx、 证 书 > 和 工作 存储 
器 。 从 初始 配置 开始 ， 每 个 配置 c; 都 由 实现 计算 机 硬件 的 组 合 电路 M 映射 到 其 随后 的 配置 
citl。 当 算法 4 终止 执行 时 ， 其 输出 0 或 1 被 写 人 到 工作 存储 器 的 某 个 指定 单元 中 。 并 且 ， 如 果 
我 们 假定 此 后 A 会 停止 ， 则 该 值 不 会 改变 。 因 此 ， 如 果 算 法 至 多 执行 T(n) 步 ， 则 输出 出 现 于 
CT(m 中 的 一 位 上 。 

归 约 算法 下 构造 出 一 个 组 合 电 路 ， 它 根据 已 给 的 初始 配置 计算 出 产生 的 全 部 配置 。 其 设计 
思想 为 复制 T(w) 个 电路 M 的 副本 ， 并 把 它们 粘贴 在 一 起 。 产 生 配置 c; 的 第 i 个 电路 的 输出 直接 
作为 第 (i 十 了 个 电路 的 输入 。 因 此 ， 这 些 配置 并 非 终 止 于 一 个 状态 寄存 器 中 ， 而 是 仅仅 驻 留 在 连 
接 M 的 副本 之 间 的 线路 上 。 

我 们 来 回顾 一 下 多 项 式 时 间 归 约 算法 下 必须 做 的 工作 。 给 定 一 个 输入 zx， 它 必须 计算 出 一 个 
电路 C 二 f(x),，C 是 可 满足 电路 当 且 仅 当 存在 一 个 证 书 >， 使 得 A(z，y)=1。 当 下 获得 一 个 输 
入 工时 ， 它 首先 计算 出 z 一 |z| ， 然 后 构造 出 一 个 由 T() 个 电路 M 的 副本 组 成 的 组 合 电 路 C'。 
C 的 输入 是 对 应 于 对 A(z，y) 进 行 计算 的 初始 配置 ， 输 出 为 配置 cr o 

算法 下 所 计算 出 的 电路 C= fo) Et C' 稍 作 修 改 而 得 到 的 。 首 先 ， 相 应 于 A 的 程序 的 C "的 
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输入 ， 初 始 的 程序 计数 器 、 输 入 z 和 存储 器 的 初始 状态 的 线路 直接 与 这 些 已 知 值 相连 。 因 此 ， 电 
路 剩 下 的 唯一 输入 对 应 于 证 书 >。 其 次 ， 电 路 的 所 有 来 自 C 输出 都 被 忽略 ， 但 对 应 于 A 的 输出 
Cro 中 的 一 位 除外 。 这 样 构 造成 的 电路 C 对 长 度 为 OC ) 的 任意 输入 计算 出 CC(y) 二 A(rx，y)。 当 
RE TER TEOT 工时 ， 它 就 计算 出 这 样 一 个 电路 C 并 输出 。 


o x ee TCR 
se OES 








PETE TRG 1 BR yp 大 8 ay aay 
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0/1 输 出 


34-9 算法 A 在 输入 x 和 证 书 y 上 运行 时 所 产生 的 配置 序列 。 每 个 配置 都 表示 计 
算 机 在 一 步 计算 后 的 状态 ,除了 A、z Aly 外， 还 包括 程序 计数 器 (PC)、 
辅助 机 器 状态 和 工作 存储 器 。 除 了 证 书 > 外 ， 初 始 配 置 co 是 固定 的 。 通 过 
一 个 布尔 组 合 电路 M， 每 个 配置 都 会 被 映射 到 下 一 个 配置 之 上 。 输 出 是 工 
作 存 储 器 中 一 个 特别 的 位 


我 们 还 需要 证 明 两 条 性 质 。 第 一 ， 必 须 证 明正 能 够 正确 地 计算 出 归 约 函数 上， 即 必须 证 明 C 
是 可 满足 的 当 且 仅 当 存在 一 个 证 书 y， 满足 A(zx，y) = 二 1。 第 二 ， 必 须 证 明 下 的 运行 时 间 为 多 项 
式 时 间 。 

为 了 证 明 下 能 够 正确 地 计算 出 归 约 函数 ， 假 设 存 在 一 个 长 度 为 OC(x*) 的 证 书 y， 满足 
Alz, Y=1. ABA, WIRE y 的 各 位 作为 CMA, BBA C 的 输出 为 COSA, y)=1. Ke, 4 
果 有 一 个 证 书 存在 ， 则 C 是 可 满足 的 (电路 )。 另 一 方面 ， 假 定 C 是 可 满足 的 ， 因 此 对 C 存 在 一 个 输入 
y， 满 足 CCy) 王 1， 据 此 ， 可 以 得 到 A(z， 刀 =1。 因 此 ， 正 能够 正确 地 计算 出 一 个 归 约 函数 。 

为 了 完成 此 证 明 过 程 ， 仅 需 证 明正 的 运行 时 间 是 关于 = |z| 的 多 项 式 时 间 。 首 先 需 要 注意 
的 是 ， 表 示 一 个 配置 所 需 的 位 数 是 关于 n 的 多 项 式 。A 的 程序 本 身 的 规模 为 常数 ， 与 输入 工 的 长 
ELK. HA THKHEAn, WEB y 的 长 度 为 Ol)。 由 于 算法 至 多 运行 OM), 所 以 A 所 要 
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求 的 工作 存储 器 总 量 也 是 n 的 多 项 式 。( 假 定 该 存储 器 单元 是 连续 的 ; 练习 34. 3-5 要 求 读者 把 证 
明 扩展 到 下 列 情况 : A 所 存 取 的 存储 单元 散布 于 存储 器 的 一 个 更 大 的 范围 内 ， 对 每 个 输入 xz， 其 
特定 的 散布 方式 也 可 能 不 同 。) 

实现 计算 机 硬件 的 组 合 电路 M 的 规模 是 关于 配置 的 长 度 的 多 项 式 。 即 为 O(z) 的 多 项 式 ， 因 
而 也 是 关于 的 多 项 式 。( 这 个 电路 的 大 部 分 实现 了 存储 系统 的 逻辑 .) 电 路 C 至 多 由 t—=O(n*) AM 
的 副本 组 成 ， 因 此 其 规模 是 关于 的 多 项 式 。 由 于 构造 过 程 的 每 一 步 都 需要 多 项 式 时 间 ， 所 以 用 
归 约 算法 下 可 以 在 多 项 式 时 间 内 完成 从 工 构造 电路 C 的 过 程 。 

综 上 所 述 ， 因 为 语言 CIRCUIT-SAT 至 少 与 NP 中 的 任意 语言 具有 同样 的 难度 ， 并 且 又 因为 
它 是 属于 NP 的 ， 所 以 它 是 NP 完全 的 。 

定理 34.7 电路 可 满足 性 问题 是 NP 完全 的 。 

WEAR 根据 引 理 34.5 和 引 理 34. 6， 以 及 NP 完全 性 的 定义 ， 可 以 直接 推 得 结论 。 加 


练习 

34.3-1 验证 图 34-8(b) 中 的 电路 是 不 可 满足 的 。 

34. 3-2 WH: <S 关系 是 语言 上 的 一 种 传递 关系 ， 即 证 明 如 果 有 L<pL., A L: SrL: WA 
Li SrL. 

34.3-3 证 明 : LSL HHN L SL. 

34.3-4 证 明 : 在 对 引 理 34. 5 的 另 一 种 证 明 中 ， 可 满足 性 赋值 可 以 当做 证 书 来 使 用 。 试 问 哪 一 
个 证 书 可 以 使 证 明 过 程 更 容易 些 ? 

34.3-5 在 引 理 34. 6 的 证 明 中 ， 假 定 算法 A 的 工作 存储 占用 的 是 一 块 具 有 多 项 式 大 小 的 连续 存 
储 区 域 。 在 该 证 明 的 什么 地 方 用 到 了 这 一 假设 ? 论证 这 一 假设 的 过 程 要 具有 普 适 性 。 

34.3-6 ”如 果 对 所 有 L'EC， 有 LEC 且 L' 志 pL， 则 相对 于 多 项 式 时 间 的 归 约 来 说 ， 一 个 语言 L 
对 语言 类 C 是 完全 的 。 证明: 相对 于 多 项 式 时 间 的 归 约 来 说 ，# 和 {0，1)" 是 P 中 仅 有 
的 对 P 不 完全 的 语言 。 

34.3-7 EH: 关于 多 项 式 时 间 归 约 (参见 练习 34.36), L 对 NP 是 完全 的 ， 当 且 仅 当 工 对 
co-NP 是 完全 的 。 

34.3-8 在 引 理 34. 6 的 证 明 中 ， 归 约 算法 下 基于 有 关 zx、A 和 k 的 信息 ， 构 造 了 电路 C= f(zx)。 
Sartre 教授 观察 到 串 x 是 下 的 输入 ,但 只 有 A、 上 的 存在 性 和 运行 时 间 OG) PRS 
的 常数 因子 对 下 来 说 是 已 知 的 (因为 语言 L 属于 NP)， 实 际 值 对 下 来 说 却 是 未 知 的 。 因 
此 ， 这 位 教授 就 得 出 了 这 样 的 结论 ， 即 下 不 可 能 构造 出 电路 C， 并 且 语 言 CIRCUIT- 
SAT 不 一 定 是 NP 难度 的 。 试 说 明 在 这 位 教授 的 推理 中 存在 哪些 缺陷 ? 


34.4 NP 完全 性 的 证 了 明 


通过 直接 证 明 对 于 任意 语言 LENP， 都 有 L 志 :CIRCUIT-SAT， 我 们 可 以 证 明 电 路 可 满足 性 
问题 是 NP 完全 的 。 在 本 节 中 ,我们 将 说 明 如 何在 不 把 NP 中 的 每 一 种 语言 直接 归 约 为 给 定语 言 
的 前 提 下 ， 证 明 一 种 语言 是 NP 完全 的 。 我 们 将 通过 证 明 各 类 公式 可 满足 性 问题 是 NP 完全 问题 
来 阐明 这 一 方法 。34. 5 节 中 提供 了 更 多 用 于 说 明 这 一 方法 的 更 多 例子 。 

下 面 的 引 理 是 证 明 一 种 语言 是 NP 完全 语言 的 方法 的 基础 。 

引 理 34.8 如 果 语 言 L 是 一 种 满足 对 任意 L'ENPC 都 有 工 委 pL 的 语言 ， 则 了 是 NP 难度 
的 。 此 外 ， 如 果 LENP， 则 LE NPC。 

证 明 由 于 L 是 NP 完全 语言 ， 所 以 对 所 有 LENP， 都 有 L'<pL 。 根据 假设 ，L'<pL。 因 此 
根据 传递 性 ( 见 练习 34. 3-2)， 有 了 L'<pL， 这 说 明 工 是 NP 难度 的 。 如 果 LENP， 则 也 有 LE NPC. 
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换 名 话说， 通过 把 一 个 已 知 为 NP 完全 的 语言 L' 归 约 为 L， 就 可 以 把 NP 中 的 每 一 种 语言 都 
隐 式 地 归 约 为 L。 因 此 ， 引 理 34. 8 提供 了 证 明 某 种 语言 L 是 NP 完全 语言 的 一 种 方法 : 

1. WEH LE NP. 

2. 选取 一 种 已 知 的 NP 完全 语言 L'。 

3. 描述 一 种 可 计算 函数 f(z) 的 算法， 其 中 f 可 将 L' 中 每 一 个 实例 zE (0, 1) 映射 为 工 中 
的 实例 f(x). 

4. 证 明 函 数 f 满足 zEL' 当 上 且 仅 当 对 于 所 有 的 xE {0, 1) 都 有 f(z)EL。 

5. 证 明 计算 函数 f 的 算法 具有 多 项 式 运 行 时 间 。 
(第 2 步 到 第 5 步 说 明了 LL 是 NP 难度 的 .) 这 种 根据 一 种 已 知 的 NP 完全 语言 进行 归 约 的 方法 ， 比 说 
明 如 何 直接 根据 NP 中 每 一 种 语言 进行 归 约 这 一 复杂 的 过 程 要 简单 得 多 。 证明 CIRCUIT-SAT € 
NPC 使 我 们 有 了 一 个 立足 点 ， 由 于 已 知 电 路 可 满足 性 问题 是 一 个 NP 完全 问题 ， 因 此 现在 可 以 更 
为 简单 地 证 明 其 他 问题 也 是 NP 完全 问题 。 而 且 ， 随 着 我 们 逐渐 建立 起 一 个 已 知 NP 完全 问题 的 目 
录 ， 选 择 根据 哪 一 种 语言 进行 归 约 的 余地 就 更 大 了 。 

公式 可 满足 性 

对 于 确定 布尔 公式 (而 非 电路 ) 是 否 可 满足 这 一 问题 ， 通 过 给 出 一 个 NP 完全 性 的 证 明 ， 来 说 
明 上 面 提 到 的 归 约 方法 。 这 一 问题 是 我 们 已 知 历史 上 第 一 个 被 证 明 的 NP 完全 问题 。 

我 们 根据 语言 SAT 来 形式 化 地 定义 可 满足 性 问题 ，SAT 的 一 个 实例 就 是 由 下 列 成 分 组 成 的 
布尔 公式 $: 

1. n 个 布尔 变量 : Tis Tzs ***s no 

2.m 个 布尔 连接 词 : 具有 一 个 或 两 个 输入 和 一 个 输出 的 任何 布尔 函数 ， 如 入 (与 )、V (或 )、 一 
( 非 )、 一 (蕴涵 )、*>( 当 且 仅 当 ) 。 

3. 括号 。( 不 失 一 般 性 ， 假 定 没有 宛 余 的 括号 ， 即 每 个 布尔 连接 符 至 多 包含 一 对 括号 。) 
很 容易 对 一 个 布尔 公式 $ 进行 编码 ， 使 其 长 度 是 关于 nn 十 m 的 多 项 式 。 如 在 布尔 组 合 电 路 中 一 
样 ， 关 于 一 个 布尔 公式 $ 的 真 值 赋值 是 为 $ 中 各 变量 所 取 的 一 组 值 ， 可 满足 性 赋值 是 指使 公式 $ 
的 值 为 1 的 真 值 赋 值 。 具 有 可 满足 性 赋值 的 公式 就 是 可 满足 公式 。 可 满足 性 问题 提出 如 下 问题 : 
“一 个 给 定 的 布尔 公式 是 不 是 可 满足 的 ?” 用 形式 语言 的 术语 来 表达 ， 就 是 : 

SAT={($): $8 是 一 个 可 满足 的 布尔 公式 } 
例如 ， 公 式 
$= (Cay, > r) V Onen) V aA ATX 
具有 可 满足 性 赋值 (zi =0, 22 =0, 22 =1,  =1), AW 
$= (0—0) V 一 (C 〇 0e>1) VDI ATO=AVrVdVID)A1 
=(1V0OA1=1 (34. 2) 

因此 , 该 公式 $ 属 于 SAT, 

“确定 一 个 任意 的 布尔 公式 是 否 是 可 满足 的 ?这 一 问题 没有 多 项 式 运 行 时 间 的 朴素 算法 。 在 
一 个 具有 个 变量 的 公式 中 ， 有 2” 种 可 能 的 赋值 。 如 果 (#$) 的 长 度 是 关于 nn 的 多 项 式 ， 则 检查 每 
一 种 赋值 需要 QC2") 时 间 ， 这 是 (办 ) 长 度 的 超 多 项 式 。 正 如 下 面 定 理 所 述 ， 此 时 ， 不 太 可 能 存在 
多 项 式 时 间 的 算法 。 

定理 34.9 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

证 明 首先 证 明 SATE NP， 然 后 通过 证 明 CIRCUIT-SAT<pSAT， 来 证 明 SAT 是 NP 难度 
的 ; 根据 引 理 34. 8， 这 将 证 明定 理 成 立 。 

为 了 证 明 SAT 属 于 NP， 我 们 来 证 明 对 于 输入 公式 $， 由 它 的 一 个 可 满足 性 赋值 所 组 成 的 证 
书 可 以 在 多 项 式 时 间 内 得 到 验证 。 验 证 算法 将 公式 中 的 每 个 变量 替换 为 其 对 应 的 值 ， 再 对 公式 
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进行 求解 ， 这 一 做 法 与 式 (34. 2) 的 做 法 非常 类 似 。 这 一 任务 很 容易 在 多 项 式 时 间 内 完成 ， 如 果 表 
达 式 的 值 为 1， 则 算法 得 到 验证 ， 此 表达 式 是 可 满足 的 。 因 此 ， 引 理 34. 8 中 有 关 NP 完全 性 的 第 
一 个 条 件 就 成 立 了 。 

为 了 证 明 SAT 是 NP 难度 的 ， 首 先 来 证 明 CIRCUIT- SAT 生 "SAT。 换 名 话说， 我 们 需要 证 
明 的 是 ， 电 路 可 满足 性 问题 的 任何 实例 可 以 在 多 项 式 时 间 内 归 约 为 公式 可 满足 性 问题 的 一 个 实 
例 。 利 用 归纳 法 ， 可 以 将 任意 布尔 组 合 电路 表示 为 一 个 布尔 公式 。 观 察 一 下 产生 电路 输出 的 逻辑 
门 ， 并 归纳 地 将 每 个 逻辑 门 的 输入 表示 为 公式 。 于 是 ， 通 过 写 出 一 个 表达 式 ， 将 逻辑 门 的 功能 作 
用 于 其 输入 的 公式 ， 即 可 获得 与 电路 对 应 的 公式 了 。 

遗憾 的 是 ， 用 这 种 直接 的 方法 并 不 能 构成 一 个 多 项 式 时 间 的 归 约 过 程 。 如 练习 34. 4-1 所 要 
求 的 ， 证 明 共 享 的 子 公 式 ( 它 们 源 自 于 那些 输出 线 的 扇 出 为 2 或 更 多 的 逻辑 门 ) 会 使 得 所 生成 的 公 
式 的 规模 呈 指 数 增 长 。 因 此 ， 从 某 种 意义 上 来 说 ， 我 们 采用 归 约 算法 是 更 明智 的 。 

图 34-10 利用 图 34-8(a) 中 的 电路 说 明了 我 们 该 如 何 克 服 这 一 问题 。 对 电路 C 中 的 每 一 根 线 
Zi， 公 式 $ 中 都 有 一 个 变量 x;。 我 们 现在 可 以 说 明 如 何 将 逻辑 门 操作 表示 为 关于 其 附属 线路 变量 
的 公式 。 例 如 ， 输 出 “与 ” 门 的 操作 为 tolar A zs A xz,)。 我 们 把 这 些 附 属 公式 称 为 子 名 。 





图 34-10 把 电路 可 满足 性 归 约 为 公式 可 满足 性 。 在 归 约 算法 所 
产生 的 公式 中 ， 电 路 的 每 根 线 都 有 着 一 个 对 应 的 变量 


此 归 约 算法 产生 的 公式 为 % 它 是 电路 输出 变量 与 描述 每 个 门 操作 的 子 句 合 取 式 的 “与 ”。 对 
图 中 的 电路 ， 相 应 的 公式 为 : 

$= Zio A (ay, z) 
A (a3 (x, V x)) 
A (a5? 7 2,) 
A Ce A x A %)) 
A (ag*(a5 V Z6)) 
A (zeot>(Z6 V x1)) 
A (toz, A Ts N xo)) 


给 定 一 个 电路 C， 就 可 以 直接 在 多 项 式 时 间 内 产生 这 样 的 一 个 公式 $。 

为 什么 只 有 当 公 式 $ 可 满足 时 ， 电 路 C 才 是 可 满足 的 呢 ?” 如 果 C 具 有 一 个 可 满足 性 赋值 ， 那 
么 电路 的 每 条 线路 都 有 一 个 良 定义 的 值 ， 并 且 电 路 的 输出 为 1。 因 此， 用 线路 的 值 对 $ 中 的 每 个 
变量 赋值 后 ， 就 使 得 #$ 中 每 个 子 句 的 值 为 1， 因而， 所 有 子 句 的 合 取 值 也 为 1。 反 之， 如 果 存 在 
一 个 赋值 $ 的 值 为 1， 则 类 似 可 证 电路 C 是 可 满足 的 。 这 样 就 证 明了 CIRCUIT-SAT<p SAT, M 
而 问题 得 证 。 a 

3-CNF 可 满足 性 

根据 公式 可 满足 性 进行 归 约 ， 可 以 证 明 很 多 问题 是 NP 完全 问题 。 归 约 算法 必须 能 够 处 理 任 
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何 输入 公式 ， 但 这 样 一 来 ， 就 必须 考虑 大 量 的 情况 。 因 此 ， 常 常 需要 根据 布尔 公式 的 一 种 限制 性 
语言 来 进行 归 约 ， 以 减少 考虑 的 情况 。 当 然 ， 我 们 不 应 该 由 于 对 该 语言 的 限制 过 多 ， 而 使 其 成 为 
多 项 式 时间 可 解 的 语言 。3-CNF 可 满足 性 (或 3-CNF-SAT) 就 是 这 样 一 种 方便 的 语言 。 

我 们 运用 下 列 术 语 来 定义 3-CNF 可 满足 性 。 布 尔 公 式 中 的 一 个 文字 (literal) 是 指 一 个 变量 或 
变量 的 “ 非 ?>。 如 果 一 个 布尔 公式 可 以 表示 为 所 有 子 句 的 “与 ?， 并 且 每 个 子 句 都 是 一 个 或 多 个 文字 
的 “或 >， 则 称 该 布尔 公式 为 合 取 范 式 ， 或 CNF(conjunctive normal formn) 。 如 果 公 式 中 每 个 子 句 
恰好 都 有 三 个 不 同 的 “文字 ”， 则 称 该 布尔 公式 为 3 合 取 范 式 ， 或 3-CNF。 

例如 ， 布 尔 公式 

(mV VAN Vaz Vad a VY mm) 
就 是 一 个 3 合 取 范式 ， 其 三 个 子 句 中 的 第 一 个 为 (zi V 一 zi1V 一 Zz;)， 它 包含 了 三 个 文字 a. 34H 
和 一 22 。 

在 3-CNF-SAT 问题 中 ， 有 这 样 的 问题 : 3-CNF 形式 的 一 个 给 定 布尔 公式 $ 是 否 可 满足 ?下 
面 的 定理 说 明 ， 即 便当 布尔 公式 表述 为 这 种 简单 范式 时 ， 也 不 可 能 存在 多 项 式 时 间 的 算法 以 确 
定 其 可 满足 性 。 

定理 34. 10 3 合 取 范式 形式 的 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

证 明 为 了 证 明 3-CNF-SATCNP, 我 们 可 以 采用 在 证 明 
定理 34. 9 时 ， 为 证 明 SATE NP 所 采用 的 方法 。 因 此 ， 根据 
引 理 34. 8， 仅 需要 证 明 SAT<p3-CNF-SAT. 

归 约 算法 可 以 分 为 三 个 基本 步骤 。 每 一 步骤 都 逐渐 使 输 
和信 公式 $ 向 所 要 求 的 3 合 取 范式 接近 。 

第 一 步 与 在 定理 34. 9 中 用 于 证 明 CIRCUIT-SAT<pSAT 
的 过 程 相同 ， 首 先 ， 为 输入 公式 $ 构 造 一 棵 二 又 “语法 分 析 ” 
树 ， 将 文字 作为 树叶 而 连接 词 作为 内 部 顶点 。 图 34-11 说 明了 
公式 

$= (a, > x) VOme) Vx) AX 





(34.3) 34-11 与 公式 $==((z1 一 zx2)V 
的 一 棵 语法 分 析 树 。 如 果 输入 公式 中 有 包含 数 个 文字 的 “或 " eae 
的 子 句 ， 就 可 以 利用 结合 律 对 表达 式 加 上 括号 ， 使 得 在 所 产 ae 
生 的 树 中 的 每 一 个 内 部 结 点 上 均 有 一 个 或 者 两 个 孩子 。 现 在 ， 我 们 就 可 以 把 二 叉 语 法 分 析 树 视 
为 计算 该 函数 的 一 个 电路 了 。 
仿照 证 明定 理 34. 9 所 用 到 的 归 约 过 程 ， 我 们 为 每 个 内 部 顶点 的 输出 引入 一 个 变量 y;。 然 后 
把 原始 公式 多 改写 为 根 变量 与 描述 每 个 顶点 操作 的 子 句 的 合 取 的 “与 ?。 公 式 (34. 3) 经 改写 后 所 得 
的 表达 式 为 : 
$ = yA (yy 人 一 2)) 
A (nos V yw)) 
A (yz > 22)) 
A (yt ys) 
A (ys (ys V x)) 
A (ye C rer)) 
注意 ， 这 样 得 到 的 公式 岁 是 所 有 子 句 名 MARR, BAT EZE 3 个 “文字 ”。 此 
外 ， 我 们 唯一 有 可 能 忽略 的 就 是 每 个 子 句 都 是 文字 的 “或 "。 
归 约 的 第 二 步 是 把 每 个 子 句 # 都 转换 为 合 取 范 式 。 通 过 对 党 中 变量 的 所 有 的 赋值 进行 计 
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算 ， 从 而 构造 出 党 的 真 值 表 。 真 值 表 中 的 每 一 行 都 包括 子 句 变量 的 一 种 可 能 的 赋值 和 根据 这 一 
赋值 所 计算 出 来 的 子 句 的 值 。 如 果 运 用 真 值 表 中 值 为 0 的 项 ， 就 可 以 构造 出 公式 的 析 取 范式 
(disjunctive normal form，DNF) ， 即 一 个 “与 ”的 “或 ?， 它 等 价 
于 一 $; 。 然 后 ， 运 用 德 。 摩根 定律 (等 式 (B. 2)): 0 

~a Ab) 一 一 4aV 一 0 

一 (QV pb) 一 一 4 人 一 

把 所 有 文字 取 补 ， 并 把 “或 ? 变 成 与" “与 ? 变 成 "或 ">， 就 
可 以 把 公式 变换 为 CNF AR $ 

在 我 们 所 举 的 例子 中 ， 按 如 下 方式 把 子 句 迪 二 (ye>(y A 
一 心 )) 变 换 为 CNF。 图 34-12 中 给 出 了 岁 的 真 值 表 。 与 -党 等 图 34-12 FAI Oe o AS 2) 
价 的 DNF 公式 为 : 的 真 值 表 

On Ax Az) V On AD A x2) V 
(yn Ax A722) V Om A A) 
应 用 德 ， 摩根 定律 ， 可 以 得 到 CNF 公式 : 
= Voy V7 x) A COnN aN) 
A Oy V y V 22) A On Vy VX) 
它 等 价 于 原始 子 句 四。 

HE, ARP KEATAS 已 经 转换 为 一 个 CNF 公式 加 ， 因 此 ，# 等 价 于 由 内 的 合 取 式 组 
成 的 CNF 公式 总。 此外， 的 每 个 子 句 至 多 包含 3 个“ 文字”。 

归 约 的 第 三 步 ( 即 最 后 一 步 ) 就 是 对 公式 进一步 进行 变换 ， 使 得 每 个 子 句 恰好 有 3 个 不 同 的 文 
字 。 最 后 根据 CNF 公式 的 子 句 构 造 出 3-CNF 公式 g”. AR 六 使 用 了 两 个 辅助 变量 p 和 gq。 对 
各 中 的 每 个 子 句 C， 使 多 中 包含 下 列子 句 : 

。 WRC 中 有 3 个 不 同 的 文字 ， 则 直接 把 C; 作为 9” 中 的 一 个 子 句 。 
。 如 果 C 中 有 两 个 不 同 的 文字 ， 即 如 果 G=(4V2)， 其 中 心 和 2 为 文字 ， 那么 就 把 (UV ls V 
DAGVAV> PEA PFA), XF pA 户 仅 仅 是 为 了 满足 每 个 子 句 必须 恰 有 3 个 不 同 
的 文字 这 一 语法 要 求 。 不 论 p=0 R P=1, AVEVDAGVLV7 DREMF LV. 
。 WRC 中 仅 有 一 个 文字 !， 则 把 
CV PVODAUVPVAQDAUVAPVODAUV7pV-q@ 
作为 PTFE., EE p 和 4q 的 每 一 种 取 值 都 使 4 个 子 句 的 合 取 式 的 值 为 1 。 

现在 我 们 可 以 看 出 3-CNF 公式 好 是 可 满足 的 ， 当 且 仅 当 上 述 三 个 步骤 的 每 一 步 中 ，#$ 都 是 
可 满足 的 。 像 从 CIRCUIT-SAT 归 约 为 SAT 的 过 程 一 样 ， 第 一 步 根据 % 构 造 几 的 过 程 保 持 可 满 
足 性 ， 第 二 步 产生 的 CNF 公式 PERAE p 等 价 ， 第 三 步 产生 的 3-CNF 公式 六 也 等 价 于 内， 
这 是 因为 对 变量 之 和 4 的 任意 赋值 所 产生 的 公式 在 代数 上 与 几 等 价 。 

此 外 ， 还 必须 证 明 归 约 可 以 在 多 项 式 时 间 内 完成 。 从 多 构造 内 中 的 每 个 连接 词 至 多 引入 一 个 
变量 和 一 个 子 句 。 从 几 构 造 光 的 过 程 对 光 中 的 每 一 个 子 句 则 至 多 在 允 中 引入 8 个 子 句 ， 这 是 因为 
中 的 每 个 子 句 至 多 有 3 个 变量 ， 因 此 每 个 子 句 的 真 值 表 至 多 有 2 二 8 行 。 从 构造 好 的 过 程 对 
上 中 的 每 个 子 句 至 多 在 六 中 引入 4 个 子 句 。 因 此 ， 所 产生 的 最 终 公 式 好 的 规模 是 关于 原始 公式 长 
度 的 多 项 式 。 因此， 我 们 可 以 轻松 地 在 多 项 式 时 间 内 完成 每 一 步 构 造 过 程 。 a 


练习 


34. 4-1 考虑 一 下 在 定理 34. 9 的 证 明 过 程 中 运用 直接 ( 非 多 项 式 时 间 ) 归 约 。 描 述 一 个 规模 为 n 的 
电路 ， 运 用 这 种 归 约 思想 将 其 转换 为 一 个 公式 时 ， 能 产生 一 个 规模 为 n 的 指数 的 公式 。 











1 
0 1 
1 0 
0 0 
1 l 
0 0 
1 1 
0 1 
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写 出 将 定理 34. 10 中 的 方法 应 用 于 公式 (34. 3) 时 所 得 到 的 3-CNF 公式 。 

Jagger 教授 提出 ， 在 定理 34. 10 的 证 明 中 ， 可 以 仅 利 用 真 值 表 技术 而 无 需 其 他 步 又， 就 
能 证 明 SAT 生 "3-CNF-SAT。 也 就 是 说 ， 这 位 教授 试图 取 布 尔 公式 % 形成 有 关 其 变量 
的 真 值 表 ， 根 据 其 真 值 表 导 出 一 个 3-CNF 形式 的 、 等 价 于 一 的 公式， 再 对 公式 取 反 ， 
并 运用 德 。 摩根 定律 ， 从 而 可 以 得 到 一 个 等 价 于 % 的 3-CNF 公式 。 证明: 这 一 策略 不 能 


产生 多 项 式 时 间 的 归 约 。 


34.4-4 证 明 : 确定 某 一 布尔 公式 是 否 为 重 言 式 这 一 问题 对 co-NP 来 说 是 完全 的 。( 提 示 : WH 


3 34. 3-7.) 


34.4-5 证 明 : 确定 析 取 范式 形式 的 布尔 公式 的 可 满足 性 这 一 问题 是 多 项 式 时 间 可 解 的 。 
34.4-6 假设 已 知 某 一 个 判定 公式 可 满足 性 的 多 项 式 时 间 算 法 。 请 说 明 如 何 利 用 这 一 算法 在 多 项 


式 时 间 内 找 出 可 满足 性 赋值 。 


34.4-7 设 2-CNF-SAT È CNF 形式 的 、 每 个 子 句 中 恰 有 两 个 文字 的 可 满足 公式 的 集合 ， 证 明 : 


2-CNF-SATEP。 尽 可 能 优化 你 的 算法 效率 。 


(提示 : 注意 XVy 与 "x 一 y 是 等 价 的 。 将 


2-CNF-SAT 归 约 为 一 个 在 有 向 图 上 高 效 可 解 的 问题 。) 


34.5 NP 完全 问题 


NP 完全 问题 产生 于 各 种 不 同 领域 : 布尔 逻辑 ， 图 论 ， 算 法 ， 网 络 设计 ， 集 合 与 划分 ， 存 储 


与 检索 ， 排 序 与 调度 ， 数 学 程序 设计 ， 代 数 与 数 
论 ， 游 戏 与 难 解 问题 ， 自 动机 与 语言 理论 ， 程 序 优 
化 ， 生 物 学 ， 化 学 ， 物 理 ， 等 等 。 在 本 节 中 ， 我 们 
将 运用 归 约 方法 ， 对 于 从 图 论 到 集合 划分 的 各 种 问 
题 进行 NP 完全 性 的 证 明 。 

图 34-13 给 出 了 在 本 节 和 34. 4 节 中 进行 的 NP 
完全 性 证 明 的 流程 结构 。 图 中 每 种 语言 都 含有 指向 
它 的 语言 ， 我 们 把 该 语言 进行 归 约 ， 从 而 证 明 其 所 
指向 语言 的 NP 完全 性 。 其 根 为 CIRCUIT-SAT， 
我 们 在 定理 34. 7 中 已 经 证 明了 它 是 NP 完全 语言 。 


34.5.1 团 问题 

无 向 图 G 二 (V，E) 中 的 团 (clique) 是 一 个 顶点 
子 集 VSEV， 其 中 每 一 对 顶点 之 间 都 由 瓦 中 的 一 条 
边 来 连接 。 换 名 话说， 一 个 团 是 G 的 一 个 完全 子 
图 。 团 的 规模 是 指 它 所 包含 的 顶点 数 。 团 问题 是 关 
于 寻找 图 中 规模 最 大 的 团 的 最 优化 问题 。 作 为 判定 





图 34-13 34.4 节 和 34.5 节 中 NP 完全 性 证 
明 的 结构 ， 所 有 的 证 明 最 终 都 是 通 
过 对 CIRCUIT-SAT 的 NP 完全 性 
归 约 而 得 到 的 


问题 ， 我 们 仅仅 要 考虑 的 是 : 在 图 中 是 否 存 在 一 个 给 定 规模 为 的 团 ? 其 形式 定义 为 : 
CLIQUE={(G, k): G 是 一 个 包含 规模 为 k 的 团 的 图 } 
要 确定 具有 |V | 个 顶点 的 图 G 二 (V，E) 是 否 包 含 一 个 规模 为 的 团 ， 一 种 朴素 算法 是 列 出 VV 
的 所 有 子 集 ， 并 对 其 中 的 每 一 个 进行 检查 ， 看 它 是 否 形 成 一 个 团 。 该 算法 的 运行 时 间 是 


人 


。 如 果 上 为 常数 ， 那 么 该 算法 是 多 项 式 时间 的 。 但 是 ， 在 一 般 情况 下 ，& 可 能 接近 于 


1V1/2， 这 样 一 来 ， 算法 的 运行 时 间 就 是 超 多 项 式 时 间 。 事 实 上 ， 团 问题 的 有 效 算法 是 不 大 可 能 


存在 的 。 
定理 34. 11 团 问题 是 NP 完全 的 。 
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证 明 为 了 证 明 CLIQUEE NP， 对 一 个 给 定 的 图 G 二 (V，E)， 用 团 中 顶点 集 V'SV 作为 G 
的 一 个 证 书 。 对 于 任意 一 对 顶点 w，vEV' ， 通 过 检查 边 (x，z) 是 否 属于 天， 就 可 以 在 多 项 式 时 
间 内 确定 "是否 是 团 。 

下 一 步 来 证 明 3-CNF-SAT 生 *CLIQUE， 以 此 来 说 明 团 问 题 是 NP 难度 的 。 从 某 种 意义 来 说 ， 
我 们 能 证 明 这 一 结论 是 令 人 惊奇 的 ， 因 为 从 表面 上 看 ， 逻 辑 公式 与 图 几乎 没有 什么 联系 。 

该 归 约 算法 从 一 个 3-CNF-SAT 的 实例 开始 。 设 $ 二 Cl 人 C: Ae ACG 是 3-CNF 形式 中 一 个 具 
有 上 个 子 句 的 布尔 公式 。 对 r= 二 1，2，…，k， 每 个 子 句 C, 中 恰好 有 3 个 不 同 的 文字 4、 如 和 如 。 
我 们 将 构造 一 个 图 G 使 得 # 是 可 满足 的 ， 当 且 仅 当 G 包 含 一 个 规 摸 为 & 的 团 。 

我 们 按照 以 下 要 求 构 造 图 G: 对 $ 中 的 每 个 子 句 G, 二 (LV 4 V 4)， 我 们 把 3 个 顶点 VW、 世 
和 组 成 的 三 元 组 放 人 V 中 。 如 果 下 列 两 个 条 件 同 时 满足 ， 就 用 一 条 边 连接 顶点 v7 和 wv;。 

。 v7 和 wj; 处 于 不 同 的 三 元 组 中 ， 即 天 s。 

。 它们 的 相应 “文字 ”是 一 致 的 ， 即 PEG 的 非 。 
根据 #$ 可 以 很 轻易 地 在 多 项 式 时 间 内 计算 出 该 图 。 通 过 以 下 例子 来 说 明 这 一 构造 过 程 。 如 果 有 : 

$= (x, V 7a Vorn) A a V x V z) AC V x2 V 23) 

则 G 就 是 图 34-14 所 示 的 图 。 


C= Vax, Va x; 


C2=—X Vx, V x; Cx Vx, Vx; 





图 34-14 在 由 3-CNF-SAT 归 约 到 CLIQUE 的 过 程 中 ， 由 3-CNF 公式 $= 二 Cl AG AC, 导出 的 
AIG, Hp G= Vaz: Vœ z), GQ=(x V z: V x), G= (a V z2 V z3) 


该 公式 的 一 组 可 满足 赋值 为 x 二 0，zs 二 1，zi 为 0 或 者 1。 这 一 赋值 以 一 WE CG, Ua, 
满足 C 和 C;， 与 浅 阴 影 顶点 所 构成 的 团 集 相对 应 。 

我 们 必须 证 明 从 $ 到 G 的 转换 过 程 是 一 种 归 约 过 程 。 首 先 ， 假定 $ 有 一 个 可 满足 性 赋值 。 那 
h., ATAC, 至 少 包含 一 个 文字 好 ， 将 此 文字 赋值 为 1， 并 且 把 每 个 这 样 的 文字 对 应 于 一 个 顶 
点 。 从 上 述 的 每 个 子 句 中 挑选 出 一 个 这 样 的 “ 真 ”文字 ， 就 得 到 个 顶点 组 成 的 集合 V'。 可 以 
断言 V 是 一 个 团 。 对 于 任意 的 两 个 顶点 ,EV'(r 隆 ;))， 根 据 给 定 的 可 满足 性 赋值 ， 两 个 顶点 
相应 的 文字 LS AL; 都 被 映射 为 1， 这 两 种 文字 不 可 能 是 互补 的 关系 。 因 此 ， 根据 G 的 构造 ， 
Wy, GEE, 1088 

反之 ,假定 G 有 一 个 规模 为 的 团 V'。G 中 没有 连接 同一 个 三 元 组 中 的 顶点 的 边 ， 因 此 ,，V 
中 恰好 包含 每 个 三 元 组 的 一 个 顶点 。 我 们 可 以 把 每 个 满足 v7EV 的 文字 /赋值 为 1， 并 且 不 必 担 心 
会 出 现 一 个 文字 与 其 补 同时 为 1 的 情况 ， 这 是 因为 在 G 中 ， 不一致 文 字 之 间 不 存在 连 线 。 由 于 每 
个 子 句 都 是 可 满足 的 ， 因 此 $ 也 是 可 满足 的 。( 不 与 团 之 中 顶点 相对 应 的 变量 可 以 随意 设置 .) 
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在 图 34-14 的 例子 中 ，#$ 的 一 个 可 满足 性 赋值 为 x; 二 0，z; 王 1。 规模 为 3 的 相应 团 由 对 应 于 
第 一 个 子 句 中 的 一 xz,、 第 二 个 子 句 中 的 zs 和 第 三 个 子 句 中 的 zx; 的 顶点 所 组 成 。 由 于 该 团 不 包含 
对 应 于 或 -zi 的 顶点 ， 因 此 ， 在 这 个 可 满足 性 赋值 中 ， 可 以 将 zi 设置 为 0 或 1。 

注意 在 定理 34. 11 的 证 明 中 ， 我 们 将 3-CNF-SAT 的 任意 一 个 实例 归 约 成 了 具有 某 种 特定 结 
构 的 CLIQUE 的 实例 。 从 表面 上 看 来 ， 似 乎 是 我 们 仅 证 明了 CLIQUE 在 有 些 图 中 是 NP 难度 的 ， 
在 这 些 图 中 ， 顶 点 被 限制 为 以 三 元 组 形式 出 现 ， 且 同一 三 元 组 中 的 顶点 之 间 没 有 边 。 事 实 上 ,我 
们 的 确 仅 证 明了 CLIQUE 在 这 种 受 限 的 情况 下 才 是 NP 难度 的 ， 但是， 这 一 证 明 足 以 证 明 在 一 般 
的 图 中 ，CLIQUE 也 是 NP 难度 的 。 这 是 为 什么 呢 ? 如 果 有 一 个 能 在 一 般 的 图 上 解决 CLIQUE 
问题 的 多 项 式 时 间 算 法 ， 那 么 它 就 能 在 受 限 的 图 上 解决 CLIQUE 问题 。 

另 一 方面 ， 将 带 有 某 种 特殊 结构 的 3-CNF-SAT 的 实例 归 约 为 一 般 性 的 CLIQUE 的 实例 还 不 
够 。 为 什么 这 人 么 说 呢 ? 有 可 能 我 们 选择 来 进行 归 约 的 3-CNF-SAT 的 实例 比较 容易 ， 因 而 无 法 将 
— NP 难度 的 问题 归 约 为 CLIQUE, 

另外 ， 还 要 注意 一 下 3-CNF-SAT 的 实例 中 所 用 到 的 归 约 ， 而 不 仅 是 它 的 解决 方案 。 如 果 多 
项 式 时 间 的 归 约 的 前 提 是 已 经 知道 公式 $ 是 否 是 可 满足 的 ， 则 会 导致 错误 ， 因 为 我 们 并 不 知道 如 
何在 多 项 式 时 间 内 判定 $8 是 否 是 可 满足 的 。 


34.5.2 顶点 覆盖 问题 


无 向 图 G 二 (V，E) 的 顶点 覆盖 (vertex cover) 是 一 个 子 集 V'CV， 满足 如 果 有 (4u，v) EE， 则 
uEV' 或 vuEV' (或 两 者 同时 成 立 )。 也 就 是 说 ， 每 个 顶点 “覆盖 ”与 其 相关 联 的 边 ， 并 且 G 的 顶点 
覆盖 是 覆盖 E 中 所 有 边 的 顶点 所 组 成 的 集合 。 顶 点 覆盖 的 规模 是 指 它 所 包含 的 顶点 数 。 例 如 ， 
图 34-15(b) 中 有 一 个 规模 为 2 HTL Btw, x}. 





(a) (b) 


图 34-15 把 CLIQUE 归 约 为 VERTEX-COVER。(a) 一 个 包含 团 V'=={u，v，z，y} 的 无 向 图 
G 二 (V，E)。(b) 由 归 约 算法 产生 图 GC. KA Pea V—V'=(w, z} 


顶点 覆盖 问题 是 指 在 一 个 给 定 的 图 中 ， 找 出 具有 最 小 规模 的 顶点 获 盖 。 把 这 一 最 优化 问题 
重新 表述 为 一 个 判定 问题 ， 即 确定 一 个 图 是 否 具 有 一 个 给 定 规 模 & 的 顶点 覆盖 。 作 为 一 种 语言 ， 
我 们 定义 

VERTEX-COVER={(G, k): 图 G 有 一 个 规模 为 k 的 顶点 覆盖 } 

下 面 的 定理 证 明了 这 一 问题 是 一 个 NP 完全 的 。 

定理 34. 12 顶点 履 盖 问题 是 NP 完全 的 。 

证 明 首先 来 证 明 VERTEX-COVERE NP. 假定 已 知 一 个 图 G 二 (V，E) 和 整数 &， 我 们 选 
取 的 证 书 是 顶点 覆盖 V'CV 自身 。 验 证 算法 可 证 实 |V'| =k， 然 后 对 每 条 边 (u，v) EE， 检 查 是 
BA xEV “或 vEV 。 我 们 可 以 很 容易 在 多 项 式 时 间 内 验证 这 一 问题 。 

我 们 通过 证 明 CLIQUE<pVERTEX-COVER 来 证 明 顶 点 覆盖 问题 是 NP 难度 的 。 这 一 归 约 
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过 程 是 以 “ 补 图 ”的 概念 为 基础 的 。 给 定 一 个 无 向 图 G 二 (V，E)， 定义 G 的 补 图 G 二 (V,，E), 其 
th E={(u, v): u, vEV, uxv, (u, v) E}. WIM, 是 正好 包含 不 在 G 中 的 那些 边 的 
图 。 图 34-15 显示 出 了 一 个 图 与 其 补 图 ， 并 说 明了 从 CLIQUE 到 VERTEX-COVER 的 归 约 过 程 。 
归 约 算法 的 输入 是 团 问 题 的 实例 (G，k)。 它 计算 出 补 图 G， 这 很 容易 在 多 项 式 时 间 内 完成 。 
归 约 算法 的 输出 是 顶点 覆盖 问题 的 实例 (G，|V| 一 k)。 为 了 完成 证 明 ， 下 面 来 说 明 该 变换 的 确 
是 一 个 归 约 过 程 : 图 G 具有 一 个 规模 为 的 团 ， 当 且 仅 当 图 G 有 一 个 规模 为 |V| 一 & 的 顶点 
覆盖 。 
假设 G 包 含 一 个 团 V'CV， 其 中 |V'| =k. RNA: V-V EG 中 的 一 个 顶点 覆盖 。 设 
(zx， 切 是 巨 中 的 任意 边 ， 则 有 (zx，z) FE， 这 证 明了 或 v 中 至 少 有 一 个 不 属于 V'， 这 是 由 于 
V' 中 每 一 对 顶点 间 都 至 少 有 一 条 E pS. Fe, v Ru 中 至 少 有 一 个 属于 V 一 V'， 
这 意味 着 边 (x， 了 是 被 V 一 V' 所 覆盖 。 由 于 (x，z) 是 从 巨 中 任意 选取 的 边 ， 所 以 政 的 每 条 边 都 
被 V 一 V' 中 的 一 个 顶点 所 覆盖 。 因 此 ， 规 模 为 |V| 一 上 的 集合 V 一 V 形成 了 G 的 一 个 顶点 覆盖 。 
反之 ， 假 设 C 具 有 一 个 顶点 覆盖 VSEV， 其 中 | 了 | =1V| 一。 那么 ， 对 所 有 u, vEV, w 
Ru, wv) EE， 则 wuEV' 或 EV' 或 两 者 同时 成 立 。 与 此 相对 ， 对 所 有 u，vEV， 如 果 u&V' 且 
vV'， 则 (u，w)EE。 换 句 话 说 ，V 一 V' 是 一 个 团 ， 其 规模 为 |V| 一 1V" | =e. a 
由 于 VERTEX-COVER 是 NP 完全 的 ， 所 以 我 们 并 不 期 望 能 找 出 一 种 多 项 式 时 间 的 算法 来 
寻找 最 小 规模 的 顶点 覆盖 。 然 而 ，35. 1 节 介绍 了 一 种 多 项 式 时 间 的 “近似 算法 ”， 它 可 以 产生 项 
点 覆盖 问题 的 “近似 ? 解 。 该 算法 所 产生 的 顶点 覆盖 的 规模 至 多 为 最 小 规模 顶点 覆盖 的 2 倍 。 
因此 ， 我 们 不 应 该 因为 某 个 问题 是 NP 完全 的 而 放弃 希望 。 对 这 样 的 问题 ， 尽 管 寻找 其 最 优 
解 是 NP 完全 问题 ， 但 依然 可 能 设计 出 某 种 多 项 式 时 间 的 近似 算法 ， 来 获得 它 的 近似 最 优 解 。 第 
35 章 介 绍 了 几 个 NP 完全 问题 的 近似 算法 。 


34. 5.3 ”哈密 顿 回路 问题 


现在 ， 我 们 再 回 过 头 来 讨论 34. 2 节 中 定义 的 哈密 顿 回路 问题 。 

定理 34. 13 ”哈密 顿 回路 问题 是 NP 完全 问题 。 

证 明 HKHH HAM-CYCLE 属于 NP。 已 知 一 个 图 G 二 (V，E)， 我 们 选取 的 证 书 是 形成 
哈密 顿 回 路 的 |V| 个 顶点 所 组 成 的 序列 。 验 证 算法 检查 到 这 一 序列 恰好 包含 v 中 每 个 顶点 一 次 
(但 第 一 个 顶点 会 在 末尾 重复 出 现 一 次 )， 并 且 它 们 在 G 中 形成 一 个 回路 。 也 就 是 说 ， 它 要 检查 
每 一 对 连续 顶点 及 首 、 尾 顶点 之 间 是 否 都 存在 着 一 条 边 。 我 们 可 以 在 多 项 式 时 间 内 验证 这 一 
证 书 。 

现在 ， 我 们 来 证 明 VERTEX-COVER 过 :HAM-CYCLE。 从 而 证 明 HAM-CYCLE 是 NP 完全 
的 。 给 定 一 个 无 向 图 G 二 (V，E) 和 一 个 整数 &， 构 造 一 个 无 向 图 G' 二 (V"，E')， 使 得 它 包含 一 
个 哈密 顿 回 路 ， 当 且 仅 当 G 中 有 一 个 大 小 为 & 的 顶点 覆盖 。 

上 述 构 造 过 程 需 应 用 到 附件 图 (widget)， 它 是 一 个 图 的 一 部 分 ， 往往 加 上 了 某 些 特性 。 
图 34-16(a) 中 示 出 了 我 们 用 到 的 附件 图 。 对 于 每 条 边 (u，v) E EE， 我们 所 构造 的 图 G' 都 将 包含 这 
一 附件 图 的 一 份 副本 ， 用 W 来 表示 。 对 We PHEADAR, Meu, v, iJRiv, u, iI KER, 
其 中 1<i<6， 因 此 ， 每 个 附件 图 W, 包 含 12 个 顶点 。 如 图 34-16(a) 所 示 ， 附 件 图 三 还 包含 14 
条 边 。 

除 附件 图 的 内 部 结构 外 ， 我 们 还 通过 限制 附件 图 与 构造 出 来 的 图 C 其 余部 分 之 间 的 连接 ,来 
强加 一 些 有 用 的 特性 。 特 别 地 ， 只 有 顶点 Lz， Us iI. [us Us 6]. [v, us 1]] 和 [v， uy 6] 包 含 与 外 
界 相连 的 边 。G 中 的 任何 哈密 顿 回 路 都 必须 以 图 34-16(b) 一 (d) 中 所 示 三 种 方法 中 的 某 一 种 来 遍历 
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W,, 中 的 边 。 如 果 回 路 由 顶点 [u，v，1J 进 入 ， 则 必定 由 顶点 [uw，v，6j 退 出 。 且 它 或 者 访问 附件 图 
中 的 12 个 顶点 (图 34-16(c)), 或 者 访问 从 [xu，wv，1] 到 [x，wv，6] 的 6 个 顶点 (图 34-16(c))。 在 后 一 
种 情况 中 ， 回 路 必须 重新 进入 附件 图 以 访问 项 点 [u，v，1j 到 [ux，wv，6]。 类 似 地 ， 如 果 回 路 是 从 项 
点 [xu，v，1J 进 入 的 ， 则 必须 从 顶点 [u，wv，6] 退 出 ， 且 它 或 者 访问 附件 图 中 的 所 有 12 个 顶点 
(图 34-16(d)), 或 者 访问 从 [v，u，1] 到 [v，wu，6j 的 6 个 顶点 (图 34-16(c))。 不 存在 上 述 以 外 的 其 
他 路 径 能 访问 附件 图 中 所 有 12 个 顶点。 特别 地 ， 不 可 能 构造 出 两 个 “顶点 不 相交 ”路 径 ， 其 中 一 条 
连接 [u， Us 1j 与 [v， us 6], 另 一 条 连接 了 [v， Us 1] 和 [u， Us 6], 使 得 两 条 路 径 的 并 包含 了 附件 
图 中 的 所 有 顶点 。 





[uv,1] Q O [wu,1] [u,v,1] [wu,1] [u,v,1] [wu,1] 
[u,v,2] O [v,u,2] 
[u,v,3] O [v,u,3] 
[uv4] Q O [wu,4] 
[uv,5] O © [v,u,5] 
[u,v,6] O O [vu,6] {u,v,6] [wu,6] [u,v,6] v,u,6] 





(a) Ce) Cd) 


图 34-16 在 将 顶点 覆盖 问题 归 约 为 哈密 顿 回路 的 过 程 中 所 用 到 的 附件 图 。 图 G 的 一 条 边 (u，v) 对 应 于 归 
约 过 程 所 产生 的 图 G 中 的 附件 态 。。。(a) 附 件 图 ， 其 中 的 每 个 顶点 都 加 上 了 标记 。(b) 一 (d) 加 上 
了 阴影 的 路 径 是 通过 附件 图 且 包 含 所 有 顶点 的 仅 有 的 可 能 路 径 ， 假 设 从 该 附件 图 到 G 的 其 余部 
分 的 唯一 连接 是 通过 顶点 Lu，v，1]、[u，v，6]、[v，u，1J 和 [v，u，1j 完 成 的 


除了 附件 图 中 的 那些 顶点 外 ，V 中 唯一 的 其 他 顶点 为 选择 器 顶点 (selector vertex)s，ss，…， 
st。 我 们 利用 与 C 中 选择 器 顶点 关联 的 边 来 选择 G' 中 那些 能 实现 个 顶点 覆盖 的 顶点 。 

除了 附件 图 中 的 边 之 外 ，E 中 还 有 另外 两 类 边 ， 如 图 34-17 所 示 。 首 先 ， 对 于 每 个 顶点 vxEV， 
都 加 入 一 些 边 来 连接 一 对 一 对 的 附件 图 ， 从 而 形成 一 条 路 径 ， 它 包含 了 所 有 对 应 于 G 中 与 关联 
的 边 的 附件 图 。 对 于 与 每 个 顶点 w€V 相 邻 的 所 有 顶点 ,将 其 任意 地 排序 为 u, uP, e, 
yer), Fer degree(z) 是 与 xx 相 邻 的 顶点 的 数目 。 通 过 将 边 {([x,x2 6], [usu ,1]:1 < i< 
degree(u) —1)} 加 入 E'H, BPEJ G 中 构造 出 一 条 穿越 所 有 附件 图 的 路 径 ， 这 些 附件 图 与 那些 
关联 于 顶点 w 上 的 边 相 对 应 。 例 如 ， 在 图 34-17 中 ， 我 们 将 与 记 相 邻 的 顶点 排序 为 zx，y，z， 这 
样 图 34-17(b) 中 的 图 G 就 包含 了 边 ([w，z，6]，[z，y>，1]) 和 ([w，>y>，6]，[zw，z，1])。 对 
于 每 个 顶点 xEV，G “中 的 这 些 边 形成 了 一 条 包含 一 系列 附件 图 的 路 径 ， 这 些 附 件 图 都 与 G 中 关 
联 于 顶点 w 上 的 边 对 应 。 

这 些 边 给 我 们 的 直觉 就 是 ， 如 果 选 择 了 G 的 顶点 覆盖 中 的 某 一 顶点 xzEV， 就 可 以 在 G' 中 构 
造 出 一 条 从 Lz，zx2 ，1] 到 [xu，wu“e™% ，6] 的 路 径 ， 它 “覆盖 ?了 所 有 与 关联 于 顶点 u 的 边 对 应 的 
附件 图 。 也 就 是 说 ， 对 于 这 些 附 件 图 中 的 每 一 个 (如 Ww? )， 该 路 径 或 者 包含 所 有 的 12 个 顶点 
(如 果 xv 在 顶点 覆盖 中 ,但 u* 不 在 顶点 覆盖 中 )， 或 者 只 是 6 个 顶点 [x，x?2 ，1]，[x，x2 2], 
Cu, u, 3], +, Cu, uv, GOUR u Alu? MER ABP). 

E' 中 的 最 后 一 类 边 将 这 些 路 径 中 的 第 一 个 顶点 [u，u ，] 及 最 后 一 个 顶点 [x，zxtsao) ，6] 
与 每 一 个 选择 器 顶点 连接 起 来 。 也 就 是 说 ， 包 含 了 以 下 的 边 : 

{(5 [aa ,DuEV, 1Kj <k} U {Gs [Luu 6] EV, 1LjXk 

接着 ,我 们 要 证 明 G' 的 规模 是 G 的 规模 的 多 项 式 ， 因 而 可 以 在 G 规模 的 多 项 式 时 间 内 构造 
出 G 。G 的 顶点 由 附件 图 中 的 顶点 及 选择 器 顶点 所 构成 。 每 一 个 附件 图 包含 12 个 顶点 ， 兼 As 
|V| 个 选择 器 顶点 ， 总 计 : 
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(b) 


图 34-17 顶点 覆盖 问题 的 一 个 实例 归 约 为 哈密 顿 回路 问题 的 一 个 实例 的 过 程 。(a) 一 个 无 向 图 G， 
它 有 一 个 规模 为 2 的 顶点 覆盖 ， 由 图 中 浅 阴 影 的 顶点 wA y 组 成 。(b) 归 约 过 程 所 产生 
的 无 向 图 G'， 其 中 顶点 覆盖 所 对 应 的 哈密 顿 回路 用 阴影 标识 。 顶 点 覆盖 {w，y} 对 应 于 出 
现在 哈密 顿 回路 中 的 边 (5，[w，z，1]) 和 (s;, Ly, x, 1) 


|v'| =12|E| +kŁ<12|E| + |V| 
个 顶点 。G' 中 的 边 包括 附件 图 中 的 边 、 连 接 不 同 附件 图 的 边 和 连接 选择 器 顶点 与 附件 图 的 边 。 每 
一 个 附件 图 中 包含 14 条 边 ， 所 有 附件 图 加 起 来 有 141E| 条 边 ， 对 于 每 个 顶点 EV, ACH 
degree(u) —1 条 附件 图 间 的 边 。 于 是 ， 对 V 中 所 有 的 顶点 求 和 ， 则 附件 图 之 间 共 有 

D) (degree(z) 一 1) 一 2| 瑟 | 一 |V| 


条 边 。 最 后 ， 每 一 对 附件 图 之 间 有 两 条 边 ， 每 一 对 边 都 由 一 个 选择 器 顶点 和 中 的 一 个 顶点 所 
构成 ， 共 有 24|V| 条 这 样 的 边 。 因 此 ，G 中 总 边 数 为 : 
|E’| = (14|E|)+ (2/E| —lVl)+@aelv]) 
= 16| E| + (2a—1)|V| <16|/E| +(2|V| 一 DVI 

现在 来 证 明 从 图 G 到 图 G' 的 变换 是 一 个 归 约 ， 即 必须 证 明 G 中 有 一 个 规模 为 & 的 顶点 覆盖 ， 当 
且 仅 当 G 中 有 一 个 哈密 顿 回 路 。 

假设 G=(V，E) 中 有 一 个 规模 为 & 的 顶点 覆盖 V* CV. WV ={m, w, ow}. WE 
34-17 所 示 ， 通 过 为 每 个 顶点 w EV' 包含 以 下 边 S， 就 可 以 在 G 中 形成 一 条 哈密 顿 回路 。 包 含 边 
{(Lu;, ww? 6], Cu, uf*?, 1]): 1<i<degree(u;)—1}, 它们 连接 了 所 有 与 关联 于 的 边 对 
应 的 附件 图 。 此 外 ， 还 要 包含 如 图 34-16(b) 一 (d) 所 示 的 附件 图 中 的 边 ， 具 体 取决 于 那 条 边 是 否 


O ”从 技术 上 来 说 ， 我 们 是 根据 顶点 定义 边 而 不 是 根据 边 来 定义 回路 ( 见 了 4 节 )。 出 于 清晰 性 的 考虑 ， 此 处 故意 “ 误 
用 "这 一 定义 而 根据 边 来 定义 哈密 顿 回路 。 
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BEV" 中 的 一 个 或 两 个 顶点 所 覆盖 。 哈 密 顿 回路 还 包含 边 
(Cs; Lu; su” ,1)):1< 5 <k} 
U (sy Leg ef” 6], :1< 7 Sk—- 1} 
U {Csi Lup Sa ,6])} 
只 要 仔细 观察 图 34-17， 就 可 以 验证 这 些 边 确实 形成 了 一 个 回路 。 此 回路 从 s 开始 ， 访 问 与 所 有 
关联 于 a 的 边 对 应 的 附件 图 ， 再 访问 s。， 访 问 与 所 有 关联 于 ze 的 边 对 应 的 附件 图 ， 等 等 ， 直 到 
它 返 回 s 时 为 止 。 每 个 附件 图 都 被 回路 访问 了 一 次 或 两 次 ， 具体 取决 于 V" 中 的 一 个 还 是 两 个 顶 
点 覆盖 了 其 对 应 的 边 。 由 于 V' 是 图 G 的 一 个 顶点 覆盖 ,EE 中 的 每 条 边 都 与 V* 中 的 某 个 顶点 关 
联 ， 因 此 回路 访问 G 的 每 个 附件 图 中 的 每 个 顶点 。 由 于 该 回路 还 要 访问 每 个 选择 器 顶点 ， 因 此 ， 
该 回路 为 哈密 顿 回 路 。 
反之 ， 假 设 G' 一 (V ， 巨 ) 中 包含 了 一 个 哈密 顿 回路 CSE'。 我 们 断言 集合 

Ve = {u € Vils,,[uu” ,1]) E C1<j<k} (34. 4) 
是 G 的 一 个 顶点 覆盖 。 为 了 探究 其 原因 ， 我 们 可 以 把 C 划分 为 一 些 从 某 个 选择 器 顶点 s; 开始 的 
最 大 路 径 ， 对 于 某 个 EV， 它 们 遍历 一 条 边 (s;，[u，u”，1])， 并 终止 于 某 个 选择 器 顶点 so 
而 不 会 经 过 任何 其 他 的 选择 器 项 点。 我 们 称 每 一 条 这 样 的 路 径 为 “覆盖 路 径 "。 根 据 G 的 构造 方 
式 ， 每 一 条 覆盖 路 径 都 必须 从 某 个 顶点 s 开始 ， 对 某 个 顶点 we V 取 边 (s;，[u，wu，”，1])， 经 过 
WAS E PREF u 的 边 对 应 的 附件 图 ， 然 后 终止 于 某 个 选择 器 顶点 5。 我 们 称 这 一 覆盖 路 径 为 
bus WEERGA 4), 将 4 放 入 V" 。 对 于 某 个 顶点 vEV，p。 所 访问 的 每 个 附件 图 都 一 定 是 W 或 
W。。 对 于 py 所 访问 的 每 个 附件 图 ， 其 顶点 都 会 被 一 个 或 两 个 覆盖 路 径 所 访问 。 如 果 这 些 顶 点 被 
一 条 履 盖 路 径 所 访问 ， 那 么 边 (u，v) EE 在 G 中 就 由 顶点 u 所 覆盖 。 如 果 有 两 条 覆盖 路 径 访 问 了 
该 附件 图 ， 那 么 另 一 条 覆盖 路 径 必 定 为 各， 这 就 暗示 着 EV, AMA Cu, v) EE 被 顶点 uw 和 ww 
所 和 覆盖。 因为 每 一 个 附件 图 中 的 每 一 个 顶点 都 要 被 某 条 覆盖 路 径 所 访问 ， 所 以 不 难 发 现 ，E 中 的 
每 一 条 边 都 由 V" 中 的 某 个 顶点 所 覆盖 。 a 


34.5.4 旅行 商 问题 
旅行 商 问题 与 哈密 顿 回路 问题 有 着 密切 的 联系 。 在 该 问题 中 ， 一 个 售货员 必须 访问 ”个 城 
市 。 如 果 把 该 问题 模型 化 为 一 个 具有 nn 个 顶点 的 完全 图 ， 
就 可 以 说 这 个 售货员 希望 进行 一 次 巡回 旅行 ， 或 经 过 哈密 顿 
回路 ， 恰 好 访问 每 个 城市 一 次 ， 并 最 终 回 到 出 发 城市 。 这 个 
售货员 从 城市 i 到 城市 j 的 旅行 费用 为 一 个 整数 c(i，j)， 旅 
行 所 需 的 全 部 费用 是 他 旅行 经 过 的 各 边 费用 之 和 ， 而 售货员 
希望 使 整个 旅行 费用 最 低 。 例 如 ， 在 图 34-18 中 ， 费 用 最 低 
的 旅行 路 线 是 (u，w，v，z，tw)， 其 费用 为 7， 与 旅行 商 问题 图 34-18 de ren ht 
对 应 的 判定 问题 的 形式 语言 是 : ie Kas 
TSP={(G, c, k): G 二 (V，E) 是 一 个 完全 图 ,是 n lc 
VXV 一 Z 上 的 一 个 函数 ,k E Z,G 中 包含 一 个 最 大 花费 为 k 的 旅行 回路 } 
下 面 的 定理 说 明 不 太 可 能 存在 一 种 关于 旅行 商 问题 的 快速 算法 。 
定理 34. 14 旅行 商 问 题 是 NP 完全 的 。 
i095| ”证明 首先 来 说 明 TSP 属 于 NP。 给 定 该 问题 的 一 个 实例 ， 用 回路 中 个 顶点 所 组 成 的 序列 
doe 作为 证 书 。 验 证 算法 检查 该 序列 是 否 恰好 包含 每 个 顶点 一 次 ， 并 且 对 这 些 边 的 花费 进行 求 和 后 ， 
检查 和 是 否 至 多 为 &。 这 一 过 程 是 可 以 在 多 项 式 时 间 内 完成 的 。 
为 了 证 明 TSP 是 NP 难度 的 ， 我 们 先 来 证 明 HAM-CYCLE<,TSP, H G=(V, E)Æ HAM- 
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CYCLE 的 一 个 实例 。 构 造 TSP 的 实例 如 下 。 首 先 建立 一 个 完全 图 G' 二 (V，E'),， 其 中 E'=={(i， 
j): ty jEV, ij}, EXHAR cH: 
sts 0 若 (i,7 EE 
ES $ #Gj EE 
(注意 ， 由 于 G 是 无 向 图 ， 所 以 它 没有 自 环 路 ， 因 而 对 所 有 顶点 vEV， 都 有 civ, v=1.) FH 
《G'，c，0) 就 是 TSP 的 一 个 实例 ， 它 可 以 轻易 地 在 多 项 式 时 间 内 产生 。 
现在 ， 我 们 来 说 明 图 G 中 具有 一 个 哈密 顿 回路 ， 当 且 仅 当 图 CG 中 有 一 个 费用 至 多 为 0 的 回 
K. BERG 中 有 一 个 哈密 顿 回 路 h，h 中 的 每 条 边 都 属于 玉 ， 因 此 在 G' 中 的 费用 为 0。 因 此 , h 
是 G' 中 费用 为 0 的 回路 。 反之 , 假定 图 G' 中 有 一 个 费用 至 多 为 0 的 回路 hn。 由 于 EF' 中 边 的 费用 
只 能 是 0 或 1， 故 回路 h' 的 费用 就 是 0， 且 回路 上 每 条 边 的 费用 必 为 0。 因 此，h' 仅 包含 巨 中 的 
边 。 综 上 ， 我 们 可 以 得 出 结论 ，h' 是 图 G 中 的 一 个 哈密 顿 回 路 。 B 


34.5.5 子 集 和 问题 


下 面 我 们 来 考虑 一 个 算术 的 NP 完全 问题 ， 即 子 集 和 问题 (subset-sum problem) 。 在 该 问题 
中 ， 给 定 一 个 正 整数 的 有 限 集 S 和 一 个 整数 目标 :二 0， 试 问 是 否 存 在 一 个 子 集 S' 导 SS， 其 元 素 和 
为 t。 例 如， 如 果 S={1, 2, 7, 14, 49, 98, 343, 686, 2409, 2793, 16 808, 17 206, 117 
705, 117993), H. t=138 457, MF% S'={1, 2, 7, 98, 343, 686, 2409, 17 206, 117 705} 
就 是 该 问题 的 一 个 解 。 
和 通常 一 样 ， 我 们 把 该 问题 定义 为 一 种 语言 : 
SUBSET-SUM={(S, t): 存在 一 个 子 集 SSS， 使 得 上 一 dys) 


与 任何 算术 问题 一 样 ， 重 要 的 是 记 住 在 标准 编码 中 ， 假定 输入 的 整数 都 是 以 二 进 制 形式 编 
码 的 。 在 这 个 假设 下 ， 可 以 证 明 对 于 子 集 和 问题 ， 不 太 可 能 存在 一 种 快速 的 算法 。 
定理 34. 15 子 集 和 问题 是 NP 完全 的 。 
证 明 为 了 说 明 SUBSET-SUM 属于 NP， 对 该 问题 的 实例 (S，t)， 设 子 集 S' 是 证 书 。 我们 
使 用 验证 算法 可 以 在 多 项 式 时 间 内 检查 是 否 有 /上 = Dus 
现在 来 证 明 3-CNF-SAT<p SUBSET-SUM. 给 定 变量 Di» Tzs ts 2, 上 的 一 个 3-CNF 公式 
$， 它 由 子 句 C1，C。，…，C 构成 ， 每 个 子 句 恰 好 包含 3 个 不 同 的 文字 ， 归 约 算法 构造 出 子 集 和 
问题 的 一 个 实例 (S， 使 得 $ 是 可 满足 的 ， 当 上 且 仅 当 存 在 S 的 一 个 子 集 ， 其 元 素 和 恰 为 :。 不 失 
一 般 性 ， 下 面 对 #$ 做 两 个 简化 性 的 假设 。 首先，$ 的 任 一 子 句 都 不 会 既 包 含 某 个 变量 ， 又 包含 该 
变量 的 非 ， 因 为 这 样 的 子 句 对 变量 的 任何 赋值 来 说 恒 成 立 。 其 次 ， 每 一 个 变量 至 少 在 一 个 子 句 中 
出 现 一 次 ， 否 则 ， 对 没有 出 现在 任何 子 句 中 的 变量 赋 任 意 值 都 是 没有 影响 的 。 
对 每 个 变量 zx;， 归 约 算法 都 要 在 S 中 生成 两 个 数 ; 对 每 个 子 句 C;， 也 要 在 S 中 生成 两 个 数 。 
所 生成 的 数 都 是 十 进 制 的 ， 且 每 个 数 都 包含 n 十 k 个 数位 ， 每 个 数位 对 应 于 一 个 变量 或 一 个 子 句 。 
十 进 制 (或 其 他 进 制 ) 有 着 我 们 所 需要 的 、 可 以 避免 从 低位 向 高 位 进位 的 性 质 。 
如 图 34-19 所 示 ， 我 们 构造 集合 S 和 目标 上 如 下 : 对 于 每 一 个 数位 ， 都 用 一 个 变量 或 一 个 子 
句 来 标记 。 最 低 有 效 站 位 用 子 句 标记 ， 最 高 有 效 n 位 用 变量 标记 。 
。 目标 在 每 个 用 变量 标记 的 数位 上 都 有 个 1， 在 每 个 用 子 句 标记 的 数位 上 都 有 个 4。 
。 对 于 每 个 变量 = ， 集 合 包含 两 个 整数 w 和 ui 。 每 个 w 和 ui 在 xz; 所 标记 的 数位 上 都 是 1， 
其 他 变量 位 上 都 是 0。 如 果子 句 CG 中 包含 文字 2, BA v PRC, 所 标记 的 数位 包含 一 
个 1。 如 果 C 中 包含 文字 一 xz;， 那 么 vi PRC, 所 标记 的 数位 包含 一 个 1。 在 vi Mo p, 
所 有 其 他 由 子 句 标记 的 数位 都 是 0。 
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ERA Sth, MA v Mo, 的 值 都 是 唯一 的 。 这 是 为 什么 呢 ? 例如 ， 对 于 Ai, FEM 
高 有 效 的 nn 个 数位 上 ， 没 有 v 或 vz! 的 值 会 与 v; 和 了 相等。 此 外 ， 根 据 上 面 所 做 的 简化 性 
假设 ， 在 最 低 有 效 上 位 上 也 不 存在 v; 和 wv! 的 值 相等 。 如 果 v; 和 w; 相等 ， 那 么 zx; Amz, 
将 不 得 不 恰好 出 现 于 同一 子 句 集 CC 


Lt —_ i | 
和 句 中 都 不 能 同时 包含 x; 和 一 Zi， F 


= 0 0 1 1 0 
而 且 x, 和 -zi 其 中 之 一 出 现在 某 a 
一 子 句 中 ， 所 以 必定 存在 某 一 子 oleh Peed SOT ER 
AC, HEP u Mo 是 不 同 的 。 Bk SOO Ee Oe Paks 
。 对 于 每 个 子 句 C， 集 合 S 包含 两 
个 整数 s; Fs), RTH C 标记 Spe DRO 1 0: 53/02:520 
的 数位 外 ，s, Als) 的 所 有 数位 上 0 
都 是 0。 对 于 s EG 的 数位 上 
为 1， 而 对 于 ， 在 G; 的 数位 上 by ee OS ae ee epee eee 
Dy 2. HEM CAB EE “HOS th EHR” EE SR io Ree ERCP. z 
可 以 用 其 获得 每 个 子 句 所 标记 的 ee a 
syed A i BE asia 
PN 





~ 
Ii 

一 
一 
A 
A 
> 
> 


只 要 简单 地 观察 一 下 图 34-19, BS 
从 3-CNF-SAT 到 SUBSET-SUM 的 归 约 。3- 


发 现 所 有 s Ms; 的 值 在 集合 S 中 都 是 唯 
一 的 。 

注意 在 任意 数位 上 ， 数 位 和 的 最 大 
值 为 6， 这 个 和 出 现在 由 子 句 所 标记 的 数 
TERÁ v Alvi 的 3 个 1， 加 上 来 自 s 
Als) 的 值 1 和 2)。 因 此 ， 按 照 十 进 制 来 
解释 这 些 数 ， 就 不 会 出 现 由 低位 向 高 位 
进位 的 情况 。 

以 上 的 归 约 过 程 可 以 在 多 项 式 时 间 
内 完成 。 集 合 S 包含 了 2n+2k MA, H 


CNF 的 公式 为 $=C AGAGAG, 其 中 
O= Vor V7 az), C= az Vo zr V 
723), G= Vor Vz), G= V 
Zzx2 Vx)。$ 的 一 个 可 满足 性 赋值 为 (zi 二 0， 
m=0, m=1), 归 约 过 程 所 产生 的 集合 S 包 
含 了 一 些 十 进 制 数 ; 按照 从 上 往 下 的 顺序 ， 
S= {1001001, 1000110, 100001, 101110, 
10011, 11100, 1000, 2000, 100, 200, 10, 
20, 1, 2). H$ t 为 1114444。 子 集 S'CS 
在 图 中 用 浅 阴 影 表 示 ， 它 包含 了 vi. v 和 
v3， 对 应 于 可 满足 性 赋值 。 它 还 包含 了 松弛 变 


中 每 一 个 值 都 有 n 十 & 个 数位 ， 产 生 每 一 Hss sis sty sh. s Msi, DHE G 到 
个 数位 的 时 间 都 是 n+ 的 多 项 式 。 目 标 人 
上 有 7 十 & 个 数位 ， 其 中 的 每 一 个 数位 都 可 以 由 归 约 过 程 在 常量 时 间 内 产生 。 

现在 ， 我 们 来 证 明 3-CNF 公式 $ 是 可 满足 的 ， 当 且 仅 当 存 在 一 个 子 集 S'ES, KERMA 
to HÆ, 假设 5 有 一 个 可 满足 性 赋值 。 对 i 二 1，2，…，n， 如 果 在 此 赋值 中 存在 =l, W v 
包含 在 集合 S' 中 。 否 则 ， 就 将 o 包含 在 集合 S 中 。 换 句 话 说 ,我 们 是 把 在 可 满足 性 赋值 中 ,与 
值 为 1 的 文字 对 应 的 v 和 w; 值 包含 在 S' 中 。 在 对 所 有 的 i 包含 了 wv; Ro (两 者 取 其 一 ) 之 后 ， 并 
且 将 所 有 由 s; Als’; 中 的 变量 所 标记 的 数位 置 0 后 ， 我 们 可 以 看 出 ， 对 于 每 个 由 变量 标记 的 数位 ， 
S 中 元 素 之 和 必 为 1， 这 与 目标 上 中 的 那些 数位 正好 是 匹配 的 。 由 于 每 个 子 句 都 是 可 满足 的 ， 故 
子 句 中 必 有 某 个 文字 的 值 为 1。 于是， 由 一 个 子 句 所 标记 的 每 个 数位 都 至 少 有 一 个 1， 这 一 数据 
可 以 在 S 元 素 的 和 值 中 ， 作 为 或 ww 的 值 。 事 实 上 ， 在 每 个 子 句 中 ， 可 能 有 1、2 或 3 个 文字 的 


O 事实 上 ,任何 一 个 满足 5 宇 7 的 进 制 5 都 是 可 以 的 。 这 一 节 开 头 给 出 的 实例 是 如 图 34-19 所 示 的 集合 S 和 目标 二， 
它们 是 按照 七 进 制 来 解释 的 ， 且 S 是 按照 排序 顺序 列 出 的 。 
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值 为 1， 因 此 ， 根据 S' 中 所 包含 的 w Ro’ 值 的 情况 ， 每 个 由 子 句 所 标记 的 数位 和 为 1、2 或 3。 
例如 ， 在 图 34-19 中 ， 在 某 一 可 满足 性 赋值 中 ， 文 字 一 xz、 一 zs Ale, 的 值 为 1。 子 句 C AC, 都 
恰 包 含 这 三 个 文字 中 的 一 个 ， 因 此 ，vw、vs 和 vs 共同 为 AC, 中 数位 的 和 值 贡 献 了 一 个 1。 
FAC, ARREST PHM, Ail, vi. v: 和 vs 共同 为 Cs 中 数位 的 和 值 贡 献 了 一 个 2。 子 
句 C; 包含 所 有 这 三 个 文字 ， 因 而 ,vi 、vs 和 ws 共同 为 C; 中 数位 的 和 值 贡献 了 一 个 3。 在 每 个 
由 子 句 G; 所 标记 的 数位 中 ， 通 过 将 松弛 变量 {s;，s; } 的 一 个 非 空 子 集 包含 进 S ， 即 可 达到 目标 值 
4。 在 图 34-19 中 ， S 包含 了 Sis sis S29 Say s 和 Sas 由 于 我 们 已 经 在 和 值 的 所 有 数位 中 匹配 了 
目标 值 ， 且 不 会 发 生 进 位 ， 因 此 ，S 中 元 素 的 和 值 为 t。 

接 下 来 ， 假 设 有 一 个 子 集 S'S， 其 元 素 之 和 为 +。 对 每 一 个 二 1，2，…，w， 子 集 S 必定 
恰好 包含 v 和 两 者 中 的 一 个 ， 否 则 ， 变 量 所 标记 的 数位 和 就 不 会 为 1。 如 果 vi € S'， 就 将 x 
#1. BW, uS, MHz, 置 0。 我 们 断言 对 7 一 1，2，…，A， 每 个 子 句 C 可 以 通过 此 赋值 
得 到 满足 。 为 了 证 明 这 一 断言 ， 注 意 到 由 于 松弛 变量 s 和 s'; 合 起 来 的 贡献 至 多 为 3， 因 此 为 了 
在 C 标记 的 数位 中 达到 和 值 4， 子 集 S' 必 须 至 少 包 含 v hui 值 中 的 一 个 ,使 得 C 在 标记 的 数 
位 上 有 个 1。 如 果 S 包含 一 个 w， 它 在 G; 位置 上 有 个 1， 则 文字 r 会 出 现在 子 句 C; H. Hue 
S' 时 ,我 们 已 将 xz; #1, Auk, FOC 是 可 满足 的 。 如 果 S 包含 一 个 尽 且 它 在 该 位 置 上 有 个 1， 
则 文字 一 二 会 出 现在 子 句 C; P. 4 ESN, 我们 已 将 zx; HO, Ak, FAC, 再 次 被 证 明 是 可 
满足 的 。 于 是 ，$ 的 所 有 子 句 都 是 可 满足 的 ， 这 样 就 完成 了 整个 证 明 。 = 


练习 

34. 5-1 子 图 同 构 问题 取 两 个 无 向 图 C AG, RAG 是否 与 G 的 一 个 子 图 同 构 这 一 问题 。 
证 明 : 子 图 同 构 问 题 是 NP 完全 的 。 

34. 5-2 ”给 定 一 个 mXn 的 整数 和 矩阵 A 和 一 个 整 型 的 m 维 向 量 ，0-1 整数 规划 问题 即 研究 是 否 有 
一 个 整 型 的 4 维 向 量 zx， 其 元 素 取 自 集合 {0，1}， WE Arb., WEH: 0-1 整数 规划 问 
题 是 NP 完全 的 。( 提 示 : 由 3-CNF-SAT 问题 进行 归 约 。) 

34. 5-3 ”整数 线性 规划 问题 与 练习 34. 5-2 中 给 出 的 0-1 整数 规划 十 分 相似 ， 区 别 仅 在 于 向 量 z 的 
值 可 以 取 任 何 整 数 ， 而 不 仅 是 0 或 1。 假定 0-1 整数 规划 问题 是 NP 难度 的 ， 证明: 整 
数 线性 规划 问题 是 NP 完全 的 。 

34.5-4 证明: 如 果 目 标 值 上 表示 成 一 元 形式 ， 试 说 明 如 何在 多 项 式 时 间 内 解决 子 集 和 问题 。 

34. 5-5 ”集合 划分 问题 的 输入 为 一 个 数字 集合 S。 问 题 是 : 这 些 数字 是 否 能 被 划分 成 两 个 集合 A 
AIA=S—A, (49 de = = dt o HER: 集合 划分 问题 是 NP 完全 的 。 


34.5-6 证明: 哈密 顿 路 径 问题 是 NP 完全 的 。 

34.5-7 最 长 简单 回路 问题 是 在 一 个 图 中 ， 找 出 一 个 具有 最 大 长 度 的 简单 回路 (无 重复 的 顶点 )。 
证 明 : 这 个 问题 是 NP 完全 的 。 

34.5-8 在 半 3-CNF 可 满足 性 中 ， 给 定 一 个 3-CNF 形式 的 公式 % 它 包含 2 个 变量 和 疡 个 子 
句 ， 其 中 m 是 偶数 。 我 们 希望 确定 是 否 存在 对 $ 中 变量 的 一 个 真 值 赋值 ， 使 得 #$ 中 
恰 有 一 半 的 子 句 为 0， 同 时 恰 有 男 一 半 的 子 句 为 1。 证明: Æ 3-CNF 可 满足 性 问题 
是 NP 完全 的 。 


思考 题 
34-1 (独立 集 ) 图 G= 二 (V，E) 的 独立 集 是 子 集 V'CV， 使 得 EE 中 的 每 条 边 至 多 与 V' 中 的 一 个 


顶点 相关 联 。 独 立 集 问题 是 要 找 出 G 中 具有 最 大 规模 的 独立 集 。 
a 给 出 与 独立 集 问题 相关 的 判定 问题 的 形式 化 描述 ， 并 证 明 它 是 NP 完全 的 。( 提 示 : 根 
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据 团 问题 进行 归 约 。) 

b. 假设 给 定 一 个 “黑箱 ” 子 程序 ， 用 于 解决 (a) 中 定义 的 判定 问题 。 试 写 出 一 个 算法 ， 以 找 
出 最 大 规模 的 独立 集 。 所 给 出 的 算法 的 运行 时 间 应 该 是 关于 |V| 和 |E| 的 多 项 式 ， 其 中 
查询 黑箱 的 工作 被 看 做 是 一 步 操作 。 
尽管 独立 集 判 定 问题 是 NP 完全 的 ， 但 在 特殊 情况 下 ， 该 问题 是 多 项 式 时 间 可 解 的 。 

c 当 G 中 的 每 个 顶点 的 度数 均 为 2 时 ， 请 给 出 一 个 有 效 的 算法 来 求解 独立 集 问题 。 分 析 该 
算法 的 运行 时 间 ， 并 证 明 算 法 的 正确 性 。 

d. 4 G 为 二 分 图 时 ， 试 给 出 一 个 有 效 的 算法 以 求解 独立 集 问题 。 分 析 算 法 的 运行 时 间 ， 
并 证 明 算 法 的 正确 性 。( 提 示 : 利用 26.3 节 中 的 结论 。) 

(Bonnie 和 Clyde) Bonnie 和 Clyde 刚刚 抢 动 了 一 家 银行 。 他 们 抢 动 到 一 袋 钱 ， 并 打算 将 

钱 分 光 。 对 于 下 面 的 每 一 种 场景 ， 都 给 出 一 个 多 项 式 时 间 算 法 ， 或 者 证 明 该 问题 是 NP 完 

全 的 。 每 一 种 情况 下 的 输入 是 关于 袋子 里 件 东西 的 一 份 清单 ， 以 及 每 一 件 东 西 的 价值 。 

a. 袋子 里 共有 枚 硬币 ,但 只 有 两 个 不 同 的 面值 : 一 些 面值 x 美元 ， 一 些 面值 > 美元 。 
Bonnie 和 Clyde 希望 平分 掉 这 笔 钱 。 

b. 袋子 里 共有 nn 枚 硬币 ,它们 有 着 任意 数量 的 不 同 面值 ， 但 每 一 种 面值 都 是 2 的 非 负 整 数 
次 寡 ， 即 可 能 的 面值 为 1 美元 、2 美元 、4 美元 等 。 他 俩 希望 平分 掉 这 笔 钱 。 

c. 袋子 里 共有 张 支票 ， 十 分 巧合 的 是 ， 这 些 支 票 恰 好 是 支付 给 “Bonnie 或 Clyde” 的 。 他 
俩 希望 平分 掉 这 些 支票 ， 从 而 可 以 分 得 同样 数目 的 钱 。 

d 与 (0) 一 样 ， 袋 子 里 共有 n 张 支票 ， 但 这 一 次 ， 他 俩 愿意 接受 这 样 的 一 种 支票 分 配方 案 ， 
两 人 所 分 得 的 钱 数 差距 不 大 于 100 美元 。 

(图 的 着 色 ) 地 图 制造 商 想 要 使 用 尽 可 能 少 的 颜色 在 一 张 地 图 上 把 不 同 的 国家 着 色 ， 前 提 

是 相 邻 的 两 国家 不 使 用 同一 种 颜色 。 我 们 构造 如 下 的 模型 : 对 于 无 向 图 G=(V, E), 图 

中 的 每 个 顶点 代表 一 个 城市 ， 相 邻 的 两 个 点 所 代表 的 城市 也 是 相 邻 的 。 如 此 ， 一 个 无 向 图 

G= 二 (V，E) 的 着色 就 是 一 个 函数 c: V 一 {1，2，…，k}， 使 得 对 每 条 边 (u，v) EE， 有 

clwMAclv), MDG, l, 2, +, k RIR k 种 颜色 ， 并 且 相 邻 顶点 必须 染 上 不 同 的 颜 

色 。 图 的 着 色 问 题 就 是 确定 要 对 某 个 给 定 图 着 色 所 必需 的 最 少 的 颜色 种 类 。 

a. 写 出 一 个 有 效 的 算法 以 判定 一 个 图 的 2 着 色 ( 如 果 存 在 )。 

b. 把 图 的 着 色 问 题 描 述 为 一 个 判定 问题 。 证 明 : 该 判定 问题 在 多 项 式 时 间 内 可 解 ， 当 且 
仅 当 图 的 着 色 问 题 在 多 项 式 时 间 内 可 解 。 

ce 设 语言 3-COLOR 是 能 够 进行 三 着 色 的 图 的 集合 。 证 明 : 如 果 3-COLOR 是 NP 完全 的 ， 
则 (b) 中 的 判定 问题 是 NP 完全 的 。 

为 了 证 明 3-COLOR 具有 NP 完全 性 ， 我 们 利用 3-CNF-SAT 来 进行 归 约 。 给 定 一 个 由 

m 个子 句 组 成 的 关于 n AEE T, t s tn 的 公式 5， 构造 图 G 二 (V，E) 如 下 。 对 每 个 

变量 和 每 个 变量 的 “ 非 ”， 集合 V 分 别 包 含 一 个 顶点 。 对 每 个 子 句 ，V 包含 5 个 顶点 ， 另 

dh, V 中 还 有 三 个 特殊 的 顶点 : TRUE, FALSE 和 RED。 图 的 边 分 为 两 种 类 型 与 子 句 

无 关 的 “文字 ” 边 和 依赖 于 子 句 的 “ 子 句 ” 边 。 对 i 二 1，2，…，n， 文 字 边 形成 一 个 由 特殊 顶 

点 构成 的 三 角形 ， 并 且 还 形成 了 一 个 由 zx;、 一 z; 和 RED 构成 的 三 角形 。 

d 论证 在 对 包含 “文字 ” 边 的 图 的 任意 一 个 3 着 色 c 中 ， 一 个 变量 和 它 的 “ 非 ” 中 恰好 有 一 个 
被 着 色 为 cCTRUE) ， 另 一 个 被 着 色 为 (FALSE). 论证 对 于 #$ 的 任何 真 值 赋值 ， 对 仅 
包含 文字 边 的 图 都 存在 一 种 3 着 色 。 

34-20 所 示 的 附件 图 用 于 实现 对 应 于 子 句 (zxV yV z) 的 条 件 。 每 个 子 句 都 要 求 图 中 
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涂 黑 的 5 个 顶点 的 一 个 副本 ， 且 此 副本 唯一 。 如 图 所 示 ， 它 们 把 子 句 中 的 文字 与 特殊 顶点 

TRUE 相连 。 

e 证 明 : Wax. y 和 >z 中 每 个 顶点 均 着 色 为 cL(TRUE) 或 c(FALSE)， 那 么 该 附件 图 是 3 
KER, KHNA T, y Mz 中 至 少 有 一 个 被 着 色 为 c(TRUE) 。 

f. 证 明 : 3 着 色 问 题 是 NP 完全 问题 。 


> 


图 34-20 思考 题 34-3 中 用 到 的 对 应 于 子 句 (zV yV z) 的 附件 图 


34-4 〈 带 收益 和 完工 期 限 的 调度 ) 假设 有 一 台 机 器 和 ?项 任务 ca，% ，…，c。 每 项 任务 a 在 
机 器 上 都 需要 处 理 时 间 t;、 利 润 p; 和 完工 期 限 必 。 这 台 机 器 一 次 只 能 处 理 一 项 任务 ， 而 
任务 a; 必须 不 间断 地 运行 个 连续 时 间 单 位 。 如 果 能 赶 在 完工 期 限 d; 之 前 完成 任务 ai， 
就 能 获取 利润 p;， 但 是 ， 如 果 是 在 到 期 之 后 完成 任务 ， 就 得 不 到 任何 利润 。 作 为 一 个 最 优 
化 问题 ， 给 定 n 项 任务 的 处 理 时 间 、 利 润 和 完工 期 限 ， 我 们 希望 找 出 一 种 调度 方案 既 能 完 
成 所 有 的 任务 ， 又 能 获取 最 大 的 利润 。 

a. 将 这 个 问题 表述 为 一 个 判定 问题 。 

b. 证 明 : 此 判定 问题 是 NP 完全 的 。 

ce 假定 所 有 的 处 理 时 间 都 是 从 1 一 ?之 间 的 整数 ， 给 出 此 判定 问题 的 一 个 多 项 式 时 间 算 法 。 
(提示 : 采用 动态 规划 。) 

d. 假定 所 有 的 处 理 时 间 都 是 1 一 ?之 间 的 整数 ， 给 出 此 最 优化 问题 的 一 个 多 项 式 时 间 算 法 。 


本 章 注 记 

Garey 和 Johnson 撰写 的 书 [129] 中 为 学 习 NP 完全 性 提供 了 很 好 的 指南 ， 书 中 详细 地 讨论 了 
这 一 理论 ， 并 列 出 了 一 个 目录 ， 其 中 包括 许多 自 1979 年 以 来 已 知 的 NP 完全 问题 。 本 章 中 定理 
34. 13 的 证 明 就 是 参考 该 书 ，34. 5 节 开 头 给 出 的 NP 完全 问题 领域 列表 也 是 取 自 该 书 。Johnson 
在 1981 年 到 1992 年 之 间 ， 在 Journal of Algorithms 上 撰写 了 一 系列 ( 共 23 期 ) 专 栏 文章 ， 报 告 
NP 完全 性 方面 的 最 新 研究 进展 。Hopcroft、Motwani 和 Ullman[177]、Lewis 和 Papadimitriou 
[236]、Papadimitriou[L270] 以 及 Sipser[317] 在 复杂 性 理论 这 一 背景 中 ， 很 好 地 处 理 了 NP 完全 问 
题 。Aho、Hopcroft、Ullman[ 5]、Dasgupta、Papadimitriou 和 Vazirani[ 82 ] 也 涉及 了 NP 完全 问 
题 和 一 些 归 约 问题 。 

P 类 是 在 1964 年 由 Cobham[72], 1965 年 由 Edmonds[100] 独 立地 提出 的 ， 后 者 还 提出 了 
NP 类 ， 并 推测 有 PANP. NP 完全 性 概念 是 在 1971 年 由 CookL75] 提 出 的 ， 他 给 出 了 公式 可 满足 
性 问题 和 3-CNF 可 满足 性 问题 的 第 一 个 NP 完全 性 证 明 。LevinL234] 独 立地 提出 了 这 一 概念 ， 并 
给 出 了 “ 铺 瓷砖 问题 "的 NP 完全 性 证 明 。Karp[199] 在 1972 年 提出 了 归 约 方法 ， 并 总 结 了 各 种 
NP 完全 问题 。 在 Karp 的 论文 中 ， 给 出 了 对 团 问题 、 顶 点 覆盖 问题 、 哈 密 顿 回路 问题 的 NP 完全 
性 的 原创 性 证 明 。 自 此 以 后 ， 许 多 问题 继而 被 研究 人 员 证 明 是 NP 完全 的 。 在 1995 年 庆祝 Karp 
60 岁 生 日 的 聚会 的 谈话 中 ，Papadimitriou 在 发 言 中 提 到 ,“ 每 年 ， 大约 有 6 000 篇 论文 在 标题 、 
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摘要 或 关键 词 中 有 “NP 完全 ’ 这 一 字眼 。 这 一 数字 比 有 关 “ 编 译 器 *、“ 数 据 库 ”、“ 专 家 ”，、“ 神 经 
网 络 或 "操作 系统 "这 些 术语 中 每 一 个 的 论文 数量 都 要 多 。?” 

近来 ， 复杂 性 理论 方面 的 最 新 研究 成 果 为 计算 近似 解 的 复杂 性 问题 带 来 了 希望 。 这 一 方面 
的 工作 利用 “概率 意义 下 可 检验 的 证 明 ” 这 一 概念 ， 给 出 了 NP 的 新 定义 。 这 一 新 的 定义 意味 着 对 
于 诸如 团 、 顶 点 覆盖 、 旅 行商 等 带 有 三 角 不 等 式 的 问题 ， 还 有 许多 其 他 的 问题 ， 计 算 有 效 的 近似 
解决 方案 是 NP 难度 的 ， 因 而 并 不 比 计算 最 优 解 更 容易 。 有 关 这 一 领域 的 介绍 可 以 参见 Arora 的 
论文 [20]; Arora 和 Lund 在 Hochbaum[172] 中 的 一 章 ; Arora[21] 撰 写 的 一 篇 综述 性 文章 ; 一 本 

由 Mayr, Prömel 和 Steger 编辑 的 书 [246]; 以 及 Johnson 的 一 篇 综述 性 文章 [191]。 
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许多 具有 实际 意义 的 问题 都 是 NP 完全 问题 。 我 们 不 知道 如 何在 多 项 式 时间 内 求 得 最 优 解 。 
但 是 ， 这 些 问 题 通常 十 分 重要 ， 我 们 不 能 因此 而 放弃 对 它们 的 求解 。 即 使 一 个 问题 是 NP 完全 
的 ， 也 有 其 解决 方法 。 解 决 NP 完全 问题 至 少 有 三 种 方法 : 1) 如 果实 际 输入 数据 规模 较 小 ， 则 用 
指数 级 运行 时 间 的 算法 就 能 很 好 地 解决 问题 ; 2) 对 于 一 些 能 在 多 项 式 时 间 内 解决 的 特殊 情况 ， 可 
以 把 它们 单独 列 出 来 求解 ; 3) 可 以 寻找 一 些 能 够 在 多 项 式 时 间 内 得 到 近似 最 优 解 (near-optimal 
solution) 的 方法 (最 坏 情 况 或 平均 情况 )。 在 实际 应 用 中 ， 近 似 最 优 解 一 般 都 能 满足 要 求 。 返 回 近 
似 最 优 解 的 算法 就 称 为 近似 算法 (approximation algorithm) 。 本 章 主 要 介绍 几 个 解决 NP 完全 问题 
的 多 项 式 时 间 近 似 算 法 。 

近似 算法 的 性 能 比 

假定 我 们 在 求解 一 个 最 优化 问题 ， 该 问题 的 每 个 可 能 解 都 有 正 的 代价 ， 我 们 希望 找 出 一 个 
近似 最 优 解 。 根 据 所 要 解决 的 问题 ， 最 优 解 可 以 定义 成 具有 最 大 可 能 代价 的 解 或 具有 最 小 可 能 
代价 的 解 。 也 就 是 说 ， 该 问题 可 能 是 最 大 化 问题 ， 也 可 能 是 最 小 化 问题 。 

如 果 对 规模 为 n 的 任意 输入 ， 近 似 算法 所 产生 的 近似 解 的 代价 C 与 最 优 解 的 代价 C* 只 差 一 
个 因子 p(n): 





max(-—,—) < on) (35.1) 


Sa) 
CEG 
则 称 该 近似 算法 有 近似 比 p(n)。 如 果 一 个 算法 的 近似 比 达到 po(z) ， 则 称 该 算法 为 p(n) 近 似 算 法 。 
近似 比 和 pCn) 近 似 算 法 的 定义 对 求 最 大 化 和 最 小 化 问题 都 适用 。 对 于 一 个 最 大 化 的 问题 ，C 与 
C* WHE O<C<C*, ELAR C /C 表 示 最 优 解 代价 大 于 近似 解 代价 的 倍数 。 类 似 地 ， 对 于 一 个 最 小 
化 的 问题 ，C 与 C' 满足 0 二 C" SC, kth C/C* 表示 近似 解 的 代价 大 于 最 优 解 的 代价 的 倍数 。 因 
为 我 们 假定 所 有 解 的 代价 都 是 正 的 ， 故 前 面 定义 的 比值 都 是 良 定义 的 。 一 个 近似 算法 的 近似 比 
不 会 小 于 1, AA C/C <1 蕴涵 着 C* /C>1。 于 是 ， 一 个 1 近似 算法 产生 的 解 是 最 优 解 ， 而 一 
个 近似 比较 大 的 近似 算法 可 能 会 返回 和 最 优 解 差 很 多 的 解 。 

对 于 很 多 问题 ， 已 经 设计 出 具有 较 小 的 固定 近似 比 的 多 项 式 时 间 近 似 算法 。 然 而 ， 对 于 另 一 
些 问 题 ， 在 其 已 知 的 最 佳 多 项 式 时 间 近 似 算 法 中 ， 近 似 比 是 输入 规模 nn 的 函数 ， 随 着 n 的 变化 而 
变化 。35. 3 节 讨 论 的 集合 覆盖 问题 就 属于 这 类 问题 。 

一 些 NP 完全 问题 可 以 采用 特定 的 多 项 式 时 间 近 似 算 法 求解 ， 这 些 算法 通过 消耗 更 多 的 计算 
时 间 ， 可 以 得 到 不 断 缩小 的 近似 比 。 也 就 是 说 ， 可 以 用 更 多 的 计算 时 间 换 取 更 小 的 近似 比 。35. 5 
节 讨 论 的 子 集 和 问题 就 属于 这 类 问题 。 这 类 问题 非常 重要 ， 值 得 专门 研究 。 

一 个 最 优化 问题 的 近似 模式 (approximation scheme) 就 是 这 样 一 种 近似 算法 ， 它 的 输入 除了 
该 问题 的 实例 外 ， 还 有 一 个 值 。 之 0， 使 得 对 任何 固定 的 es， 该 模式 是 一 个 (1 十 e) 近 似 算法 。 对 一 
个 近似 模式 来 说 ， 如 果 对 任何 固定 的 se 之 0， 该 模式 都 以 其 输入 实例 规模 半 的 多 项 式 时 间 运 行 ， 则 
称 此 模式 为 多 项 式 时间 近 似 模 式 。 

随 着 e 的 减 小 ， 多 项 式 时 间 近 似 模式 的 运行 时 间 可 能 会 迅速 增长 。 例 如 ， 一 个 多 项 式 时 间 
近似 模式 的 运行 时 间 复 杂 度 可 能 达到 O(n“*)。 在 理想 情况 下 ， 如 果 e 按 一 个 常数 因子 减 小 ， 为 


日 、 当 近似 比 独立 于 nn 时， 我 们 将 使 用 “近似 比 PM o 近似 算法 ”等 术语 ， 以 表示 近似 比 与 无关 。 


652 + 第 七 部 分 算法 问题 选编 


1107 


1108 


了 获得 预期 的 近似 效果 ， 所 增加 的 运行 时 间 不 应 超过 一 个 常数 因子 (尽管 这 两 个 常数 因子 不 一 
定 相同 ) 。 

对 一 个 近似 模式 来 说 ， 如 果 其 运行 时 间 表 达 式 既 为 1/e 的 多 项 式 ， 又 为 输入 实例 规模 对 的 多 
项 式 ， 则 称 其 为 完全 多 项 式 时 间 近 似 模式 。 例 如 ， 近 似 模式 的 运行 时 间 可 能 是 O((1/e) 产 )。 对 
于 这 样 的 模式 ，e 的 任意 常数 倍 减少 可 以 引起 运行 时 间 相 应 常数 倍 的 增加 。 

本 章 概要 

本 章 的 前 4 节 介 绍 一 些 解决 NP 完全 问题 的 多 项 式 时 间 近 似 算 法 的 例子 ， 第 5 节 给 出 一 个 完 
全 多 项 式 时 间 近 似 模 式 。35. 1 节 以 对 顶点 覆盖 问题 的 研究 开始 。 顶 点 覆盖 问题 是 一 个 NP 完全 的 
最 小 化 问题 ， 其 近似 算法 的 近似 比 为 2。35. 2 节 研 究 了 旅行 商 问 题 的 特例 ， 其 代价 函数 要 求 满足 
三 角 不 等 式 ， 给 出 了 一 个 近似 比 为 2 的 近似 算法 。 这 一 节 还 证 明了 如 果 代 价 函 数 不 满 足 三 角 不 等 
式 ， 则 对 任意 常数 >l, PFE p 近似 算法 ,除非 了 二 NP。35. 3 节 说 明 对 集合 覆盖 问题 ， 如 何 
使 用 贪心 方法 设计 一 个 有 效 的 近似 算法 来 获得 一 个 覆盖 ， 其 代价 在 最 差 情 况 下 比 最 优 代价 大 对 
数 倍 。35. 4 节 给 出 另外 两 个 近似 算法 。 首 先 研 究 3-CNF 可 满足 性 问题 的 最 优化 形式 ， 并 给 出 一 
个 简单 的 随机 化 算法 ， 它 给 出 的 解 具有 预期 的 近似 比 8/7。 接 着 ,分 析 顶 点 覆盖 问题 的 一 个 带 权 
值 的 变形 ， 并 说 明 如 何 利用 线性 规划 方法 设计 一 个 2 近似 算法 。 最 后 ，35. 5 节 给 出 子 集 和 问题 
的 一 个 完全 多 项 式 时 间 的 近似 模式 。 


35.1 顶点 覆盖 问题 


在 34. 5. 2 节 中 ， 我 们 定义 了 顶点 覆盖 问题 并且 证 明了 它 是 NP 完全 的 。 无 向 图 G=(V,，E) 
的 一 个 项 点 覆盖 是 一 个 子 集 VSV， 使 得 如 果 (x， 切 是 G 的 一 条 边 ， 则 wEV', 或 者 vEV'( 也 可 能 
两 者 都 成 立 ) 。 一 个 顶点 覆盖 的 规模 是 其 中 所 包含 的 顶点 数 。 

顶点 覆盖 问题 的 目标 是 在 一 个 给 定 的 无 向 图 中 ， 找 出 一 个 具有 最 小 规模 的 顶点 覆盖 。 我 们 
称 这 样 的 一 个 顶点 覆盖 为 最 优 项 点 覆盖 。 顶 点 覆盖 问题 是 一 个 NP 完全 判定 问题 的 最 优化 形式 。 

虽然 在 一 个 图 G 中 寻找 最 优 顶 点 覆盖 比较 困难 ， 但 找 出 近似 最 优 的 项 点 覆盖 还 是 相对 容易 
的 。 下 面 给 出 的 近似 算法 以 一 个 无 向 图 G 为 输入 ， 返 回 一 个 其 规模 保证 不 超过 最 优 项 点 覆盖 规 
模 2 倍 的 顶点 覆盖 。 

APPROX-VERTEX-COVER(C) 

1 C= 

2 E'=G.E 

3 whileE’ 42 

4 let(u,v)be an arbitrary edge of E’ 

5 C=CU {u,v} 
6 remove from E’ every edge incident on either u or v 
7 return C 


图 35-1 用 一 个 具体 图 演示 了 APPROX-VERTEX-COVER 的 操作 过 程 。 变 量 C 包含 了 正在 构 
造 的 顶点 覆盖 。 第 1 行将 C 初 始 化 为 空 集 。 第 2 行将 E' 置 为 图 G 的 边 集 E[G] 的 一 个 副本 。 第 
3 一 6 行 中 的 循环 重复 地 从 EF 中 任 选 出 一 条 边 (u，v)， 将 某 端 点 和 w 加 入 C， 并 删 去 E' 中 所 有 
被 或 v 覆盖 的 边 ， 直 至 EE 为 空 。 最 后 ,第 7 行 返 回 项 点 覆盖 C。 以 邻接 表 来 表示 EF ， 这 个 算法 
的 运行 时 间 为 O(V 十 E)。 

定理 35. 1 APPROX-VERTEX-COVER 是 一 个 多 项 式 时 间 的 2 近似 算法 。 

证 明 前面 我 们 已 经 证 明了 APPROX-VERTEX-COVER 的 运行 时 间 为 多 项 式 。 

因为 APPROX-VERTEX-COVER 算法 会 一 直 循 环 计算 ， 直 到 ELCJ 中 的 每 条 边 都 被 顶点 集 
合 C 中 的 某 个 顶点 覆盖 为 止 ， 所 以 由 APPROX-VERTEX-COVER 返回 的 C 是 一 个 顶点 覆盖 。 
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图 35-1 APPROX-VERTEX-COVER 的 操作 过 程 : (a) 具 有 7 个 顶点 和 8 条 边 的 输入 图 G。(b) 以 粗 
阴影 线 标记 的 边 (5，c) 是 被 APPROX-VERTEX-COVER 所 选择 的 第 一 条 边 。 加 了 浅 阴 影 的 
顶点 5 和 c 被 加 入 集合 C， 集 合 C 包含 了 正 被 构造 的 顶点 覆盖 。 以 虚线 示 出 的 边 (a，b)、 
(c，e) 和 (c，d) 被 删除 ， 因 为 现在 它们 被 C 中 的 某 个 顶点 所 覆盖 。(c) 边 (e，/) 被 选中 ; 顶 
点 e 和 上 了 被 加 到 C 中 。(d) 边 (4d，g) 被 选中 ， 顶 点 d 和 g 被 加 到 C 中 。(e) 集 合 C 是 由 
APPROX-VERTEX-COVER 产生 的 近似 最 优 顶 点 覆盖 ， 它 包含 6 顶点 b、c、d、 e fy ge 
(DD 这 个 问题 的 最 优 顶 点 覆盖 仅 包 含 三 个 顶点 : b, d File 


为 了 说 明 APPROX-VERTEX-COVER 返回 顶点 覆盖 的 规模 至 多 为 最 优 覆 盖 的 2 倍 ， 设 A 为 
APPROX-VERTEX-COVER 算法 中 第 4 行 选 出 的 边 集合 。 为 了 覆盖 A 中 的 边 ,任意 一 个 顶点 覆 
盖 ( 特 别 是 最 优 覆 盖 C* ) 都 必须 至 少 包 含 A 中 每 条 边 的 一 个 端点 。 如 果 一 条 边 在 第 4 行 中 被 选 
中 ， 那 么 在 第 6 行 就 会 从 E 中 删除 所 有 与 其 端点 关联 的 边 。 因 此 ，A 中 不 存在 两 条 边 具 有 共同 
的 端点 ， 从 而 A 中 不 会 存在 两 条 边 由 C" 中 的 同一 顶点 所 覆盖 。 于 是 ， 最 优 项 点 覆盖 的 规模 下 界 
如 下 : 

[or | > Al (35. 2) 
算法 第 4 行 的 每 一 次 执行 都 会 挑选 出 一 条 边 ， 其 两 个 端点 都 不 在 C 中 ， 因 此 ， 所 返回 顶点 覆盖 的 
规模 上 界 ( 实 际 上 是 一 个 上 界 ) 为 : 
|C| =2|A| (35. 3) 
将 式 (35. DMR. 3) 结 合 起 来 ， 有 : 
IC] =2|A| <2|C" | 
因此 定理 成 立 。 o 

我 们 再 来 回顾 一 下 上 述 证 明 过 程 。 起 初 ， 我 们 可 能 会 好 奇 ， 在 不 知道 最 优 项 点 覆盖 的 规模 到 
底 是 多 少 的 情况 下 ， 如 何 才能 证 明 APPROX-VERTEX-COVER 算法 所 返回 顶点 覆盖 的 规模 至 多 
为 最 优 顶 点 覆盖 规模 的 2 倍 。 为 此 ， 我 们 巧妙 地 利用 了 最 优 顶 点 覆盖 规模 的 一 个 下 界 ， 从 而 使 证 
明 过 程 不 牵涉 最 优 顶 点 覆盖 的 实际 规模 。 正 如 练习 35. 1-2 要 求 读者 证 明 的 ， 在 APPROX- 
VERTEX-COVER 第 4 行 中 挑选 出 来 的 边 集 A 实际 上 是 图 G 的 一 个 极 大 匹配 (所 谓 极 大 匹配 是 指 
这 样 的 一 种 匹配 ， 它 不 是 任何 其 他 匹配 的 真子 集 )。 正 如 定理 35. 1 的 证 明 过 程 所 述 ， 一 个 极 大 匹 
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配 的 规模 是 最 优 顶 点 覆盖 规模 的 下 界 。APPROX-VERTEX-COVER 算法 会 返回 一 个 顶点 覆盖 ， 
其 规模 至 多 为 最 大 匹配 A 的 规模 的 2 倍 。 通 过 将 返回 结果 的 规模 与 最 优 解 的 下 界 进行 比较 ,我 
们 得 到 了 近似 比 。 这 种 方法 还 会 在 后 面 几 节 中 用 到 。 


练习 

35.1-1 给 出 一 个 图 的 例子 ,使 得 APPROX-VERTEX-COVER 对 该 图 总 是 产生 次 优 解 。 

35.1-2 证 明 : APPROX-VERTEX-COVER 第 4 行 挑选 出 来 的 边 集 是 图 G 的 一 个 极 大 匹配 。 

*35. 1-3 Bündchen 教授 提出 了 以 下 的 启发 式 方法 来 解决 顶点 覆盖 问题 : 重复 选择 度数 最 高 的 顶 
点 ， 并 去 掉 其 所 有 邻接 边 。 试 举例 证 明 Biindchen 教授 的 启发 式 方法 达 不 到 近似 比 2。 
(提示 : 可 以 考虑 一 个 二 分 图 ， 其 中 左 图 中 顶点 的 度数 一 样 ， 而 右 图 中 顶点 的 度数 
不 一 样 。) 

35.1-4 ”给 出 一 个 有 效 的 贪心 算法 ,使 其 能 够 在 线性 时 间 内 找 出 一 棵 树 的 最 优 项 点 覆盖 。 

35.1-5 通过 定理 34. 12 的 证 明 ， 我 们 知道 了 顶点 覆盖 问题 和 NP 完全 的 最 大 团 问题 在 某 种 意义 
上 来 说 是 互补 的 ， 即 最 优 项 点 覆盖 是 补 图 中 某 个 最 大 规模 团 的 补 。 这 种 关系 是 否 意味 着 
存在 一 个 多 项 式 时 间 的 近似 算法 ， 它 对 最 大 团 问题 有 着 固定 的 近似 比 ? 请 给 出 回答 ， 并 
予以 证 明 。 


35.2 旅行 商 问题 
34. 5.4 节 介 绍 的 旅行 商 问题 中 ， 输 入 是 一 个 完全 无 向 图 G 二 (V，E)， 其 中 每 条 边 (u, wv) EE 
都 有 一 个 非 负 的 整数 代价 Cu, Y, RIA ARH C 的 一 条 具有 最 小 代价 的 哈密 顿 回路 。 现 在 我 们 
把 前 面 所 用 的 记号 表示 略 作 扩充 ， 设 c(A) 表 示 子 集 ACE 中 所 有 边 的 总 代价 : 
c(A) = 5) clus) 


在 很 多 实际 情况 中 ， 从 一 个 地 方 u BA PH w 花费 的 代价 总 是 最 小 的 。 如 果 一 条 
路 径 经 过 了 某 个 中 转 站 ， 则 它 不 可 能 具有 比 直 接 到 达 更 小 的 代价 。 换 名 话说， 去 掉 途 中 一 个 中 转 
站 绝 不 会 使 代价 增加 。 将 这 种 情况 加 以 形式 化 ， 即 如 果 对 所 有 的 顶点 uw，v，wEV， 有 : 

clu,w) <clu,v) + c(v,w) 
就 称 代价 函数 c 满足 三 角 不 等 式 。 

三 角 不 等 式 是 个 很 自然 的 不 等 式 ， 许 多 应 用 都 满足 三 角 不 等 式 。 例 如 ， 如 果 图 的 顶点 为 平面 
上 的 点 ， 并 且 在 两 个 顶点 间 旅 行 的 代价 为 它们 之 间 的 欧 几 里 得 距离 ( 即 两 点 间 的 线段 距离 )， 那 么 
这 种 情况 就 满足 三 角 不 等 式 。 除 了 欧 几 里 得 距离 外 ， 还 有 许多 其 他 的 代价 函数 能 满足 三 角 不 
等 式 。 

如 练习 35-22 所 示 ， 即 使 代价 函数 满足 三 角 不 等 式 ， 也 不 能 改变 旅行 商 问题 的 NP 完全 性 。 
因此 ， 不 能 寄 希 望 于 找到 一 个 准确 解决 旅行 商 问题 的 多 项 式 时 间 算 法 。 相 反 ， 我 们 应 该 寻找 一 些 
好 的 近似 算法 。 

35. 2. 1 节 将 讨论 一 个 2 近似 算法 ， 用 于 解决 符合 三 角 不 等 式 的 旅行 商 问题 。35. 2. 2 节 将 证 
明 如 果 旅 行商 问题 不 符合 三 角 不 等 式 ， 则 不 存在 具有 固定 近似 比 的 多 项 式 时 间 近 似 算 法 ， 除 非 
P=NP, 


35.2.1 满足 三 角 不 等 式 的 旅行 商 问题 


利用 前 一 小 节 的 方法 ， 我 们 首先 要 计算 出 一 个 结构 ( 即 最 小 生成 树 )， 其 权 值 是 最 优 旅行 商 路 
线 长 度 的 下 界 。 接 着 ,要 利用 这 一 最 小 生成 树 来 生成 一 条 遍历 线路 ， 其 代价 不 大 于 最 小 生成 树 权 
值 的 2 倍 ， 只 要 代价 函数 满足 三 角 不 等 式 即 可 。 下 面 的 算法 实现 了 这 一 过 程 ， 该 算法 将 23. 2 节 
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中 的 最 小 生成 树 算法 MST-PRIM 作为 子 程序 加 以 调用 。 输 入 G 是 一 个 完全 无 向 图 。 代 价 函数 c 
满足 三 角 不 等 式 。 
APPROX-TSP-TOUR(G,¢) 
1 select a verte r€G. V to be a “root” vertex 
2 compute a minimum spanning tree T for G from root r 
using MST-PRIM(G,c,r) 
3 let H be a list of vertices, ordered according to when they are first visited 
in a preorder tree walk of T 


4 return the hamiltonian cycle H 


如 12. 1 节 所 述 ， 先 序 遍 历 会 递归 地 访问 树 中 的 每 个 顶点 ， 在 第 一 次 遇 到 某 个 顶点 时 (在 访问 
其 孩子 之 前 ) 就 输出 该 顶点 。 

35-2 说 明了 APPROX-TSP-TOUR 的 操作 过 程 。 图 35-2(a) 给 出 了 一 个 完全 无 向 图 。 
图 35-2(b) 给 出 了 一 棵 由 MST-PRIM 计算 出 来 的 最 小 生成 树 T， 其 以 顶点 a 为 根 结 点 。 图 35-2(c) 
给 出 了 对 工 进行 先 序 遍 历时 ， 各 项 点 的 访问 顺序 。 图 35-2(d) 给 出 了 由 APPROX-TSP-TOUR 返回 
的 旅行 路 线 。 图 35-2(e) 给 出 了 一 个 最 优 的 旅行 路 线 ， 它 比 图 35-2(d) 中 的 旅行 路 线 要 短 约 23%. 
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图 35-2 APPROX-TSP-TOUR 的 操作 过 程 。(a) 给 定 一 个 完全 无 向 图 ， 其 顶点 位 于 整数 网 格 线 的 交叉 
点 处 。 例 如 ， 顶 点 f 位 于 顶点 h 右边 一 个 单位 、 上 边 两 个 单位 处 。 此 处 采用 普通 的 欧 几 里 得 
距离 作为 两 点 间 的 代价 函数 。(b) 在 这 些 顶 点 的 基础 上 ， 利 用 MST-PRIM 计算 得 到 的 最 小 生 
成 树 T。 顶 点 a 为 根 顶点 。 这 里 只 显示 出 了 位 于 工 中 的 边 。 各 顶点 的 标记 方式 使 得 它们 恰好 
可 以 按 字典 顺序 ， 由 MST-PRIM 加 入 到 主 树 中 。(c) 从 顶点 a 开始 对 T 进行 遍历 。T 的 一 个 
TNT ka, b, c, b, h, b,a, d, e, fse, g e, d, a 的 顺序 访问 各 顶点 。 在 对 
进行 先 序 遍 历时 ， 只 在 第 一 次 遇 到 一 个 顶点 时 ， 才 将 该 顶点 列 出 ， 从 而 得 到 访问 顺序 a, b, 
c、h、d、e、f、g。(d) 按 先 序 遍 历 顺 序 访问 各 顶点 时 ， 所 得 到 的 顶点 访问 顺序 ， 即 由 
APPROX-TSP-TOUR 返回 的 旅行 路 线 五 。 其 总 代价 约 为 19.074。(e) 原 完全 无 向 图 的 一 个 最 
优 旅行 路 线 日 " ， 其 总 代价 约 为 14. 715 


根据 练习 23. 2-2， 即 使 是 采用 MST-PRIM 的 简单 实现 ，APPROX-TSP-TOUR 的 运行 时 间 
也 是 @(V*)。 现 在 我 们 来 证 明 : 如 果 旅 行商 问题 某 一 实例 的 代价 函数 满足 三 角 不 等 式 ， 则 
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APPROX-TSP-TOUR 所 返回 的 旅行 路 线 的 代价 不 大 于 最 优 旅行 路 线 代价 的 2 倍 。 

定理 35. 2 APPROX-TSP-TOUR 是 一 个 用 于 解决 满足 三 角 不 等 式 的 旅行 商 问题 的 多 项 式 时 
间 2 近似 算法 。 

证 明 前 面 已 经 证 明了 APPROX-TSP-TOUR 的 运行 时 间 为 多 项 式 。 

B H 表示 在 给 定 顶 点 集合 上 的 一 个 最 优 旅行 路 线 。 我 们 通过 删除 一 个 旅行 路 线 中 的 任 一 条 
边 而 得 到 生成 树 ， 并 且 每 条 边 的 代价 都 是 非 负 的 。 因 此 ， 由 APPROX-TSP-TOUR 第 2 行 得 到 的 
最 小 生成 树 工 的 权 值 是 最 优 旅 行路 线 代 价 的 一 个 下 界 : 

DH') (35. 4) 
对 工 进 行 完全 遍历 时 ， 在 初次 访问 一 个 顶点 时 输出 该 顶点 ， 并 且 在 访问 一 棵 子 树 返 回 后 输出 该 
顶点 。 我 们 称 这 个 遍历 为 W。 对 例子 中 的 树 进行 完全 遍历 ， 得 到 次 序 

a»b,c,b,h,b,asd,e, fe ge rd,a 

因为 该 完全 遍历 恰 经 过 了 械 的 每 条 边 两 次 ， 所 以 有 (可 以 将 代价 c 的 定义 加 以 自然 的 扩展 ， 用 以 
处 理 边 集 的 情况 ): 

c(W) = 2c(T) (35. 5) 
由 式 (35.4) 和 式 (35. 5) 得 

c(W) < 2c(H" ) (35. 6) 
BD W 的 代价 在 最 优 旅行 路 线 代价 的 2 倍 之 内 。 

但 是 ，W 一 般 来 说 不 是 一 个 旅行 路 线 ， 因 为 它 对 于 某 些 顶 点 的 访问 次 数 超过 一 次 。 然 而 ， 
根据 三 角 不 等 式 ， 如 果 从 W 中 去 掉 一 次 对 任意 顶点 的 访问 ， 代 价 并 不 会 增加 。( 如 果 在 对 顶点 u 
和 ww 的 访问 之 间 ， 从 W 中 去 掉 顶 点 v， 所 得 的 旅行 路 线 顺 序 就 指示 了 直接 从 u 到 ww。) 反 复 应 用 
这 个 操作 ， 可 以 从 W 中 将 对 每 个 顶点 除 第 一 次 访问 之 外 的 其 他 各 次 访问 去 掉 。 在 我 们 的 例子 中 ， 
这 样 的 一 个 操作 过 程 即 可 得 旅行 次 序 : 

asb,csh,d,e,f,g 
这 个 次 序 与 对 树 工 进行 先 序 遍历 所 得 的 次 序 是 一 样 的 。 设 H 为 对 应 先 序 遍 历 的 回路 。 它 是 个 哈 
密 顿 回路 ， 因 为 每 个 顶点 仅 被 访问 一 次 ， 并 且 它 实际 上 是 由 APPROX-TSP-TPUR 计算 出 来 的 回 
路 。 因 为 也 是 通过 从 完全 遍历 W 中 删除 了 某 些 顶 点 后 得 到 的 ， 所 以 有 : 
cH) < (W) (35. 7) 
将 不 等 式 (35. 6) 和 不 等 式 (35. 7) 结 合 起 来 ， 则 有 (HKH), AMERI. m 

尽管 定理 35-2 给 出 了 很 好 的 近似 比 ， 但 在 实践 中 ，APPROX-TSP-TOUR 通常 并 不 是 解决 旅 
行商 问题 的 最 佳 选 择 。 有 些 近 似 算法 的 实际 性 能 要 比 APPROX-TSP-TOUR 算法 好 得 多 (具体 可 
见 本 章 末 的 参考 文献 ) 。 


35.2.2 一 般 旅行 商 问题 


如 果 去 掉 关 于 代价 函数 c 满足 三 角 不 等 式 的 假设 ， 则 不 可 能 在 多 项 式 时 间 内 找到 一 个 好 的 近 
似 旅行 路 线 ， 除 非 P=NP. 

定理 35. 3 ”如果 P 天 NP， 则 对 任何 常数 po 这 1， 一 般 旅 行商 问题 不 存在 具有 近似 比 为 的 多 
项 式 时 间 近 似 算法 。 

证 明 采用 反 证 法 证 明 。 假 设 对 某 个 数 p 宇 1， 存 在 一 个 近似 比 为 p 的 多 项 式 时 间 近 似 算法 A。 
不 失 一般 性 ， 假 定 po 是 一 个 整数 (必要 的 话 ， 可 以 对 其 向 上 取 整 )。 我 们 来 说 明 如 何在 多 项 式 时 间 内 
用 A 来 解决 哈密 顿 回路 问题 (其 定义 见 34. 2 节 ) 的 各 种 实例 。 根 据 定 理 34. 13， 哈 密 顿 回路 是 NP 完 
全 问题 ， 因 而 根据 定理 34. 4， 如 果 能 够 在 多 项 式 时 间 内 解决 这 个 问题 ， 必 须 满 足 P 一 NP。 

设 G 二 (V，E) 为 哈密 顿 回路 问题 的 一 个 实例 。 我 们 希望 利用 假定 的 近似 算法 A 来 确定 G 是 
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否 包含 一 个 哈密 顿 回路 。 可 将 G 转化 为 如 下 的 一 个 旅行 商 问题 的 实例 。 设 G =V, EDA V E 
的 完全 图 ， 也 就 是 说 ， 
E' = {(u,v) :u,v€ V, Hux v} 
再 对 E' 中 的 每 条 边 按 如 下 方法 赋 以 一 个 整数 代价 : 
1 如 果 (u,v) EE 
clu,v) = 
olV| 十 1 其 他 

G' 和 < 的 表示 可 以 在 关于 |V| 和 | 五 | 多 项 式 时 间 内 由 G 构造 出 来 。 

现在 来 考虑 旅行 商 问题 (G'，c) 。 如 果 原 图 G 中 存在 一 条 哈密 顿 回 路 互 ， 则 代价 函数 < 对 五 
的 每 条 边 赋 以 代价 1， 从 而 (G  ，c) 中 包含 了 一 个 代价 为 |V| 的 旅行 路 线 。 另 外 ， 如 果 G 中 不 包 
含 一 条 哈密 顿 回路 ， 那 么 G 的 任意 一 个 旅行 路 线 必 定 要 用 到 不 在 正中 的 某 条 边 。 但 是 ， 任 意 一 
个 用 到 不 在 王 中 边 的 旅行 路 线 的 代价 至 少 为 

(IVI +FD+CVl —D =plVI+IVI >plV| 

因为 不 在 G 中 的 边 的 代价 很 大 ， 故 G 中 哈密 顿 回路 的 旅行 路 线 代价 (为 |V| ) 与 任何 其 他 旅行 路 
线 的 代价 (至 少 为 p|V| 十 |V|) 之 间 相差 至 少 为 p|V|。 

现在 ， 假 定 我 们 应 用 近似 算法 A 来 解决 旅行 商 问题 (G'，c)。 因 为 A 能 保证 其 返回 旅行 路 线 
的 代价 不 超过 一 个 最 优 旅 行路 线 代价 的 o 倍 ， 如 果 G 包含 一 条 哈密 顿 回路 ， 则 A 必定 会 返回 满 
足 上 述 要 求 的 旅行 路 线 。 但 是 ， 如 果 G 不 包含 哈密 顿 回路 ， 
旅行 路 线 。 所 以 ， 可 以 用 算法 A 在 多 项 式 时 间 内 解决 哈密 顿 回路 问题 。 

定理 35. 3 的 证 明 过 程 展示 了 一 种 通用 技术 ， 这 种 技术 可 以 用 来 证 明 某 一 EAT PA 
近似 。 假 设 给 定 一 个 NP 难度 的 问题 X， 我们 可 以 在 多 项 式 时 间 内 构造 出 一 个 最 小 化 问题 Y， 使 
得 义 的 “yes” 实 例 对 应 于 值 至 多 为 (对 于 某 个 ) 的 了 实例 ， 而 的 “no” 实 例 对 应 于 值 大 于 ok 的 
Y 实例 。 那 么 ， 我 们 就 证 明了 除非 有 P=NP, AM, IBY 不 存在 多 项 式 时 间 的 p 近似 算法 。 


练习 

35.2-1 假设 一 个 完全 无 向 图 G 二 (V，E) 至 少 含有 三 个 项 点， 其 代价 函数 c 满足 三 角 不 等 式 。 证 
H: 对 所 有 的 u，vEV， 有 clu, v)>0. 

35.2-2 说明 如 何 才 能 在 多 项 式 时 间 内 ， 将 旅行 商 问题 的 一 个 实例 转换 为 男 一 个 代价 函数 满足 三 
角 不 等 式 的 实例 。 两 个 实例 必须 有 相同 的 最 优 旅 行路 线 。 请 解释 为 什么 这 种 多 项 式 时 间 
的 转换 与 定理 35. 3 并 不 矛盾 ,假设 PANP. 

35. 2-3 考虑 下 述 用 于 构造 近似 旅行 商旅 行路 线 ( 代 价 函数 满足 三 角 不 等 式 ) 的 最 近 点 启发 式 : 从 
只 包含 任意 选择 的 某 一 顶点 的 平凡 回路 开始 ， 在 每 一 步 中 ， 找 出 一 个 顶点 w， 它 不 在 回 
路 中 ,但 到 回路 上 任何 顶点 之 间 的 距离 最 短 。 假 设 回路 上 距离 最 近 的 顶点 为 w， 则 将 
& 插 入 到 v 之 后 ， 从 而 对 回路 加 以 扩展 。 重 复 这 一 过 程 ， 直 到 所 有 顶点 都 在 回路 上 为 止 。 
证 明 : 这 一 启发 式 方法 返回 的 旅行 路 线 总 代价 不 超过 最 优 旅行 路 线 代 价 的 2 倍 。 

35.2-4 在 瓶颈 旅行 商 问题 中 ， 目 标 是 找 出 这 样 的 一 条 哈密 顿 回路 ， 使 得 回路 中 代价 最 大 的 边 的 
代价 相对 于 其 他 回路 来 说 最 小 。 假 设 代价 函数 满足 三 角 不 等 式 ， 证明: 这 个 问题 存在 一 
个 近似 比 为 3 的 多 项 式 时 间 近 似 算法 。( 提 示 : 如 思考 题 23-3 中 讨论 的 那样 ， 可 以 采用 
递归 证 明 的 方法 ， 通 过 完全 遍历 瓶颈 生成 树 及 跳 过 某 些 顶点 ， 可 以 恰好 访问 树 中 的 每 个 
顶点 一 次 ， 但 连续 跳 过 的 中 间 顶 点 不 会 多 于 两 个 。 证 明 在 瓶颈 生成 树 中 ， 最 大 的 边 代价 
不 超过 瓶颈 哈密 顿 回 路 中 最 大 的 边 代价 。) 

35.2-5 ”假设 与 旅行 商 问题 一 个 实例 对 应 的 顶点 是 平面 上 的 点 ， 且 代价 clu, vd) dE u Alo 之 间 
的 欧 几 里 得 距离 。 证 明 : 一 条 最 优 旅 行路 线 不 会 自我 交叉 。 
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35.3 ”集合 覆盖 问题 
集合 覆盖 问题 是 一 个 最 优化 问题 ， 它 是 许多 资源 分 配 问题 的 模型 ， 其 相应 的 判定 问题 是 NP 
完全 的 顶点 覆盖 问题 的 推广 ， 因 而 也 是 NP 难 问题 。 然 而 ， 用 于 解决 顶点 覆盖 的 近似 算法 并 不 适 
合 解决 集合 覆盖 问题 ， 需 要 尝试 其 他 方法 。 我 们 要 讨论 一 种 简单 的 具有 对 数 近似 比 的 贪心 启发 
式 方法 ， 即 随 着 实例 规模 的 逐渐 增 大 ， 相 对 于 一 个 最 优 解 的 规模 来 说 ， 近 似 解 的 规模 可 能 相应 增 
K. 但是， 由 于 对 数 函 数 增长 很 慢 ， 这 个 近似 算 
法 仍然 可 以 产生 很 有 用 的 结果 。 
集合 覆盖 问题 的 一 个 实例 (X，F ) 由 一 个 有 穷 
集 X 和 一 个 X 的 子 集 族 F 构 成 ， 且 X 的 每 一 个 元 
素 至 少 属于 下 中 的 一 个 子 集 : 
x=|Js 
我 们 说 一 个 子 集 SEF 覆盖 了 它 的 元 素 。 这 个 问题 
是 要 找到 一 个 最 小 规模 子 集 CSCSF ， 使 其 成 员 覆 盖 





图 35-3 集合 覆盖 问题 的 一 个 实例 (X，F)， 


X 的 所 有 成 员 : 其 中 X 包含 12 个 黑 点 ， 多 一 (Si， 
X= S (35. 8) S25 Sas Sas Ss, Ss}. ~AR 

S 模 集合 覆盖 为 C= {5S;， Si, Ss}, 其 

我 们 说 任何 满足 等 式 (35. D 的 她 覆盖 X。 图 35-3 规模 为 3。 通 过 按 序 选择 集合 S. 
说 明了 集合 覆盖 问题 。€C 的 规模 是 指 为 它 所 包含 的 Si. Ss. Ss MHS Si. Ss. Ss 
集合 数 ， 而 不 是 这 些 集合 中 的 元 素数 ， 因 为 每 个 贪心 算法 产生 了 一 个 规模 为 4 的 覆盖 


覆盖 X 的 子 集 刀 必定 包含 所 有 |X | 个 元 素 。 在 
图 35-3 中 ， 最 小 集合 覆盖 的 规模 为 3。 

集合 覆盖 问题 是 对 许多 常见 的 组 合 问题 的 一 种 抽象 。 考 虑 一 个 简单 的 例子 : 假设 X 表示 解决 某 
一 问题 所 需要 的 技巧 集合 ， 另 外 ， 有 一 个 给 定 的 参与 解决 该 问题 的 人 员 集合 。 我 们 希望 组 成 一 个 人 数 
尽 可 能 少 的 委员 会 ， 使 得 对 X 中 每 种 必需 的 技巧 ， 委 员 会 中 都 至 少 有 一 位 成 员 掌 握 该 技巧 。 在 集合 
覆盖 问题 的 判定 版 本 中 ， 我 们 想 知 道 一 个 集合 覆盖 的 规模 是 否 至 多 为 &， 其 中 & 是 在 该 问题 实例 中 规 
定 的 另 一 个 参数 。 集 合 覆 盖 问 题 的 判定 版 本 是 NP 完全 的 ， 练 习 35. 3-2 要 求 读者 证 明 这 一 点 。 

一 个 贪心 近似 算法 

该 贪心 方法 在 每 一 次 循环 中 ， 都 会 选择 出 能 覆盖 最 多 尚未 被 覆盖 元 素 的 集合 S。 

GREEDY-SET-COVER(X, F) 

1 U=X 

2 C=% 

3 while UŻA Ø 

4 select an SEF that maximizes | SNU | 

5 U=U 一 S 

6 “=eU{S} 

7 return © 


在 图 35-3 的 例子 中 ，GREEDY-SET-COVER FHES S, S, Ss, UR S 或 S 中 的 任 
意 一 个 加 入 到 © 中 。 

这 个 算法 的 工作 过 程 如 下 : 在 每 个 阶段 ,集合 U 包含 余下 的 未 被 覆盖 的 元 素 构 成 的 集合 ; 
集合 C 包 含 正在 被 构造 的 覆盖 。 第 4 行 是 贪心 决策 步骤 ， 即 选 出 一 个 子 集 S， 使 它 能 覆盖 尽 可 能 
多 的 未 被 覆盖 的 元 素 ( 如 果 有 两 个 子 集 覆 盖 了 同样 多 元 素 ， 可 以 任意 选择 其 中 之 一 )。 在 S 被 选 
出 后 ， 第 5 行将 其 所 含 元 素 从 U 中 去 掉 ， 第 6 行将 S 加 入 C。 当 算法 终止 时 ， 集合 C 包 含 一 个 覆 
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盖 X 的 多 的 子 族 。 

很 容易 实现 算法 GREEDY-SET-COVER， 使 其 以 |XI| 和 | 有 | 的 多 项 式 时 间 运 行 。 因 为 第 
3 一 6 行 间 循环 的 迭代 次 数 至 多 为 min(|X| ，| 人 | )， 而 且 可 以 将 循环 体 实 现 以 时 间 OC| X| | F |) 
运行 ， 故 存在 一 个 运行 时 间 为 OC(| X| | F | min(| X|, |F | ASR. AY 35. 3-3 要 求 读者 给 出 
一 个 线性 时 间 的 算法 。 

算法 分 析 

下 面 来 证 明 上 述 贪心 算法 可 以 返回 一 个 比 最 优 集合 覆盖 大 不 了 很 多 的 集合 覆盖 。 为 方便 起 


见 ， 在 本 章 中 ， 我 们 用 五 (d) 来 表示 第 d 级 调和 数 AH, = Vi CR A. 1 节 )。 作 为 一 个 边界 条 


件 ， 定 义 五 (0) 一 0。 
定理 35.4 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 o(z) 近 似 算法 ， 其 中 : 
p(n) = H(max{|S|:S € ¥}) 

证 明 ”我 们 已 经 证 明了 GREEDY-SET-COVER 以 多 项 式 时 间 运 行 。 

为 了 证 明 GREEDY-SET-COVER 是 一 个 p(n) 近 似 算 法 ， 对 每 一 个 由 该 算法 选 出 的 集合 赋予 
代价 1， 并 将 这 一 代价 平均 分 配给 被 初次 覆盖 的 元 素 ， 再 利用 这 些 代 价 导 出 一 个 最 优 集合 覆盖 
©: 的 规模 和 由 该 算法 返回 的 集合 覆盖 C 的 规模 之 间 的 关系 。 设 S; 表示 由 GREEDY-SET-COVER 
所 选 出 的 第 i 个 子 集 ; 在 将 S 加 入 C 中 时 要 产生 代价 1。 将 这 个 选择 S; 时 产生 的 代价 平均 分 配给 
首次 被 S, 覆盖 的 元 素 。 对 LEX, We 表示 分 配给 元 素 z 的 代价 。 对 每 一 个 元 素 只 分 配 一 次 代 
价 ， 即 仅 当 它 被 首次 覆盖 时 分 配 代 价 。 如 果 工 首次 被 S; Bi. BA 


= 1 
= TS, — (S, US U- US) 
在 算法 的 每 一 步 中 ， 要 分 配 1 个 单位 的 代价 ， 因 此 ， 


lel = die. (35. 9) 
zEX 
由 于 每 一 个 zxEX 都 至 少 在 最 优 覆 盖 C* 中 的 一 个 集合 内 ， 因 此 ， 
Sey ot es (35. 10) 
see’ 2€S rEX 
将 式 (35. 9) 和 式 (35. 10) 组 合 起 来 ， 有 : 
lel < 之 des (35. 11) 
余下 的 证 明 关键 在 于 下 面 的 不 等 式 ， 我 们 稍 后 将 对 它 进 行 证 明 。 对 属于 族 Y 的 任何 集合 S, 
diez = ACIS) (35. 12) 


根据 不 等 式 (35. 11) 和 (35. 12), ， 可 得 
lel < >) HASD < |€* | + HGmax{| S| :S € F}) 
see” 


因而 定理 成 立 。 
下 面 来 证 明 不 等 式 (35. 12)。 对 任意 的 集合 SEF 和 i 二 1，2,，…，|C1, 设 
= |S- (S U SU US)! 
H So Ser S, ots S 被 该 算法 选 出 之 后 ，S 中 余下 的 未 被 覆盖 的 元 素 个 数 。 定 义 w 二 1S| 为 S 
中 元 素 ( 开 始 时 它们 都 未 被 覆盖 ) 的 个 数 。 设 为 满足 二 0 的 最 小 下 标 ， 使 得 S 的 每 个 元 素 至 少 
被 集合 S， ，S:, tts S: 中 的 一 个 所 覆盖 ， FFAS 中 的 某 个 元 素 未 被 Si US, U- US, 所 覆盖 。 
这 样 ， 对 i 二 1，2，*…,，k，ui-1 之 ui， 且 S 中 共有 wi-1 一 ui 个 元 素 首次 被 S; 所 覆盖 。 于 是 有 


k 
= > — 四 . er 
2ye. 2 Cutia i | S: 一 (CS US U…U S| 
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注意 到 
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1S; 一 (SUS Us US) | > [S (S US Ue U SDI = un 


这 是 因为 对 S: 的 贪心 选择 保证 了 S 不 可 能 比 S; 覆盖 更 多 的 新 的 元 素 ( 否 则 ， 选 出 的 就 会 是 S， 而 


不 是 S;)。 由 此 可 得 
k 
MaL DHO u;) L 
zES i=] zi 一 ! 
下 面 的 公式 给 出 这 个 量 的 界 
oe SO —u;) + 
im} -1 
k m 1 
-ò ïL 
=] j=utl “i=l 
k u 1 
<5 (HA j< uim) 
i=] j=utl 


a Hui) — H(u;)) 


= H(u) — Hy) (根据 裂 项 相 消 和 ) 
= H(w)— H(0) 
= H(w) (BA HO) = 0) 
= H(|S|) 


从 而 完成 了 对 不 等 式 (35. 12) 的 证 明 。 
推论 35.5 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 (ln|X| 十 1) 近 似 算法 。 B 
证 明 ”利用 不 等 式 (A. 14) 和 定理 35.4 即 可 证 明 。 = 
在 某 些 应 用 中 ，max{|S| : SEF)} 是 一 个 较 小 的 常数 。 在 这 种 情况 下 ， 由 GREEDY-SET- 
COVER 返回 的 解 至 多 比 最 优 解 大 一 个 很 小 的 常数 倍 。 例 如 ， 对 一 个 顶点 度 至 多 为 3 的 图 来 说 ， 
当 利用 这 种 启发 式 方 法 获取 其 近似 顶点 覆盖 时 ， 这 种 方法 就 有 应 用 价值 。 在 这 种 情况 下 ， 由 
GREEDY-SET-COVER 找 出 的 近似 解 不 大 于 一 个 最 优 解 的 五 (3)=11/6 倍 ， 这 个 近似 比 
APPROX-VERTEX-COVER 的 略 好 一 些 。 


练习 


35. 3-1 


35. 3-2 
35. 3-3 
35. 3-4 


35. 3-5 


将 以 下 每 一 个 单词 都 看 做 字母 集合 : {arid，dash，drain，heard，lost，nose，shun， 
slate，snare，thread} 。 当 出 现 有 两 个 集合 可 供 选 择 的 情况 时 ， 如 果 倾 向 于 优先 选择 在 
词典 中 先 出 现 的 单词 ， 则 GREEDY-SET-COVFR 会 产生 怎样 的 集合 覆盖 。 
通过 由 顶点 覆盖 问题 对 其 进行 归 约 ， 证明: 集合 覆盖 问题 的 判定 版 本 是 NP 完全 的 。 
说 明 如 何 实现 GREEDY-SET-COVER， 使 其 运行 时 间 为 O( D> |s|). 
下 面 给 出 的 是 定理 35. 4 的 较 弱 形式 ， 证 明 其 正确 性 : 

| 如 | < |e: | max{|S|:SE F} 
GREEDY-SET-COVER 可 以 返回 许多 不 同 的 解 ， 具 体 取决 于 在 第 4 行 中 如 何 打破 “ 平 
局 ”。 给 出 过 程 BAD-SET-COVER-INSTANCE(n)， 用 于 返回 集合 覆盖 问题 的 一 个 元 
素 实例 ， 在 该 过 程 中 ， 通 过 选择 第 4 行 中 打破 平局 的 方法 ，GREEDY-SET-COVER 可 
以 返回 不 同 数量 的 解 ， 为 n 的 指数 。 
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35.4 ”随机 化 和 线性 规划 

本 节 主 要 研究 两 种 在 设计 近似 算法 时 非常 有 用 的 技术 : 随机 化 和 线性 规划 。 我 们 要 给 出 
3-CNF 可 满足 性 问题 最 优化 版 本 的 一 个 随机 化 算法 ， 还 要 利用 线性 规划 ， 为 顶点 覆盖 问题 的 一 个 
带 权 版 本 设计 近似 算法 。 本 节 只 是 简单 地 介绍 了 这 两 种 极为 有 用 的 技术 ,“ 本 章 注 记 ” 中 给 出 了 有 
关 这 两 个 领域 的 进一步 参考 文献 。 

解决 MAX-3-CNF 可 满足 性 问题 的 一 个 随机 化 近似 算法 

正如 可 以 计算 出 准确 解 的 随机 算法 一 样 ， 一 些 随机 化 算法 也 可 用 于 计算 近似 解 。 如 果 某 一 
问题 的 随机 化 算法 满足 对 任何 规模 为 ?的 输入 ， 该 随机 化 算法 所 产生 的 解 的 期 望 代价 C 在 最 优 解 
的 代价 C 的 一 个 因子 pd ZA: 


CC 
max( > +=) < p(n) (35:13) 


则 称 该 随机 算法 具有 近似 比 p(n)。 

能 达到 近似 比 p(n) 的 随机 化 算法 也 称 为 随机 化 的 p(n) 近 似 算 法 。 随 机 化 的 近似 算法 类 似 于 
确定 型 的 算法 ， 只 是 其 近似 比 为 一 个 期 望 值 。 

如 在 34.4 节 中 定义 的 那样 ，3-CNF 可 满足 性 问题 的 一 个 特定 实例 可 能 是 可 满足 的 ， 也 可 能 
不 是 。 为 了 使 其 可 满足 ， 必 须 找到 一 种 对 变量 的 赋值 ， 使 得 每 个 子 句 的 计算 结果 都 为 1。 如 果 某 
个 实例 是 不 可 满足 的 ， 我 们 希望 计算 一 下 它 离 “可 满足 ?还 差 多 少 ， 也 就 是 说 ， 我 们 希望 找 出 变量 
的 一 种 赋值 ， 使 得 有 尽 可 能 多 的 子 句 得 到 满足 。 这 种 最 大 化 问题 称 为 MAX-3-CNF 可 满足 性 问 
题 。MAX-3-CNF 可 满足 性 问题 的 输入 与 3-CNF 可 满足 性 问题 的 输入 是 一 样 的 ， 目 标 是 返回 变量 
的 一 种 赋值 ， 它 最 大 化 计算 结果 为 1 的 子 句 的 数量 。 下 面 来 证 明 以 1/2 的 概率 随机 将 每 个 变量 设 
置 为 1， 以 1/2 概率 随机 将 每 个 变量 设置 为 0， 即 可 得 到 随机 化 的 8/7 近似 算法 。 根 据 34. 4 节 中 
3-CNF 可 满足 性 的 定义 ， 要 求 每 个 子 句 都 恰 包 含 3 个 不 同 的 文字 。 进 一 步 假 设 所 有 的 子 句 都 不 会 
既 包 含 一 个 变量 ， 又 包含 其 否定 形式 。( 练 习 35. 4-1 要 求 读者 去 掉 这 个 假设 .) 

定理 35.6 给 定 MAX-3-CNF 可 满足 性 问题 的 一 个 实例 ， 它 有 nn 个 变量 XI，ZXs，…，Z, 和 
m 个 子 句 ， 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1 并 以 1/2 概率 独立 地 将 每 个 变量 设置 为 0 的 随 
机 化 近似 算法 是 一 个 随机 化 的 8/7 近似 算法 。 

证 明 假设 我 们 已 经 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1， 以 1/2 概率 独立 地 将 每 个 变量 
设置 为 0。 对 i 二 1，2，…，m， 定 义 指示 器 随机 变量 

YY 二 1{ 子 名 i 被 满足 } 
因此 ， 只 要 第 i 个 子 句 的 变量 中 至 少 有 一 个 已 被 置 为 1， 就 有 Y; 二 1。 由 于 在 同一 个 子 句 中 ,， 任 
何 一 个 文字 的 出 现 次 数 都 不 会 多 于 一 次 ， 又 由 于 我 们 已 经 假设 同一 子 句 中 不 会 同时 出 现 一 个 变 
量 及 其 否定 形式 ， 故 每 个 子 句 中 三 个 文字 的 设置 都 是 互相 独立 的 。 对 于 一 个 子 句 来 说 ， 只 有 当 它 
的 三 个 文字 都 被 置 为 0 时 ， 才 不 会 被 满足 ， 因 此 ，Pr{ 子 句 i 不 被 满足 }= 二 (1/2); 二 1/8。 于 是 ，Pr 


{ 子 句 i 被 满足 } 二 1 一 1/8 二 7/8。 根 据 引 理 5.1, ELY,J=7/8. RY 为 得 到 满足 的 子 句 的 总 数 ， 
则 有 Y=Y.+Y,+."…+Y,。 于 是 ， A: 
E[Y]= E| Sy, | 
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BA, m 是 得 到 满足 的 子 句 数量 的 上 界 ， 因 而 ， 近 似 比 至 多 为 m/(7m/8)=8/7. a 
利用 线性 规划 来 近似 求解 带 权 项 点 覆盖 问题 
在 最 小 权 值 顶点 覆盖 问题 中 ， 给 定 一 个 无 向 图 G 二 (V，E)， 其 中 每 个 顶点 vEV 都 有 一 个 正 


的 权 值 ww(u) 。 对 任意 顶点 覆盖 VEV， 定 义 该 顶点 覆盖 的 权 为 wV)= Dyer). 目标 是 找 出 一 


个 具有 最 小 权 值 的 顶点 覆盖 。 

对 于 这 个 问题 ， 不 能 直接 采用 面向 无 权 顶 点 覆盖 的 算法 ， 也 不 能 采用 随机 化 的 解决 方案 ， 因 
为 这 两 种 方法 给 出 的 解 可 能 远 非 最 优 。 但 是 ， 对 于 最 小 权 值 顶 点 覆盖 ， 我 们 将 利用 线性 规划 技 
术 ， 计 算出 其 权 值 的 一 个 下 界 。 然 后 ， 对 计算 出 来 的 结果 进行 “ 舍 和 信 ”， 并 利用 得 到 的 结果 来 获得 
顶点 覆盖 。 

假设 对 每 个 顶点 vEV， 都 安排 一 个 变量 z(v) 与 之 关联 ， 并 且 ， 要 求 对 每 个 vEV， 有 zx(v) 等 
于 0 或 1。 将 vw 加 入 顶点 覆盖 ， 当 且 仅 当 xz(v)= 二 1。 那 么 ,我们 可 以 写 出 这 样 一 条 约束 : 对 于 任意 
Wu, V), 和 w 之 中 至 少 有 一 个 必须 在 顶点 覆盖 中 ， 即 xz(w) 十 x(v) 宇 1。 这 样 一 来 ， 就 引出 下 述 
用 于 寻找 最 小 权 值 顶点 覆盖 的 0-1 整数 规划 : 


minimize Dw xv) (35. 14) 
veV 
条 件 是 
Z(U) 十 ZU) 之 1, (tv) EE (35. 15) 
ave {0,1}, vEV (35. 16) 


在 特殊 情况 下 ， 所 有 权重 w(v) 等 于 1， 这 个 公式 是 NP 难 的 顶点 覆盖 问题 的 最 优化 版 本 。 假 
BART z(CoE (0，1} 这 一 限制 ， 并 代 之 以 0 委 z(w 和 1， 就 可 以 得 到 如 下 线性 规划 ， 称 为 线性 
规划 松弛 : 


minimize X wwr) (35.17) 
vEeV 
约束 是 
x(u) 十 z(u) > 1 ,其 中 (u,v) EE (35. 18) 
xwa) <l ,其 中 vE€EV (35. 19) 
av 三 0 ,其 中 vEV (35. 20) 


式 (35. 14) 一 (35. 16) 中 0-1 整数 规划 的 任意 可 行 解 也 是 式 (35. 17) 一 (35. 20) 中 线性 规划 的 一 个 可 
行 解 。 于 是 ， 线 性 规划 的 最 优 解 是 0-1 整数 规划 最 优 解 的 下 界 ， 从 而 也 是 最 小 权 值 顶 点 覆盖 问题 
最 优 解 的 下 界 。 
下 面 的 过 程 利用 上 述 线 性 规划 松弛 的 解 ， 来 构造 最 小 权 值 顶 点 覆盖 问题 的 一 个 近似 解 。 
APPROX-MIN-WEIGHT-VC(G, w) 
1 C=2 
2 compute z,an optimal solution to the linear program in lines(35. 17) — (35. 20) 
3 for each vEV 
4 if x(v)>1/2 
5 C=CU {v} 
6 return C 


APPROX-MIN-WEIGHT-VC 的 工作 过 程 如 下 。 第 1 行将 顶点 覆盖 初始 化 为 空 。 第 2 行 形 成 
式 (35. 17) 一 (35. 20) 中 的 线性 规划 ， 然 后 求解 这 一 线性 规划 。 最 优 解 要 给 每 个 顶点 v 赋 一 个 相关 
的 值 z(v)， 其 中 OSTOS. ER 3 一 5 行 中 ， 利 用 这 一 值 来 确定 该 选择 哪些 顶点 加 入 顶点 覆盖 
C 中。 如 果 z() 宇 1/2， 则 将 v 加 入 C 中 ; 否则 ， 不 将 其 加 入 。 实 际 上 ， 我 们 对 线性 规划 的 解 中 
将 每 个 带 小 数 的 变量 “四 售 五 人 ?成 0 或 1， 从 而 求 得 式 (35. 14) ~ (35. 16) 中 0-1 整数 规划 的 解 。 
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最 后 ， 第 6 行 返回 顶点 覆盖 C 

定理 35.7 算法 APPROX-MIN-WEIGHT-VC 是 求解 最 小 权 值 顶点 覆盖 问题 的 一 个 多 项 式 
时 间 的 2 近似 算法 。 

证 明 ”因为 在 第 2 行 中 ,调用 了 一 个 多 项 式 时 间 算 法 来 求解 线性 规划 ， 并 且 第 3 一 5 行 中 的 
for 循环 以 多 项 式 时 间 运 行 ， 因 而 APPROX-MIN-WEIGHT-VC 是 一 个 多 项 式 时 间 的 算法 。 

下 面 来 证 明 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 设 C* 是 最 小 权 值 顶点 覆盖 问 
题 的 一 个 最 优 解 ， 并 设 z" 为 式 (35. 17) ~ (35. 20) 中 线性 规划 的 一 个 最 优 解 。 由 于 最 优 的 顶点 覆 
盖 也 是 该 线性 规划 的 可 行 解 ， 因 此 ，z* 必定 是 w(C* ) 的 一 个 下 界 ， 即 

z <w(C" ) (35. 21) 
接 下 来 ， 我 们 断言 : 通过 对 变量 z(z) 的 小 数 部 分 进行 伟人 ， 可 以 得 到 一 个 顶点 覆盖 C， 满 足 
zw(C) 委 2z" 。 为 了 证 明 C 是 一 个 顶点 覆盖 ， 考 虑 任意 边 (u，wv) EE。 WARG. 18) ，z(z) 十 
Zz(v) 宇 1， 这 意味 着 在 (wu) 和 zx(v) 中 ， 至 少 有 一 个 其 值 至 少 为 1/2。 因 此 ，u 和 w 中 至 少 有 一 个 将 
被 加 入 到 顶点 覆盖 中 ， 因 而 每 一 条 边 都 将 被 覆盖 。 
下 面 考虑 覆盖 的 权 值 ， 有 : 


2= wor) > YD wz D ww) t 
wEV vEViz(u) 伍 1/2 


uvEV:z(y) 三 1/2 
= ww . 工 = 工 iuw(o) =w (35. 22) 
24 2 244 2 


HEAR SER (35. 21) 和 (35. 22) 结 合 起 来 ， 有 : 
w(C) < 2z" < 2w(C" ) 
因此 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 a 


练习 

35.4-1 证 明 : 即使 允许 一 个 子 句 既 包含 变量 又 包含 其 否定 形式 ， 将 每 个 变量 随机 地 以 概率 1/2 
设置 为 1 和 以 概率 1/2 设置 为 0， 它 仍然 是 一 个 随机 化 的 8/7 近似 算法 。 

35.4-2 MAX-CNF 可 满足 性 问题 与 MAX-3-CNF 可 满足 性 问题 类 似 ， 只 是 它 并 不 要 求 每 个 子 句 
ABA LE 3 个 文字 。 对 MAX-CNF 可 满足 性 问题 ， 给 出 它 的 一 个 随机 化 的 2 近似 算法 。 

35.4-3 在 MAX-CUT 问题 中 ， 给 定 一 个 无 权 无 向 图 G=(V, E). WEH 23 章 中 一 样 ， 定 义 一 
个 割 (S，V 一 S)， 并 定义 一 个 割 的 权 为 通过 该 割 的 边 数 。 问 题 的 目标 是 找 出 一 个 具有 最 
大 权 值 的 割 。 假 设 对 每 个 顶点 vu， 随 机 且 独 立地 将 v 以 概率 1/2 BA S 中 ， 以 概率 1/2 
置信 V 一 S 中 。 证明 : 这 个 算法 是 一 个 随机 化 的 2 近似 算法 。 

35.4-4 WEH: 式 (35.19) 中 的 约束 是 多 余 的 ， 意 即 ， 如 果 将 它们 从 式 (35.17) 一 (35. 20) 间 的 线 
性 规划 中 去 掉 ， 所 得 到 线性 规划 的 任何 最 优 解 必定 满足 对 每 个 vEV，z(z) 近 1。 


35.5 子 集 和 问题 


子 集 和 问题 的 一 个 实例 是 一 个 对 (S， t)， 其 中 S 是 一 个 正 整数 的 集合 {zi， Te 9 8G gt 
是 一 个 正 整 数 。 这 个 判定 问题 是 判定 是 否 存在 S 的 一 个 子 集 ， 使 得 其 中 的 数 加 起 来 恰 为 目标 值 
t。 这 个 问题 是 NP 完全 的 ( 见 34. 5. 5 节 )。 

与 此 判定 问题 相 联系 的 最 优化 问题 常常 出 现 于 实际 应 用 中 。 在 这 种 最 优化 问题 中 ， 希望 找 
到 {z ，z，…，z)} 的 一 个 子 集 ， 使 其 中 元 素 相 加 之 和 尽 可 能 的 大 ， 但 不 能 大 于 :。 例 如 ， 假 设 
我 们 有 一 辆 能 装 不 多 于 上 磅 重 的 货 的 卡车 ， 并 有 ”个 不 同 的 盒子 要 装运 ， 其 中 第 ;个 的 重量 为 x， 
磅 。 我 们 希望 在 不 超过 重量 极限 的 前 提 下 ， 将 货 尽 可 能 地 装 满 卡车 。 

在 这 一 节 里 ， 我 们 先 给 出 解决 这 个 最 优化 问题 的 一 个 指数 时 间 算 法 ， 然 后 说 明 如 何 来 修改 
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算法 ， 使 之 成 为 一 个 完全 多 项 式 时 间 的 近似 模式 。( 一 个 完全 多 项 式 时 间 近 似 模 式 的 运行 时 间 为 
1/e， 也 是 输入 规模 的 多 项 式 。) 

一 个 指数 时 间 的 准确 算法 

假设 对 S 的 每 个 子 集 S ， 都 计算 出 S 中 所 有 元 素 的 和 。 接 着 ， 在 所 有 元 素 和 不 超过 t 的 子 集中 ， 
选择 其 和 最 接近 : 的 子 集 。 显 然 ， 这 一 算法 将 返回 最 优 解 ， 但 它 可 能 需要 指数 级 的 时 间 。 为 了 实现 这 
个 算法 ， 可 以 采用 一 种 迭代 过 程 : 在 第 i 轮 迭 代 中 ,计算 {zi，zz，…， 志 } 所 有 子 集 的 和 ， 计 算 的 基 
础 是 {zi Tzs ts Zz-1) 的 所 有 子 集 的 和 。 在 这 个 计算 过 程 中 ， 一 旦 某 个 特定 子 集 S' 的 和 超过 了 t, 就 
没有 必要 再 对 它 进 行 处 理 ， 因 为 S 的 超 集 不 会 成 为 最 优 解 。 下 面 给 出 这 一 策略 的 实现 。 

过 程 EXACT-SUBSET-SUM 的 输入 为 一 个 集合 S 二 {zi1，z，*…，z,} 和 一 个 目标 值 :， 其 伪 
代码 接 下 来 给 出 。 这 个 过 程 以 迭代 的 方式 计算 列表 L;:， 其 中 列 出 了 {zi，Zs，*…，Zi} 的 所 有 子 集 
的 和 ， 这 些 和 值 都 不 超过 目标 值 +， 接 着 ， 它 返回 L, 中 的 最 大 值 。 

设 工 是 一 个 由 正 整数 构成 的 列表 ，z 是 一 个 正 整数 ， 我 们 用 工 十 z 来 表示 通过 对 工 中 每 个 元 素 
增加 z AE ABN Ze. MN, WIE L=, 2, 3, 5, 9), MW L+2=(3, 4, 5, 7, 11). RII 
对 集合 也 应 用 这 个 记号 ， 因 而 

S+zx= {s+zx:s € S} 

我 们 还 用 到 了 一 个 辅助 过 程 MERGE-LISTS(L, L'), 返回 对 其 两 个 已 排序 的 输入 列表 工 和 
L' 合 并 及 删除 重复 值 后 所 产生 的 排序 列表 。 像 在 归并 排序 中 用 到 的 MERGE 过 程 一 样 ( 见 2. 3. 1 
节 )，MERGE-LISTS 的 运行 时 间 为 O(| 工 | 十 | 工 | )( 这 里 省 略 MERGE-LISTS 的 伪 代 码 ) 。 

EXACT-SUBSET-SUM(S,¢) 

1 n=|S| 

2 Lo=<0) 

3 for i=1 ton 
4 L,=MERGE-LISTS(L,-; »Li-1 +2) 

5 remove from L, every element that is greater than ¢ 
6 return the largest element in L, 


为 了 搞 清楚 EXACT-SUBSET-SUM 的 工作 过 程 ， 设 已 表示 通过 选择 {zi ，z。，…，} 的 任意 一 
个 (可 能 为 空 的 ) 子 集 并 对 其 成 员 求 和 而 获得 的 所 有 值 的 集合 。 例 如 ， 如 果 S={1, 4, 5), W 
P, = {0,1} 
P, = {0,1,4,5} 
P; = {0,1,4,5,6,9,10} 
给 定 等 式 
P; = Pi. U (Pin + 2;) (35. 23) 
可 以 通过 对 i 的 归纳 ( 见 练习 35. 5-1) 来 证 明 表 L 是 一 个 包含 已, 中 的 所 有 值 不 大 于 的 元 素 的 有 
序 表 。 因 为 L; 的 长 度 可 达到 2', 一般 来 说 EXACT-SUBSET-SUM 是 一 个 指数 时 间 的 算法 。 HE t 
为 |S | 的 多 项 式 或 S 中 的 所 有 成 员 均 有 1S | 的 一 个 多 项 式 限界 的 特殊 情况 下 ，EXACT-SUBSET- 
SUM 是 一 个 多 项 式 时 间 算 法 。 
一 个 完全 多 项 式 时 间 近 似 模式 
对 子 集 和 问题 ， 我 们 可 以 通过 在 每 个 列表 L 被 创建 后 ， 对 它 进 行 “修整 ”， 来 导出 一 个 完全 
多 项 式 时 间 的 近似 模式 。 具 体 的 思想 是 ， 如 果 工 中 的 两 个 值 比较 接近 ， 那 么 ， 出 于 寻找 近似 解 
的 目的 ， 不 需要 同时 保存 这 两 个 数 。 更 准确 地 说 ， 我 们 采用 一 个 修整 参数 6(0 二 6 一 1)， 按 6 来 修 
整 一 个 列表 工 是 以 这 样 一 种 方式 从 工 中 去 除 尽 可 能 多 的 元 素 : 如 果 工 为 修整 工 后 的 结果 ， 则 对 
从 工 中 去 除 的 每 个 元 素 >， 都 存在 一 个 仍 在 工 中 的 、 近 似 y WICK =, 使得: 
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y 35. 24 
1+ S78) (35:24) 


在 新 表 二 中 可 以 用 这 样 的 一 个 RRR” y FET y 都 由 一 个 满足 不 等 式 (35. 24) HY = 来 代表 。 例 
如 ， 如 果 o=0.1, A 
L = (10,11,12,15,20,21,22,23,24,29) 
则 可 以 通过 修整 工 得 到 
L' = (10,12,15,20,23,29) 

其 中 被 删除 的 值 11 由 10 来 代表 ， 被 删除 的 值 21 和 22 由 20 代表 ， 被 删除 的 值 24 由 23 代表 。 由 
于 表 的 修整 版 本 中 的 元 素 都 是 原 表 的 元 素 ， 因 此 对 一 个 表 加 以 修整 后 ， 可 以 大 大 减少 表 中 的 元 
素 ， 同 时 还 可 以 在 表 中 为 每 个 从 中 删除 的 元 素 保留 一 个 与 其 很 接近 的 ( 且 略 小 一 些 的 ) 代 表 值 。 

下 面 给 出 的 过 程 在 给 定 工 和 人 的 情况 下 ， 在 时 间 8(m) 内 修整 一 个 输入 表 LS, y 
mn)， 假 定 工 已 排 成 单调 递增 序 。 该 过 程 的 输出 是 一 个 修整 过 的 有 序 表 。 


TRIM(L ,6) 

1 let m be the length of L 

2 L'=(y) 

3 last=y, 

4 fori=2 tom 

5 if y,>Jlast. (1+8) /fy 二 Last because L is sorted 
6 append y; onto the end of L’ 

7 last= y; 

8 return L’ 


该 过 程 按照 单调 递增 次 序 扫描 工 中 的 元 素 ， 对 于 其 中 每 个 元 素 ， 若 它 是 工 的 第 一 个 元 素 ， 或 者 
它 不 能 由 最 近 被 放 入 工 中 的 数 来 代表 ， 则 它 被 加 入 返回 的 列表 L P. 

给 定 过 程 TRIM 后 ， 可 以 按照 如 下 方法 构造 近似 模式 。 这 个 过 程 的 输入 为 包含 ”个 整数 的 集 
合 S={x1+ Tz, ty z) 以 任意 次 序 放置 ) 、 目 标 整数 上 和 “近似 参数 *， 其 中 

0<ex<l (35..25) 

它 返 回 一 个 值 z:， 该 值 在 最 优 解 的 1 十 e 倍 内 。 

APPROX-SUBSET-SUM(S,t,e) 

1 n=|S| 

2 Lo 一 (0) 

3 for i=1 ton 

4 L;=MERGE-LISTS(L,-; ,Li +2) 

5 L,=TRIM(L, ,¢/2n) 

6 remove from L; every element that is greater than t 

7 let z* be the largest value in L, 

8 return z” 


第 2 行将 表 L 初始 化 为 仅 包含 元 素 0 的 表 。 第 3 一 6 行 中 for 循环 计算 有 序 表 L L 是 包含 集合 
P: 的 一 个 适当 修整 版 本 (去 掉 了 所 有 大 于 上 的 元 素 ) 。 因 为 L 是 从 工 ,构造 出 来 的 ， 故 必须 保证 
重复 的 修整 不 会 引入 太 多 的 复合 不 精确 性 。 下 面 将 看 到 APPROX-SUBSET-SUM 返回 一 个 正确 
的 近似 (如 果 存 在 ) 。 
考虑 一 个 例子 ， 假 设 有 实例 
S = (104,102,201,101) 

H t=308, e=0. 40. HBR $ He /8=0.05, APPROX-SUBSET-SUM 在 所 指示 的 各 行 上 计算 
出 如 下 值 : 
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第 2 行 : Lo=<0) 

第 4 行 : Lı=<0, 104) 

第 5 行 : 一 王 (0，104》 

第 6 行 : Lı=<0, 104) 

第 4 行 : L,= (0, 102, 104, 206) 

第 5 行 : L,= (0, 102, 206) 

第 6 行 : L,= 0, 102, 206) 

$447: L,=<(0, 102, 201, 206, 303, 407) 

第 5 行 : L,= 0, 102, 201, 303, 407) 

第 6 行 : L:=<(0, 102, 201, 303) 

第 4 行 : L,=(0, 101, 102, 201, 203, 302, 303, 404) 

33547: L,= 0, 101, 201, 302, 404) 

第 6 行 : Lı=<0, 101, 201, 302) 
该 算法 返回 z* =302 作为 答案 ， 它 在 最 优 答案 307=104+102+101 的 e 二 40% 之 内 。 实 际 上 , E 
是 在 其 2% 之 内 。 

定理 35.8 APPROX-SUBSET-SUM 是 子 集 和 问题 的 一 个 完全 多 项 式 时 间 近 似 模式 。 

证 明 第 5 行 修整 L; HAL 中 去 除 每 个 大 于 上 的 元 素 ， 该 操作 保持 了 二 的 每 个 元 素 同 时 也 是 尺 
的 成 员 这 一 性 质 。 所 以 ， 在 第 8 行 返 同 的 值 z" 确实 是 S 的 某 个 子 集 的 元 素 之 和 。 设 y EP, 表示 子 集 
和 问题 的 一 个 最 优 解 。 那 么 ， 由 第 6 行 可 知 ，z" <y 。 根 据 不 等 式 (35. 1)， 我 们 需要 证 明 y /z 三 1 十 e。 
此 外 ， 还 必须 证 明 这 个 算法 的 运行 时 间 既 是 1/e 的 多 项 式 ， 又 是 输入 规模 的 多 项 式 。 

通过 对 i 进行 归纳 ， 可 以 证 明 对 已 中 每 个 至 多 为 t 的 元 素 y， 存 在 一 个 zEL， 使 得 


ce A . 
+ e/tny S*# SY Rosie 


( 见 练习 35. 5-2, ARG (35. 26) Xt y" E P, 必然 成 立 ， 因 而 存在 EL, 179 


ea ae . 
Ten S 7S9 


从 而 有 
“a ey 
< (1+5) (35. 27) 
因为 存在 zE L, 能 满足 不 等 式 (35. 27)， 故 该 不 等 式 对 z" 必定 成 立 ， 其 中 zx* 是 L, 中 的 最 大 
值 ; 即 
所 入 (1 十 声 ) (35. 28) 
接 下 来 还 要 证 明 y* /z* 过 1+e。 首 先 来 证 明 (1 十 e/2m)"<1 十 e。 根 据 式 (3.14)， 有 lim(1 十 e/2n)" 一 
e2, W 35. 5-3 要 求 读者 证 明 
2(1+£)">0 (35. 29) 
函数 (1 十 e/2n)" 在 接近 极限 eS, Bin KT a, TEA: 
(+8) <e 
之 1 十 e/2 十 (e/2)* (根据 不 等 式 (3. 13)) 
二 1 十 e (根据 不 等 式 (35. 25)) (35. 30) 


将 不 等 式 (35. 28) 和 不 等 式 (35. 30) 结 合 起 来 ， 就 完成 了 对 近似 比 的 分 析 。 
为 了 证 明 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 近 似 模 式 ， 我 们 要 导出 一 个 关于 
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L 的 长 度 的 界 。 在 修整 后 ，L; 中 连续 的 元 素 = 和 xz 必 有 关系 z'/z 二 1 十 e/2n。 也 就 是 说 ， 它 们 之 
间 相 差 的 倍数 必 至 少 为 1 十 e/2n。 所 以 ， 每 个 列表 都 包含 了 值 0， 有 可 能 还 包含 了 值 1， 
WAR Logi sent MSHA. ASE L 中 的 元 素数 至 多 为 


= Int 
log znt + 2= ln(1 + ¢/2n) + i 
去 Zde 2a) Ing 十 2 (根据 不 等 式 (3. 17)) 


< Sait +2 (根据 不 等 式 (35. 25)) 


这 个 界 是 输入 规模 的 多 项 式 。 此 处 的 输入 规模 即 表示 上 所 需 的 位 数 lgt， 再 加 上 表示 集合 S 所 需 
的 位 数 ， 而 后 者 既是 n 的 多 项 式 ， 也 是 1/e 的 多 项 式 。 因 为 APPROX-SUBSET-SUM 的 运行 时 间 
H L: 长 度 的 多 项 式 ， 所 以 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 的 近似 模式 。 a 


练习 

35. 5-1 证 明 等 式 (35. 23) 。 然 后 ， 证 明 在 执行 了 EXACT-SUBSET-SUM 的 第 5 行 之 后 ，L; 是 一 
个 包含 了 Pi 中 所 有 不 大 于 + 上 的 元 素 的 有 序 表 。 

35.5-2 ”通过 对 进行 归纳 ， 证 明 不 等 式 (35. 26), 

35.5-3 证明 不 等 式 (35. 29). 

35.5-4 设 : 上 为 给 定 输 入 列表 的 某 个 子 集 之 和 ， 如 何 修改 本 节 给 出 的 近似 模式 来 找 出 不 小 于 上 最 
小 值 的 良好 近似 ? 

35.5-5 ”修改 APPROX-SUBSET-SUM 过 程 ， 使 其 能 够 返回 S 的 一 个 各 元 素 之 和 为 z TFR. 


思考 题 
35-1 (RAW 有 一 组 ?个 物体 ， 其 中 第 i 个 物体 的 大 小 是 s;:， 其 满足 0=s 二 1。 我 们 希望 
把 所 有 物体 都 装 和 最少 的 箱子 中 ， 这 些 箱子 为 单位 尺寸 大 小 ， 即 每 个 箱子 能 容纳 所 有 物体 
的 尺寸 之 和 不 大 于 1。 
a. 证 明 : 确定 最 少 所 需 箱子 个 数 的 问题 是 NP 难 的 。( 提 示 : 对 子 集 和 问题 进行 归 约 。) 
首先 适合 (firstfit) 启 发 式 策略 依次 考察 每 个 物体 ， 将 其 放 人 能 容纳 它 的 第 一 个 箱子 。 设 
S= PA 
b. 证 明 : 所 需 箱子 的 最 优 个 数 至 少 为 [S1。 
c 证 明 : 首先 适合 启发 式 策略 至 多 使 一 个 箱子 不 到 半 满 。 
d 证 明 : 由 首先 适合 启发 式 策略 得 到 的 结果 用 到 的 箱子 数 绝 不 会 大 于 [2S1。 
e. 证 明 : 首先 适合 启发 式 策略 具有 近似 比 2。 
f. 给 出 首先 适合 启发 式 策略 的 一 个 有 效 实现 ， 并 分 析 其 运行 时 间 。 
35-2 《最 大 团 规模 的 近似 ) G 二 (V，E) 为 一 个 无 向 图 。 对 任意 & 宇 1， 定 义 G” 为 无 向 图 (V”， 
E”), Fep VO EV 中 顶点 的 所 有 有 序 & 元 组 构成 的 集合 ， 对 于 V” 中 的 两 个 顶点 (w， 
Vor tty 04) 与 (wi，tw，…，w)， 如 果 对 每 个 i(1 二 i<k)， 在 无 向 图 G 中 ， 顶 点 v 与 顶 
点 w; PEMA vi=w;, Wor» vas es vw), (wi, Urs > eT E”. 
a. 证 明 : G 中 最 大 团 的 规模 等 于 G 中 最 大 团 规模 的 & URE. 
b. 证 明 : 如 果 有 一 个 寻找 最 大 规模 团 的 近似 算法 ， 其 近似 比 为 常数 ， 则 该 问题 存在 一 个 
完全 多 项 式 时 间 的 近似 模式 。 
35-3 《〈 带 权 集合 履 盖 问题 ) 我 们 将 集合 覆盖 问题 加 以 一 般 化 ， 使 得 族 F 中 的 每 个 集合 S 都 有 一 


1133 


1134 


668 


1135 


35-4 


35-5 
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个 权 值 ww， 而 一 个 覆盖 忆 的 权 则 为 Zw 。 我 们 希望 确定 一 个 具有 最 小 权 值 的 覆盖 。 


(35. 3 节 处 理 了 对 所 有 的 i，w 二 1 的 情况 。) 

证 明 贪心 集合 覆盖 启发 式 可 以 以 很 自然 的 方式 加 以 推广 ， 对 带 权 集合 覆盖 问题 的 任何 实例 
提供 一 个 近似 解 。 证 明 该 启发 式 有 一 个 近似 比 HA), HP 4 为 任意 集合 S 的 最 大 规模 。 
(最 大 匹配 ) 在 一 个 无 向 图 G 中 ， 所 谓 匹 配 ， 是 指 这 样 的 一 组 边 ， 其 中 任意 两 条 边 都 不 和 
同一 顶点 关联 。 在 26. 3 节 中 ， 我 们 看 到 了 如 何在 一 个 二 分 图 中 寻找 最 大 匹配 。 在 本 题 中 ， 
我 们 要 来 考察 一 般 无 向 图 ( 即 不 必 是 二 分 图 的 无 向 图 ) 中 的 匹配 问题 。 

a. 极 大 匹配 (maximal matching) 是 指 不 是 任何 其 他 匹配 的 真子 集 的 匹配 。 通 过 给 出 一 个 无 
向 图 G 和 G 中 的 一 个 极 大 匹配 M( 它 不 是 一 个 最 大 匹配 )， 来 证 明 极 大 匹配 未 必 是 最 大 
匹配 。( 提 示 : 存在 只 包含 4 个 顶点 的 图 。) 

b. 考虑 一 个 无 向 图 G 二 (V，E)。 给 出 一 个 O(E) 时 间 的 贪心 算法 ， 用 于 寻找 G 中 的 极 
大 匹配 。 

在 这 个 问题 中 ， 我 们 主要 关注 寻找 最 大 匹配 的 多 项 式 时 间 近 似 算法 。 目 前 ， 这 方面 已 
知 的 最 大 匹配 最 快 算法 需要 超 线性 (但 是 多 项 式 ) 时 间 ， 这 里 的 近似 算法 以 线性 时 间 运 行 。 
读者 需要 证 明 (b) 中 用 于 寻找 极 大 匹配 的 线性 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 
c 证 明 : G 的 一 个 最 大 匹配 的 规模 是 G 中 任何 顶点 覆盖 规模 的 下 界 。 

d. 考虑 G 三 (V，E) 中 的 一 个 极 大 匹配 M。 设 

T={vEV: M 中 的 某 条 边 与 v AR) 
对 于 G 中 不 在 集合 T 之 外 的 顶点 对 应 的 生成 子 图 ， 能 够 得 出 何 种 结论 ? 

e 根据 (d) 得 出 这 样 的 结论 : 2| M| 是 G 的 顶点 覆盖 的 规模 。 

人 利用 (c) 和 (e)， 证 明 (b) 中 的 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 

(并 行 机 调度 ) 在 并 行 机 调度 问题 (parallel machine scheduling) 中 ， 已 知 n WEN Jis J2; +t 

J,， 其 中 每 一 项 作业 J. 都 与 一 个 非 负 的 处 理 时 间 加 关联 。 另 外 ， 还 已 知 有 疡 台 完全 相同 

的 机 器 M,, M;, ，…，JM, 。 调 度 规 定 每 一 项 作业 J, 在 哪 一 台 机 器 上 运行 ， 以 及 在 哪 一 个 

时 间 段 运行 。 每 一 项 作业 J, 必须 在 一 台 机 器 M; 上 运行 连续 的 pi 个 时 间 单 位 ， 并 且 在 该 

时 间 段 里 ， 其 他 作业 都 不 能 在 M 上 运行 。 设 C 表示 作业 J. 的 完成 时 间 ， 即 作业 J, 完成 

处 理 的 时 间 。 给 定 一 个 调度 后 ， 定 义 Cm = max C; 为 该 调度 的 跨度 (makespan) 。 问 题 的 目 

标 是 找 出 一 个 调度 ， 使 其 跨度 最 小 。 

例如 ， 假设 有 两 台 机 器 M MM, WA 4 DfEE Si. Jo. Ja Jo DHA DL =2, P= 
12, pp 二 4，ps 王 5。 那么 ,一 种 可 能 的 调度 方案 就 是 在 机 器 M 上 ， 先 运行 作业 J, ZiT 
作业 Jos 在 机 器 M 上 ， 先 运行 作业 J;,， 再 运行 作业 天。 在 这 个 调度 中 ，Q 一 2，C@C 一 14， 
G 王 9，G 一 5，Cou 二 14。 一 种 最 优 调 度 方 案 是 仅 在 机 器 M 上 运行 J。 ， 并 且 在 机 器 M, 上 
BEM Ji J: 和 J。 在 这 个 调度 中 ,GC 一 2，C 王 12，QG 一 6，C 王 11，C 一 12。 

给 定 一 个 并 行 机 调度 问题 ， 用 Ci 表示 一 个 最 优 调度 的 跨度 。 

a 证 明 : 最 优 跨 度 至 少 与 最 大 处 理 时 间 一 样 大 ， 即 

Crux = max pi 

b. 证 明 : 最 优 跨 度 至 少 与 平均 的 机 器 负载 一 样 大 ， 即 

Cn >i >) p 
1<k<n 

假设 我 们 利用 以 下 贪心 算法 来 解决 并 行 机 调度 问题 : 每 当 一 台 机 器 空闲 下 来 ， 就 将 任 
何 尚未 被 调度 的 作业 调度 到 该 机 器 上 。 

e 编写 伪 代 码 来 实现 这 一 贪心 算法 。 你 给 出 的 算法 的 有 怎样 的 运行 时 间 ? 
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d 对 贪心 算法 所 返回 的 调度 ， 证 明 : 

Com Sm Dy Pa + max pa 
并 得 出 结论 : 此 算法 是 一 个 多 项 式 时 间 的 2 近似 算法 。 
(近似 最 大 生成 树 ) 设 G=(V，E) 是 一 个 无 向 图 ， 其 中 的 每 条 边 (u，v) EE 具有 不 同 的 权 
值 记 (xx，z) 。 对 每 个 顶点 vEV， 设 max(v) =arg max {wu, 2)}) 是 与 顶点 v 相 关联 的 最 大 
权 值 边 。 设 So={max(v): vEV} 表 示 与 各 个 顶点 相关 联 的 最 大 权 值 边 的 集合 ，Tc 表示 图 
G 的 最 大 权 值 生成 树 。 对 任意 的 边 集 E' C 已 ,定义 wE) = 2 Cao) r 


a 给 出 一 个 至 少 包含 4 个 顶点 的 图 ， 使 其 满足 Se= Te. 

b. 给 出 一 个 至 少 包 含 4 个 顶点 的 图 ， 使 其 满足 SCAT. 

c. WEA: 对 任意 的 图 G, Sc&Te. 

d. 证 明 : 对 任意 的 图 G，w(T6) 宇 w(Sc)/2。 

e 给 出 一 个 O(V 十 E) 时 间 算 法 ， 用 于 计算 2 近似 的 最 大 生成 树 。 

(0-1 背包 问题 的 近似 算法 ) 回顾 16. 2 节 的 背包 问题 。 有 半 件 物品 ， 其 中 第 i 个 物品 价值 

vst, wR. AL-MERSRW 磅 物品 的 背包 。 假 定 w 至 多 为 W 磅 ， 且 物品 按照 价 

格 递减 的 顺序 进行 标号 : Sulu. 

在 0-1 背包 问题 中 ， 我 们 希望 找到 一 个 物品 的 子 集 ， 使 这 个 子 集中 的 物品 在 总 重量 不 
超过 W 的 情况 下 ， 其 总 价值 最 大 。 可 分 背包 问题 和 0-1 背包 问题 类 似 , 但 是 可 分 背包 问 
题 允 许 取 每 个 物品 的 一 部 分 ， 而 0-1 背包 问题 要 求 对 一 个 物体 ， 要 么 全 取 ， 要 么 不 取 。 如 
果 取 物品 i 的 一 部 分 x:，0 二 zx 人 1， 则 背包 将 增 重 ziw;， 总 价值 增加 zw 。 我 们 的 目标 是 
找到 一 个 解决 0-1 背包 问题 的 多 项 式 时 间 的 2 近似 算法 。 

为 了 设计 一 个 多 项 式 时 间 算 法 ， 可 以 考虑 0-1 背包 问题 的 限制 实例 。 给 定 一 个 0-1 背 
包 问 题 的 实例 I， 对 7 二 1，2，3，…，n， 通 过 去 掉 物 品 1，2,，…，j 一 1， 并 要 求解 包含 
物品 7 物品 7 既 在 可 分 背包 问题 ， 又 在 0-1 背包 问题 中 )， 来 构造 限制 实例 I 。 在 实例 了 
中 ， 没 有 物品 被 移 除 。 对 于 实例 I ， 设 已 表示 0-1 背包 问题 的 最 优 解 ，Q; 表 示 可 分 背包 问 
题 的 最 优 解 。 

a. 证 明 : 0-1 缘 包 问题 中 实例 I 的 最 优 解 一 定 是 集合 {p; ，p;，…，p,}) 中 的 一 个 元 素 。 

b. 证 明 : 通过 将 物品 /了 加 入 到 背包 ， 然 后 使 用 贪心 算法 (在 该 算法 的 每 一 步 里 ， 在 集合 
{十 1，j 十 2，…，n} 中 选中 vw/w; 值 最 大 的 物品 ， 在 背包 总 重量 不 超过 W 的 前 提 下 ， 
尽 可 能 多 地 装 该 物品 ) 可 以 找到 实例 厂 对 应 可 分 背包 问题 的 一 个 最 优 解 Q;。 

c 证 明 : 通过 将 至 多 一 个 物品 的 一 部 分 装 人 背包 ， 可 以 构建 实例 1; 对 应 可 分 背包 问题 的 最 
优 解 Qi 。 也 就 是 说 ， 除 了 一 个 可 能 被 部 分 装 进 背 包 里 的 物品 外 ， 其 他 物品 要 么 全 部 被 
装 进 背包 ， 要 么 不 被 装 进 背 包 。 

d 给 定 一 个 实例 五 对 应 可 分 背包 问题 的 最 优 解 Q ， 通 过 从 Q 中 删除 任意 的 部 分 装载 的 物品 来 
构造 解 R。 设 wS) 表 示 在 一 个 解 S 中 物品 的 总 价值 。 证 明 v(R) 宇 v(Q)/2 宇 v(P;)/2。 

e 给 出 一 个 能 够 从 集合 {R; ，R; ，…，R,} 返 回 一 个 最 大 值 解 的 多 项 式 时 间 算 法 。 证 明 你 
的 算法 对 于 0-1 背包 问题 是 一 个 多 项 式 时 间 的 2 近似 算法 。 


本 章 注 记 


对 x 


有 些 解决 问题 的 方法 给 出 的 未 必 是 准确 解 ， 人 们 知道 这 些 方法 已 有 数 千年 的 时 间 了 (例如 ， 
的 值 进 行 近似 的 方法 )， 但是， 近似 算法 却 是 一 个 非常 新 的 概念 。Hochbaum[172] 认 为 ,是 
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Garey, Graham 和 Ullman[128]， 还 有 Johnson[190] 形 式 化 了 多 项 式 时 间 近 似 算 法 这 一 概念 。 通 
1138] 常 认为 ， 第 一 个 这 样 的 算法 是 由 Graham[149] 给 出 的 。 

自从 这 项 早期 工作 以 来 ， 人 们 针对 这 类 问题 ， 提 出 了 数 以 千 计 的 近似 算法 ， 这 一 领域 中 也 出 
现 了 大 量 的 文献 。Ausiello 等 人 [26]、Hochbaum[172] 和 VaziraniL345] 等 人 编写 的 教材 是 比较 新 
的 ， 它 们 专门 讨论 了 近似 算法 方面 的 问题 ，Shmoys[315]、Klein 和 YoungL207] 的 综述 也 涉及 了 
这 方面 的 内 容 。 其 他 几 本 教材 ， 如 Garey 和 Johnson[ 129], Papadimit riou 和 SteiglitzL271]， 也 
涉及 了 许多 有 关 近 似 算法 方面 的 内 容 。Lawler、Lenstra、Rinnooy Kan 和 Shmoys[L225] 都 详尽 地 
讨论 了 旅行 商 问题 的 近似 算法 。 

根据 Papadimitriou 和 Steiglitz 的 介绍 ，APPROX-VERTEX-COVER 算法 是 由 F. Gavril 和 
M. Yannakakis 提出 的 。 顶 点 覆盖 问题 得 到 了 广泛 研究 (Hochbaum[172] 列 出 了 这 一 问题 的 16 种 
不 同 的 近似 算法 )， 但 所 有 这 些 算法 的 近似 比 都 至 少 是 2 一 0(1)。 

算法 APPROX-TSP-TOUR 出 现在 Rosenkrantz, Stearns 和 Lewis 等 共同 撰写 的 论文 [298] 
里 。Christofides 改进 了 这 一 算法 ， 给 出 了 一 个 满足 三 角 不 等 式 版 本 旅行 商 问题 的 3/2 近似 算法 。 
AroraL22] 和 MirchellL257] 证 明了 如 果 各 个 点 位 于 欧 几 里 得 平面 上 ， 就 存在 一 个 多 项 式 时 间 的 近 
似 模 式 。 定 理 35. 3 源 自 于 Sahni 和 Ganzalez[ 301]。 

对 解决 集合 覆盖 问题 的 贪心 启发 式 策略 的 分 析 源 自 于 ChvatalL68j 发 表 的 证 明 中 一 个 更 为 一 
般 的 结果 ; 本章 中 给 出 的 基本 结果 源 自 于 JohnsonL190] 和 Lovasz[ 238}. 

算法 APPROX-SUBSET-SUM 及 其 分 析 大 致 源 自 于 Ibarra 和 KimL187] 给 出 的 背包 问题 及 子 
集 和 问题 的 有 关 近 似 算 法 。 

思考 题 35-7 是 一 个 由 Bienstock 和 McCloskyL45j] 提 出 的 近似 背包 问题 的 一 个 更 一 般 结果 的 组 
合 版 本 。 

MAX-3-CNF 可 满足 性 问题 的 随机 化 算法 来 自 JohnsonL190] 的 工作 。 带 权 顶 点 覆盖 算法 是 由 
Hochbaum[171j] 提 出 的 。35. 4 节 中 仅仅 是 初步 展示 了 随机 化 和 线性 规划 技术 在 设计 近似 算法 方 
面 的 强大 作用 。 这 两 种 思想 的 结合 产生 了 一 种 称 为 “随机 化 舍 入 ”(randomized rounding) 的 技术 。 
当 利 用 这 种 技术 来 解决 某 一 问题 时 ， 该 问题 首先 被 建 模 为 一 个 整数 线性 规划 。 接 着 ,求解 其 经 过 
松弛 的 线性 规划 问题 ， 所 得 到 解 中 的 各 个 变量 被 解释 为 概率 。 这 些 概率 随即 被 用 来 帮助 导出 原 
问题 的 解 。 这 一 技术 首先 由 Raghavan 和 Thompson[290] 使 用 ， 之 后 即 被 人 们 大 量 使 用 。 
(Motwani, Naor 和 Raghavan[L261 给 出 了 一 个 综述 。) 在 近似 算法 方面 ， 还 有 其 他 几 种 比较 突出 
的 新 思想 与 方法 ， 如 主 对 偶 (Cprimal dual) 方 法 (Goemans 和 Williamson[ 135] 给 出 了 有 关 这 一 技术 

1139) 的 综述 ) 、 寻 找 用 于 分 治 算法 的 稀 朴 割 集 [229]、 半 定型 程序 设计 [134] 的 使 用 等 。 

第 34 章 的 “本 章 注 记 ?中 提 到 过 ， 在 概率 可 检验 证 明 方面 的 最 新 成 果 导 出 了 许多 问题 可 近似 性 

的 下 界 ， 也 包括 本 章 中 讨论 的 几 个 问题 ， 除 了 第 34 章 中 列 出 的 参考 文献 外 ，Arora 和 Lund[23] 也 
对 概率 可 检验 证 明 与 近似 各 种 问题 的 困难 性 的 关系 做 了 很 好 的 分 析 。 
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附录 : 数学 基础 知识 





在 分 析 算 法 时 ， 我 们 常常 需要 依赖 于 许多 数学 工具 。 这 些 工 具 中 ， 有 
些 和 高 中 代数 一 样 简单 ， 而 有 些 对 读者 来 说 则 可 能 是 陌生 的 。 在 本 书 第 一 
部 分 中 ， 已 经 介绍 了 使 用 渐 近 记号 和 解决 递归 问题 的 方法 。 本 附录 是 分 析 
算法 所 需 的 若干 概念 和 方法 的 一 个 纲要 。 正 如 本 书 第 一 部 分 中 的 引言 所 提 
到 的 ， 在 阅读 本 书 之 前 ， 读 者 可 能 已 经 了 解 了 该 附录 中 大 部 分 材料 (虽然 
书 中 所 使 用 的 一 些 特 定 的 符号 表示 可 能 和 读者 在 其 他 地 方 所 见 过 的 不 一 
样 )。 因 此 ， 读 者 可 将 附录 当做 参考 资料 来 使 用 。 不 过 ， 和 书 中 其 他 部 分 
一 样 ， 为 了 令 读者 可 以 提高 这 些 方面 的 能 力 ， 附 录 部 分 仍 提供 了 一 些 练习 
题 和 思考 题 。 

附录 A 提供 了 计算 和 式 与 求 其 界 的 方法 。 这 些 方法 在 算法 分 析 中 人 常 
常会 用 到 。 虽 然 这 些 公 式 在 几乎 任意 一 本 微 积分 教材 中 都 能 找 得 到 ， 但 是 
将 它们 汇总 在 一 处 可 以 更 便于 读者 使 用 。 

附录 B 包 含 了 关于 集合 论 、 关 系 、 函 数 、 图 和 树 的 基本 定义 和 符号 ， 
同时 也 给 出 了 这 些 数 学 对 象 的 一 些 基本 性 质 。 

附录 C 首先 介绍 了 计数 的 基本 原理 : 排列 、 组 合 和 其 他 一 些 相 关内 
容 。 其 余部 分 介绍 了 概率 论 中 的 一 些 基 本 定义 与 性 质 。 本 书 中 绝 大 部 分 算 
法 在 分 析 过 程 中 并 不 要 求 概 率 知 识 ， 所 以 读者 可 以 在 初次 阅读 时 略 过 这 些 
章节 ， 其 至 无 需 泛 读 。 附 录 C 的 组 织 结构 使 它 非常 适合 作为 参考 资料 使 
用 ， 当 读者 遇 到 想 要 深入 理解 的 概率 分 析 时 ， 再 进行 阅读 即 可 。 

附录 D 定 义 了 和 矩阵、 和 矩阵 上 的 运算 和 一 些 矩 阵 的 基本 性 质 。 如 果 读 
者 学 习 过 线性 代数 课程 ， 很 可 能 已 经 见 过 此 处 大 部 分 材料 了 ， 但 是 附录 D 
对 于 查找 一 些 符号 和 定义 仍 很 有 帮助 。 
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当 _ 个 算法 包含 循环 控制 结构 时 ， 例 如 while 或 者 for 循环 ， 我 们 可 以 将 算法 的 运行 时 间 表 
示 为 每 一 次 执行 循环 体 所 花 时 间 之 和 。 例如， 在 2. 2 节 中 ， 插 入 排序 的 第 ;次 和 代 在 最 坏 情况 下 
所 花 时 间 与 7 成 正比 。 通 过 累加 每 次 迄 代 所 用 时 间 ， 可 以 获得 其 和 (或 称 级 数 ) 

S 

EAERRAE, RIMAT ANARE F O02 MA O). ATR T i 
者 为 什么 应 知晓 如 何 求 和 及 其 界 。 

A. 1 节 列 出 了 求 和 的 几 个 基本 公式 ， 但 没有 提供 证 明 。A. 2 节 提供 了 几 个 用 于 求 和 式 界 的 实 
用 技巧 。 同 时 为 便于 阐释 算法 ，A. 2 节 给 出 了 A 1 节 中 部 分 公式 的 证 明 。 读 者 可 以 很 容易 在 任 
何 一 本 微 积分 教材 中 找到 其 他 大 部 分 公式 的 证 明 。 


A. 1 求 和 公式 及 其 性 质 
给 定 一 个 数列 ays ，as，…，a,， 其 中 是 非 负 整 数 ， 可 以 将 有 限 和 a 十 cx 十 … 十 au 写作 
若 "一 0， 则 定义 该 和 式 的 值 为 0。 有限 级 数 的 值 总 是 良 定 的 ， 并 且 可 以 按 任意 顺序 对 级 数 中 的 项 


求 和 。 
给 定 一 个 无 限 数列 a; ar, ，…， 可 以 将 其 无 限 和 a, +a, 十 … 写 作 





即 


当 其 极限 不 存在 时 ， 该 级 数 发 散 ; 反之 ， 该 级 数 收敛 。 对 于 收敛 级 数 ， 不 能 随意 对 其 项 改变 求 和 
顺序 。 而 对 于 绝对 收敛 级 数 ( 若 对 于 级 数 Za ， 有 级 数 > |a | 也 收敛 ， 则 称 其 为 绝对 收敛 级 


数 )， 则 可 以 改变 其 项 的 求 和 顺序 。 
线性 性 质 
对 于 任意 实数 c 和 任意 有 限 序 列 ai ， azs ***s An 和 bp，p，…，p， A 


Hey +b) = S a + Db, 
线性 性 质 对 于 无 限 收 敛 级 数 同样 适用 。 
线性 性 质 可 以 用 来 对 项 中 包含 渐 近 记号 的 和 式 求 和 。 例 如 ， 
DR) = e( > fw) 


FAP, AUK 9 符号 作用 于 变量 &， 而 右边 的 @ 则 作用 于 mn。 这 种 处 理 方法 同样 适用 于 无 限 收 
RBS 

等 差 级 数 

和 式 
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oe eee 


k=) 


是 一 个 等 差 级 数 ， 其 值 为 


Dk= Sant (A.1) 
k=l 
= Q(x") (A. 2) 
平方 和 与 立方 和 
平方 和 与 立方 和 的 求 和 公式 如 下 : 
dea Baath (A. 3) 
k=0 
ye= min ED (A. 4) 
几何 级 数 


Sad 二 1 十 Zz 十 二 十 … 十 x" 


k=0 


是 一 个 几何 级 数 ( 或 称 指数 级 数 )， 其 值 为 





Dr =Z (A. 5) 
当 和 是 无 限 的 且 |z| 王 1 时 ， 有 无 限 递减 几何 级 数 
Se = = (A. 6) 


调和 级 数 
对 于 正 整 数 z， 第 ”个 调和 数 是 
H, 一 1 十 于 十 二 十 十 十 … 十 二 一 + 
CA. 2 节 将 给 出 一 个 相关 界 的 证 明 。) 
级 数 积分 与 微分 
通过 对 上 面 的 公式 进行 积分 或 微分 ， 可 以 得 到 其 他 新 的 公式 。 例 如 ， 通 过 对 无 限 递减 几何 级 
数 (A. 6) 两 边 微分 并 乘 以 zx， 可 以 得 到 


= Inn+O(1) (A. 7) 


De 过 (A. 8) 
其 中 ， lz|<1. 
裂 项 级 数 
对 于 任意 序列 ao ， Qis °°° Ans A 
yor 1) =a, 一 Co (A. 9) 


因为 a ，as，…，a, 1 中 的 每 一 项 被 加 和 被 减 均 刚好 一 次 。 称 其 和 裂 项 相 消 (telescopes)。 类 
似 地 ， 


Sa, — Qin) = 2 —a, 
下 面 是 一 个 裂 项 和 的 例子 ， 考 虑 级 数 
n—l 1 
2 k(k 十 1) 


因为 可 以 将 每 一 项 改写 成 
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2 milne 
klk 十 1) k k+l 
所 以 可 得 
n—l 1 “3 n— 1 =. ie = ae 
2 REED DG; za a ae 
乘积 
有 限 积 a, @2°°"a,, 可 以 写作 
JJa 
当 n=0 时 ， 定 义 积 的 值 为 1。 我 们 可 以 用 如 下 恒等式 将 一 个 含有 求 积 项 的 公式 转化 成 一 个 含 求 
和 项 的 公式 
1148 lg( ] a) a >) lea 
练习 
A.1-1 R (2 一 1) 的 简化 形式 。 
*A. 1-2 利用 调和 级 数 证 明 : 511/02- 1) = Inn) +00). 
A. 1-3 证 明 : Sea 二 x(1 十 Xx)/(1 一 xz)’; 在 |zx| 二 1 条 件 下 成 立 。 
*A.14 证 明 D1 (k—1)/2 二 0。 
*A.1-5 对 于 |z|<1， 计 算 SI (2k +12" 的 值 。 
A. 1-6 用 和 的 线性 性 质证 明 : MOA) = o( yf) 。 
A.1-7 计算 乘积 Iz 4, 
*A. 1-8 计算 乘积 TT 


A.2 确定 求 和 时 间 的 界 


有 许多 技巧 可 以 用 来 计算 描述 算法 运行 时 间 的 和 的 界 。 下 面 介绍 其 中 几 个 最 常用 的 方法 。 
数学 归纳 法 


数学 归纳 法 是 求 级 数值 的 最 基本 方法 。 以 证 明 等 差 级 数 >k IF Gr) BL. n= 


1149] 很 容易 验证 该 等 式 是 成 立 的 。 给 出 归纳 假设 : 该 等 式 对 nn 成立。 此 时 ， 仅 需 证 明 其 对 于 nn 十 1 也 成 
立 。 我 们 有 


ntl 


Sik = REGED = Annt D+ at) 一 去 (n 十 DCn 十 2) 
k=l k=l 


通常 我 们 不 需要 为 了 使 用 数学 归纳 法 而 去 猜测 和 的 准确 值 ， 而 可 以 利用 归纳 法 去 证 明和 的 


界 。 以 证 明 几 何 级 数 De 的 界 是 D(3") 为 例 。 更 确切 地 说 ,证 明 对 于 某 个 常数 c<,，2) 3'<c3" 成 


k=0 
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立 。 对 于 初始 条 件 n= 二 0， 只 要 c>, BA 》13: = 1 去 c。 1 成立。 假定 该 界 对 于 成立， 则 需 证 


k=0 


其 对 于 n 十 1 thee. REA/3+1/9<1, 或 者 等 价 地 ，c 宇 3/2 成 立 ， 就 有 
DE S13 + 374 
<3" +3") (根据 归纳 假设 ) 
1 1 nH 
一 (> 十 二)e3 
< c3™! 


因此 ， 我 们 所 想 要 证 明 的 D = OC3") 成 立 。 
在 用 渐 近 记号 通过 归纳 法 证 明 界 的 时 候 应 多 加 小 心 。 考 虑 下 面 这 个 错误 证 明 >\ = OGD 的 
例子 。 当 然 ，>\& = OC) 。 假 定 该 界 对 于 成立 ， 我 们 需 证 明 其 对 于 n+ 1 CRX: 


ntl n 
Dk= Mkt td) = O(n) 十 (n 十 1) = Oln 十 1) < 错误 


证 明 错 在 被 大 0” 记 号 隐藏 的 “常数 "是 随 着 的 增长 而 增长 的 ， 不 是 恒定 不 变 的 。 此 处 ,没有 证 
明 存 在 一 个 常数 对 于 所 有 n 均 适用 。 


确定 级 数 中 各 项 的 界 
有 时 ， 通 过 求 得 级 数 中 每 一 项 的 界 ， 我 们 可 以 获得 该 级 数 的 一 个 理想 的 上 界 。 并 且 ， 通 常用 级 数 
中 最 大 的 项 的 界 作为 其 他 项 的 界 就 足够 了 。 例 如 ， 等 差 级 数 (A. 1) 的 一 个 可 快速 获得 的 上 界 是 


Sie Ste = 
通常 ， 对 于 级 数 >)a ， 如 果 令 nee —=maxars MA 


Su SN * Anax 
当 一 个 级 数 能 以 几何 级 数 为 界 时 ， 用 级 数 中 最 大 的 项 作为 其 中 每 一 项 的 界 的 方法 并 不 理想 。 
给 定 级 数 py a:， 假 定 对 于 所 有 k20, A ari/a Sr, HH 0 生生 1 是 常数 。 因 为 a<ar, R 
们 可 以 用 无 限 递减 几何 级 数 作为 和 的 界 ， 所 以 有 


ya < Dor'= mr as = 


这 种 方法 可 用 于 求 (wa 的 界 为 了 从 R=0 开始 求 和 ， 将 式 子 改写 作 Da+D/3"), 


第 一 项 (ao) 是 1/3, 并 且 相 邻 项 之 间 的 比值 (~) 是 


(RE 十 2)/3tz _ 1 
+1/3" ~ 3 


k+2 .2 
"Wt 
其 中 ， 所 有 ko. Aka 
Sk k+l 1 让 
多 
在 应 用 该 方法 时 ， 常 常 出 现 一 个 错误 : 在 证 明 相 邻 项 之 间 比 值 小 于 1 后 ， 即 假定 该 和 的 界 是 
几何 级 数 。 以 无 限 调和 级 数 为 例 ， 该 级 数 发 散 ， 这 是 因为 


二 = im》 4 + = lim@C Ign) = co 
k=1 


neo k=1 
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虽然 级 数 中 第 & 十 1 项 与 第 项 的 比值 是 &/(k 十 1) 二 1, 但 是 该 级 数 并 非 以 递减 几何 级 数 为 
界 。 要 想 用 几何 级 数 来 作为 一 个 级 数 的 界 ， 必 须要 保证 存在 常数 二 1， 使 任何 相 邻 项 的 比值 均 
不 超过 r+。 在 调和 级 数 中 ， 因 为 比值 可 以 任意 地 接近 1， 所 以 不 存在 这 样 的 ~。 

分 割 求 和 

分 割 求 和 是 求 取 复 杂 和 式 界 的 好 方法 。 其 方法 是 ， 首 先 将 一 个 级 数 按 下 标 范围 划分 后 表示 


为 两 个 或 多 个 级 数 的 和 ， 然 后 对 每 一 个 划分 出 的 级 数 分 别 求 界 。 以 求 等 差 级 数 > 的 下 界 为 


例 ， 我 们 已 知 它 有 上 界 下 。 用 其 最 小 项 来 作为 和 式 中 的 每 一 项 的 界 看 似 可 行 ， 但 是 因为 其 最 小 
项 是 1， 我们 得 到 的 该 和 式 的 下 界 是 一 一 离 上 界 ww 相差 甚 远 。 
我 们 可 以 首先 分 割 和 式 来 进一步 获得 一 个 更 好 的 下 界 。 为 简便 起 见 ， 不 妨 设 4 是 偶数 ， 则 有 


Sue Set SS Sot D (n/2) = (n/2)? = AG) 
因为 we = OG?) ， 所 以 该 界 是 渐 近 紧 确 界 。 
对 于 源 自 算法 分 析 中 的 和 式 ， 通 常 可 以 将 和 式 分 割 ， 并 忽略 其 常数 个 起 始 项 。 一 般 情况 下 ， 
该 技巧 适用 于 和 式 了》 a, 中 每 一 项 a 均 独 立 于 的 情况 。 之 后 ， 对 于 任意 常数 如 0， 有 

n kl n n 

Sa= Yat Ya = e+ da 

k=0 k=0 Fey h=h, 
这 是 因为 和 式 有 若干 个 常数 起 始 项 ， 上 其 数目 也 是 常数 。 接 着 ， 我 们 可 以 利用 其 他 方法 来 求 
Da 的 界 。 这 一 技巧 同样 适用 于 无 限 和 。 例 如 ， 和 欲求 
i= 


的 一 个 渐 近 上 界 ， 在 RSS 时 ， 观 察 其 相 邻 项 比值 为 
(k+1)?/2") R+ — 8 
Rk? /2* 2R TO 
又 因为 第 一 个 和 式 的 项 数目 是 常数 ， 且 第 二 个 和 式 是 一 个 递减 几何 级 数 ， 所 以 可 以 将 和 式 分 割 为 
站 和 一 + 和 D+ (8) -00) 
分 割 求 和 法 可 以 帮助 我 们 确定 更 难 的 和 式 的 渐 近 界 。 例 如 ， 我 们 可 以 确定 调和 级 数 (A.7) 上 
的 一 个 界 OC Ign): 





H, =>) + 
1153 我 们 将 下 标 范围 从 1 到 分 割 成 [lgnj 十 1 段 ， 并 令 每 一 段 上 界 为 1。 对 于 i 二 0，1,，…，|lgnj， 
第 i 段 包含 自 1/2’ 起 到 1/2 (不 包含 1/2"') 的 项 。 最 后 一 段 可 能 包含 原 调和 级 数 中 没有 的 项 ， 
因此 有 
| Lien} 2 一 1 1 Lien) 2 一 1 1 
Ue SLUGS UY lentl (A. 10) 


通过 积分 求 和 的 近似 
当 一 个 和 式 的 形式 为 XFO 时 ， 其 中 7) 是 单调 递增 函数 ， 我 们 可 以 用 积分 求 其 近似 值 ; 


f fds Dew < |" fw (A. 11) 
图 A-1 直观 地 表示 出 这 一 近似 方法 的 理由 及 含义 。 图 中 将 和 式 表示 为 若干 长 方形 区 域 的 面积 ， 
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而 积分 是 曲线 下 方 的 阴影 区 域 。 当 f(k) 是 单调 递减 函数 时 ,我们 可 以 用 相似 的 方法 来 求 渐 
近 界 
[l fods Dw <[" fode (A. 12) 
fx) 





m-l m mt+l mR wee wie, ne “nal n n+l 


(b) 


AL 积分 方法 求 DSO 的 近似 值 。 图 中 每 个 短 形 内 标明 了 该 生 形 的 面积 ， 且 逢 形 总 面积 代表 和 
的 值 。 曲 线 下 方 的 阴影 区 域 代表 积分 近似 值 。 通 过 比较 (a) 中 的 这 两 个 面积 , 可 得 |” fode 
< /0 ， 并 且 在 将 这 些 长 方形 向 右 移动 一 个 单位 后 ， 由 (b) 得 Dw < fad 


积分 近似 公式 (A. 12) 给 出 了 第 nn 个 调和 数 的 一 个 紧 估 计 。 对 于 下 界 ， 可 得 
3 到 > 三 至 =mo+D (A. 13) 
对 于 上 界 ， 有 不 等 式 
六 于 < Paine 


由 此 得 到 其 界 
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Yt <inn+1 (A. 14) 
练习 
A.2-1 证 明 : D 1/e 有 常数 上 界 。 
A.2-2 求 下 面 和 式 的 一 个 渐 近 上 界 : 
Ligna) 
2 [n/2*] 


A. 2-3 ”通过 分 割 求 和 的 方式 证 明 第 个 调和 数 是 OClg nd. 
A. 2-4 ”用 积分 方法 求 ye 的 近似 值 。 


A.2-5 “为 什么 我 们 不 在 X) 1 人 上 使 用 积分 近似 (公式 A. 12) 来 获得 第 ”个 调和 数 的 上 界 ? 


思考 题 
A-1 (确定 和 的 界 ) 请 给 出 下 面 和 式 的 渐 近 紧 确 界 。 假 设 "之 0 与 s> 均 为 常数 。 


a. Sr 
k=l 

b. > ) lek 
k=1 


c. Sglgk 
k=1 
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附录 注 记 
Knuth[ 209 ] 为 本 章 中 的 材料 提供 了 很 好 的 参考 。 读 者 可 以 在 任何 一 本 不 错 的 微 积 分 书籍 中 
找到 级 数 的 基本 性 质 ， 例 如 ApostolL18] 或 者 Thomas 等 人 [334]。 


| 附录 B 


Introduction to Algorithms, Third Edition 


集合 等 离散 数学 内 容 


本 书 许多 章节 中 的 内 容 都 涉及 了 离散 数学 相关 内 容 。 该 部 分 附录 更 加 全 面 地 回顾 了 集合 、 
关系 、 函 数 、 图 和 树 的 一 些 符 号 、 定 义 及 基本 性 质 。 如 果 读 者 已 经 对 这 些 内 容 十 分 熟悉 ， 那 么 可 
以 粗略 阅读 这 一 部 分 内 容 。 


B.1 集合 


集合 是 由 不 同 对 象 聚集 而 成 的 一 个 整体 ， 称 其 中 的 对 象 为 成 员 或 元 素 。 如 果 一 个 对 象 工 是 
集合 S 的 一 个 成 员 ， 则 写作 zE S( 读 作 “z 是 S 的 成 员 ”， 或 更 简单 地 ,“z 在 S 内 ”)。 如 果 工 不 是 
S 的 中 的 成 员 ， 则 写作 z 从 S。 我 们 可 以 显 式 地 在 括号 内 列 出 一 个 集合 的 所 有 元 素来 描述 该 集合 。 
例如 ， 可 以 用 S$={1，2，3} 表 示 一 个 只 包含 数字 1、2 和 3 的 集合 。 因 为 2 是 集合 S 的 一 个 成 
员 ， 所 以 可 写 为 2E S。 因 为 4 不 是 S 的 一 个 成 员 ， 所 以 写 为 4 多 S。 集 合 中 不 能 包含 多 个 相同 的 
元 素 ? ， 并 且 元 素 之 间 是 无 序 的 。 当 两 个 集合 A 和 B 包含 相同 的 元 素 时 ， 称 集合 A 与 B 是 相等 
的 ， 写作 A=B。 例如 {1，2, 3, 1}={1, 2, 3}={3, 2, 1}. 

我 们 采用 特殊 的 符号 来 表示 下 面 几 个 常见 的 集合 : 

。 名 表示 空 集合 ， 即 集合 中 不 包含 任何 元 素 。 

。 也 表示 整数 集合 ， 即 集合 {…， 一 2， 一 1，0，1，2，…)} 。 

。 R 表示 实数 集合 。 

。 N 表示 自然 数 集 合 ， 即 集合 {0，1，2，…)} 。 

如 果 集 合 B 中 包含 集合 A 中 所 有 元 素 ， 即 ， 如 果 A 蕴涵 B， 则 称 A 是 B 的 一 个 子 集 ， 写 作 
ASB., WR ASB HA#B, WEKRE A 是 B 的 一 个 真子 集 ， 写 作 ASB。( 有 些 作者 使 用 “CC” 
符号 来 表示 普通 的 子 集 关系 ， 而 不 是 真子 集 关 系 。) 对 于 任意 集合 4A， 有 ASA。 对 于 两 个 集合 人 
MB, A=B HA4 ASB 且 BSA。 对 于 三 个 集合 4A、B 和 C， 如 果 ASEB 且 BESEC， 则 有 
ACC。 对 于 任意 集合 A， 有 BSA。 

有 了 时， 我 们 用 一 些 集合 去 定义 其 他 一 些 集合 。 给 定 一 个 集合 A， 可 以 定义 集合 BCA， 并 通 
过 说 明 B 中 元 素 的 特性 将 其 元 素 区 分 开 来 。 例 如 ， 我 们 定义 偶数 集合 为 {z: zEZ 且 z/2 WH 
数 }。 这 种 表示 方式 中 的 冒号 读 作 “ 满 足 。”( 一 些 作者 使 用 竖 线 而 不 是 冒号 .) 

给 定 两 个 集合 A 和 B， 我 们 也 可 以 应 用 集合 操作 来 定义 新 集合 : 

。 集合 A 和 B 的 交 是 集合 

Af) B={2z:x€ A Ha € B} 

。 集合 A 和 B 的 并 是 集合 

4UB=(z:zEA 或 ZEB) 

。 集合 A 和 B 的 差 是 集合 

A—B=({z:r€ AHz éB 





集合 操作 遵循 下 列 法 则 : 
SRB: 
AN D=0 


加 ”可 以 包含 多 个 相同 元 素 的 集合 变 体 称 为 多 重 集 。 
日 一 些 作者 将 自然 数 集 定义 为 从 1 开始 而 不 是 0。 现 代 的 趋势 一 般 是 从 0 开始 。 
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AUSG=A 
BSE: 
ANASA 
AUA=A 
交换 律 : 
Af B=Bf\A 
AUB=BUA 
结合 律 : 
AN(BNO=ANBDNC 
AU(BUQO=CAUBUC 
SRE: 
AN (BUQO=ANBUANO 
AUC(BNO=AUBNAUO (B. 1) 
吸收 律 ; 
Af) (AUB) = 
AUCANBD=A 
德 . 摩根 定律 : 


A— (BNO = (A—B)U (CA 一 C) 
A—(BUCO= (A—B)N (CA 一 C) (B. 2) 
图 Bl 用 维 恩 图 描述 了 德 。 摩根 定律 中 的 第 一 条 定律 。 维 恩 图 是 一 种 利用 平面 内 区 域 表 示 集 
合 的 图 。 


€G06-6 


(BNC) - A-(BNC) = (A-B) (A-C) 
E B-1 描绘 德 ， 摩根 定 律 中 第 一 条 的 维 恩 图 。 集 合 A、B 和 C 各 自 表 示 为 一 个 圆圈 


通常 ， 我 们 考虑 的 所 有 集合 都 是 某 个 更 大 集合 U 的 子 集 ， 称 集合 U 为 全 集 。 例 如 ， 当 考虑 
多 个 仅 由 整数 组 成 的 集合 时 ， 整 数 集 乙 就 是 一 个 合适 的 全 集 。 给 定 一 个 全 集 U， 定 义 集合 A 的 
thy A=U—A={x: zxEU 且 z&A}。 对 于 任意 集合 ASEU， 有 如 下 法 则 ， 
A=A 
AN A= 
AUA=U 


我 们 可 以 将 德 。 摩 根 定律 (公式 (B. 2)) 用 集合 补 的 形式 表示 。 对 于 任意 两 个 集合 B，CSEU， 有 





Bf|}C=BUC 
BUC=BNC 
如 果 两 个 集合 间 不 存在 共有 元 素 ， 即 AN B= SO, WERE A 与 集合 B 是 不 相交 的 。 
如 果 集 合 满足 
。 这 些 子 集 互 不 相交 ， 即 S;,，SiE5S 与 iA] MMSNS =O. 
。 它们 的 并 为 S， 即 
Ss=Us. 


SEs 
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则 称 集合 S 的 非 空 子 集 构成 的 集合 8 二 {5S;} 构 成 S 的 一 个 划分 。 换 句 话 说 ， 如 果 多 中 的 每 个 
元 素 出 现 且 仅 出 现在 一 个 SESH, MWSHRT S 的 一 个 划分 。 
集合 中 的 元 素数 目 称 为 集合 的 基数 (或 大 小 )， 表 示 为 |S| 。 如 果 两 个 集合 内 的 元 素 可 以 一 一 
对 应 ， 则 称 这 两 个 集合 基数 相同 。 空 集 的 基数 是 | 名 | = 二 0。 如 果 一 个 集合 的 基数 是 自然 数 ， 则 称 
这 个 集合 是 有 限 的 ; 否则 ， 是 无 限 的 。 若 一 个 无 限 集合 可 以 与 自然 数 集合 N 构成 一 一 对 应 ， 则 
该 集合 是 可 数 无 限 的 ; 否则 是 不 可 数 的 。 例 如 ， 整 数 集 Z 是 可 数 的， 而 实数 集 R 是 不 可 数 的 。 
对 于 两 个 有 限 集 合 A 和 B， 有 等 式 
|AU B| = |Al+|Bl —|AN Bl (B. 3) 
从 中 可 以 得 出 
IAUB| <|/AI+|Bl 
WRES A 与 B 是 不 相交 的 ,， WIANBI=0, FU|AUB|=|Al+/Bl. MR ACB, 
WI A|<| Bl. 
一 个 包含 n 个 元 素 的 有 限 集 称 为 n 集合 。 称 1 集合 为 单元 集 。 如 果 一 个 集合 的 子 集 包 含 & 个 
TR, MEHA k FR. 
集合 S 的 所 有 子 集 构 成 的 集合 (包含 空 集 和 集合 S 自身 ) 可 以 表示 为 23; 称 2 ASHURE. 
BM, 2° =Ø, {a}, {b}, (a, b}}. ARR S 的 短 集 的 基数 是 215| ( 见 练习 B. 1-5), 
我 们 有 时 关心 内 部 元 素 有 序 的 类 集合 状 结构 。 两 个 元 素 lb 构成 的 有 序 对 可 以 表示 为 
(a，5)， 其 正式 定义 为 (a, b)={a, (a, b}}. PU, AFX (a, bD SAIF CO, a ERIN. 
RE AGB 的 笛 卡 儿 积 ， 表 示 为 AXB， 是 第 一 个 元 素 为 A 中 成 员 ， 第 二 个 元 素 为 B 中 成 
员 的 所 有 有 序 对 的 集合 。 更 为 正式 的 定义 是 
AX B= {(a,6):a € A Hb € B} 
例如 ，{a, b}X{a, b, c}={ Ca, a), (a, b), Ca, c), (b, a), (b, b), (b, 2}. MAMBE 
有 限 集 合 时 ， 其 笛 卡 儿 积 的 基数 是 
|AXB| = |A| + |B| (B. 4) 
n 个 集合 Al， Az, i 1 A, 的 笛 卡 儿 积 是 一 组 n 元 组 的 集合 : 
Aı X Az X = X A, = {(a,a,°" sa) :a E Ai 一 1,27) 
当 所 有 集合 都 是 有 限 集 时 ， 其 基数 为 
|A XA: X XA,| = |A | .|A,|…|A.,| 
我 们 将 单一 集合 A EHn EEELERKRRAREA 
A =AXAX XA 
当 A 为 有 限 集 时 ， 其 基数 为 | A | 二 1A1"。 我 们 也 可 以 将 一 个 n 元 组 看 做 一 个 长 度 为 n 的 有 限 序 
列 ( 见 B. 3 节 )。 


练习 
B. 1-1 用 维 恩 图 来 描述 分 配 律 中 第 一 条 定律 (B. 1)。 
B. 1-2 证 明 推 广 到 任意 有 限 数 目 集合 的 广义 德 。 摩根 定律 : 
A; NA f(A,=AUA,U- UA, 
AUAU UA =A NAN NA 
*B. 1-3 证明 等 式 (B. 3) 的 推广 ， 即 容 斥 原理 : 
|A U A: Us U A,| =|A |+ 14:| 十 … 十 14,| 
—|ANMA,|—|AN As] —-= (所 有 对 ) 
+ |A, NA NA | 十 … (所 有 三 元 组 ) 
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+6 DJA NA N N A,l 


B.1-4 证 明 : 奇 自然 数 集合 是 可 数 的 。 
B. 1-5 JEH: 对 于 任意 有 限 集 S, HERES 2° 有 215! 个 元 素 ( 即 S 存在 21s| 个 不 同 的 子 集 ) 。 
B.1-6 ”请 通过 扩展 有 序 对 的 集合 论 定义 来 给 出 元 组 的 一 个 归纳 定义 。 


B.2 关系 


集合 A 与 B 上 的 二 元 关系 R 是 笛 卡 儿 积 AXB 的 子 集 。(a，6b) ER 有 时 写作 a Rb., WR i 
集合 A 上 的 一 个 二 元 关系 ， 意 味 着 RR 是 A XA 的 子 集 。 例如， 自然 数 集合 上 的 小 于 关系 是 集合 
{(a, b): a, bEN H a<b}. 集合 A, Az, st, A, 上 的 nn 元 关系 是 A XA, X XA, 的 一 个 
子 集 。 

如 果 对 于 所 有 a€E A，a R a， 则 二 元 关系 RCAXA 是 自 反 的 。 例 如 ,“ 王 ”和 “过 ”在 自然 数 
集 N 上 是 自 反 的 ， 但 是 “一 ” 则 不 是 。 若 对 于 所 有 a, DEA HWM Ea Rb 蕴涵 5R a， 则 关系 尺 是 
对 称 的。 例如 ,，“==” 是 对 称 的， 但 是“<” 和 “二” 则 不 是 。 若 对 于 所 有 a, b, cCA 均 满足 ，a Rb 
且 6b Re 蕴涵 a Rc， 则 关系 尺 是 可 传递 的 。 例 如 ， 关 系 “ 二 ”,“ 亿 ”和 “= 二” 均 可 传递 。 因 为 3R4 
且 4 RR 5 不 能 蕴涵 3R5， 所 以 关系 R= 二 {(a, b): a,，6bEN 且 a==b 一 1) 不 可 传递 。 

同时 具有 自 反 性 、 对 称 性 和 传递 性 的 关系 是 等 价 关系 。 例 如 , “二 ”是 自然 数 上 的 等 价 关 系 ， 
而 “二” 则 不 是 。 如 果 R 是 集合 A 上 的 等 价 关 系 ， 那 么 对 于 a€ A，a 的 等 价 类 是 集合 La] 二 {bE 
A: aRb)}， 即 所 有 等 价 于 a 的 元 素 的 集合 。 例 如 ， 关 系 R={(a，6b): a，bEN H atb 是 偶数 } 
是 一 个 等 价 关 系 ， 这 是 因为 a 十 a 是 偶数 ( 自 反 性 ) 与 atb 是 偶数 蕴涵 4b 十 a 是 偶数 (对 称 性 )， 且 
a 十 b 是 偶数 与 5 十 c FEB AR a +c 是 偶数 (传递 性 ) 。4 的 等 价 类 是 [4] 二 {0，2，4，6，…)}， 而 
3 的 等 价 类 是 [3] 二 {1，3，5，7，…}。 等 价 类 的 一 个 基本 定理 如 下 。 

定理 B. 1( 等 价 关 系 与 划分 对 应 ) 集合 A 上 的 任意 等 价 关 系 RR 的 等 价 类 构成 了 集合 A 的 一 
个 划分 ， 同 时 任意 集合 A 的 一 个 划分 决定 了 A 上 的 一 个 等 价 关 系 ， 而 划分 中 的 集合 即 为 等 价 类 。 

证 明 ”对 于 证 明 的 第 一 部 分 ， 我 们 必须 要 证 明 R 的 等 价 类 是 非 空 的 、 互 不 相交 的 集合 ，] 
且 其 并 集 为 A。 因 为 尺 是 自 反 的 ，a€E [a]， 所 以 等 价 类 是 非 空 的 ; 不 仅 如 此 ， 因 为 每 个 元 素 a€ 
和 A 分 别 属于 等 价 类 [a]， 其 集合 并 为 A。 现 在 仍 需 证 明 等 价 类 之 间 互 不 相交 ， 即 车 等 价 类 [aj 和 
[5] 之 间 存 在 共有 元 素 <， 则 其 实际 上 是 同一 集合 。 假 定 aRc 且 5 Rc。 由 对 称 性 可 知 ，cR65。 进 
一 步 由 传递 性 可 得 a R 5。 对 于 任意 xE[La]， 有 xRa。 由 传递 性 可 得 xR5， 因 此 有 [ajS[6j]。 
同 理 可 证 [6]CLa]， 因 而 [a]=[6j。 

对 于 证 明 第 二 部 分 ， 令 六 二 {A;} 是 集合 A 的 一 个 划分 ， 并 定义 R=((a, b): 存在 i 满足 a€ A 
且 5EA;}。 我们 断言 R 是 集合 A 上 的 一 个 等 价 关 系 。 因 为 a€ A; 蕴涵 a R a， 自 反 性 成 立 。 当 
aRb 时 ， 有 a 和 6 在 同一 集合 A; 内， 所 以 有 65Ra， 由 此 ， 对 称 性 成 立 。 如 果 aR65 且 5Rc， 则 三 
个 元 素 在 同一 个 集合 A; 内 ， 因 此 有 aRc， 传递 性 成 立 。 为 了 直观 地 了 解 划 分 中 的 集合 是 尺 中 的 等 
价 类 ， 观察 下 面 这 个 事实 : 如 果 aCA, W zxE[Laj 蕴 涵 xE A,, FHA zxEA, 蕴涵 xzE [aj。 

GRE A 上 的 一 个 二 元 关系 满足 

aRD 且 Ra 蕴涵 ww = 二 6 
则 该 二 元 关系 是 反对 称 的 。 

例如 ， 因 为 a<b H ba 蕴涵 “一 2， 所 以 自然 数 上 的 “和 ”关系 是 反对 称 的 。 满 足 自 反 性 、 反 
对 称 性 和 传递 性 的 关系 是 一 个 偏 序 ， 并 且 ， 我 们 称 定义 了 偏 序 的 集合 为 偏 序 集 。 例 如 ,“ 后 代 ? 关 
系 是 一 个 定义 在 所 有 人 构成 的 集合 上 的 偏 序 关 系 ( 如 果 将 每 个 人 看 做 其 自身 的 后 代 ) 。 
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在 偏 序 关系 集合 A 中 ， 可 能 不 存在 单一 “最 大 ”元 素 4a， 满足 对 于 所 有 bE A， 有 bRa。 相 反 ， 
集合 可 能 含有 多 个 极 大 元 素 a， 满 足 不 存在 bE A 且 65 隆 a， 使 得 a R5。 以 一 些 大 小 不 同 的 盒子 为 
例 ， 在 这 些 盒子 中 可 能 存在 多 个 极 大 的 盒子 ， 其 中 ,“ 极 大 ”的 意思 是 无 法 被 别 的 盒子 装 下 ， 然 而 
这 些 盒子 中 可 能 不 存在 一 个 能 装 下 其 他 任何 盒子 的 “最 大 ”盒子 。 

称 集合 A 上 的 关系 RR 是 一 个 全 关系 ， 需 满足 对 于 所 有 a, DCA, HaRb RHbRaARAB 
HAA), BRA A 中 每 对 元 素 都 由 R 定义 了 其 关系 。 如 果 一 个 偏 序 关系 同时 也 是 一 个 全 关系 ， 
则 称 之 为 全 序 或 者 线性 序 。 例 如 ,， “二 ”关系 是 自然 数 集 上 的 一 个 全 序 关 系 ， 但是“ 后代” 关系 则 不 
是 所 有 人 所 构成 集合 上 的 全 序 关 系 ， 因 为 存在 两 个 人 互相 均 不 为 对 方 后 代 的 情况 。 如 果 一 个 全 
关系 具有 传递 性 ， 则 称 之 为 全 预 序 (total preorder) 。 全 预 序 不 要 求 具备 自 反 性 和 非 对 称 性 。 


B.2-1 证 明 : 集合 乙 的 所 有 子 集 上 的 子 集 关 系 “S ?是 偏 序 关系 ， 但 不 是 全 序 关系 。 

B.2-2 WH: 对 于 任意 正 整数 nxn， 关系 “ 模 n 等 价 ” 是 整数 集 上 的 等 价 关 系 。( 如 果 存 在 一 个 整数 
q， 使 得 a 一 5 二 qn， 则 有 a=b(mod n) 。) 这 个 关系 将 整数 划分 为 哪些 等 价 类 ? 

B.2-3 给 出 符合 如 下 条 件 的 关系 的 例子 : 
a. 具有 自 反 性 和 对 称 性 ， 但 不 具有 传递 性 。 
b. 具有 自 反 性 和 传递 性 ， 但 不 具有 对 称 性 。 
c 具有 对 称 性 和 传递 性 ， 但 不 具有 自 反 性 。 

B.2-4 设 S 是 一 个 有 限 集 ，R 是 SXS 上 的 一 个 等 价 关 系 。 证 明 : WR R 同时 有 反对 称 性 ， 则 
S 关 于 R 划分 出 的 等 价 类 是 单元 集 。 

B.2-5 Narcissus 教授 声称 : 如 果 关 系 R 具 有 对 称 性 和 传递 性 ， 则 其 也 具有 自 反 性 。 他 给 出 了 如 
下 证 明 : 由 对 称 性 ，a Rb 蕴涵 5b Ra， 因此， 由 传递 性 可 得 a R a， 自 反 性 得 证 。 请 问 
Narcissus 教授 的 证 明正 确 吗 ? 


B.3 函数 


给 定 两 个 集合 A 和 B， 称 函数 f 是 A 和 B 上 的 二 元 关系 ， 需 满足 对 于 所 有 CA, HAMA 
—+ bE B fila, DES. KH, MRAAAS MEM, 集合 B 为 f 的 陪 域 。 有 时 可 以 将 函数 
GAH f: A>B; MR HES, WAX b Mf a 的 选择 唯一 确定 ， 所 以 可 以 写 为 6=f(a)。 

从 直观 上 看 ， 函 数 f 将 为 A 中 的 每 个 元 素 指派 B 中 的 一 个 元 素 。A 中 不 存在 某 个 元 素 被 指派 
T B 中 两 个 不 同 元 素 , 但 是 B 中 同一 个 元 素 是 可 以 指派 给 多 个 A 中 的 元 素 的 。 例 如 ， 二 元 关系 

f= ((a,b):a,b E N E b= a mod 2} 
是 函数 f: N 一 {0，1}， 因 为 对 于 每 个 自然 数 a， 有 且 仅 有 一 个 值 5€ {0, 1)W b=amod2. t 
Mm, O=f(0), 1 三 f(1)，0 三 f(2) 等 。 与 此 相反 ， 二 元 关系 

g={(a,bd):a,b€C NH atb kB) 
不 是 函数 。 这 是 因为 (1，3) 和 (1，5) 均 在 g 中 ， 因 此 对 于 a 二 1， 存 在 不 止 一 个 6 满足 (a,，b) Eg。 

给 定 一 个 函数 f: A 一 B， 如 果 b 二 f(a)， 则 称 a 是 了 的 自 变量 , 5 是 f 在 a 处 的 值 。 我 们 可 
以 通过 给 出 定义 域 中 每 个 元 素 的 函数 值 来 定义 函数 。 例 如 ， 可 以 定义 f(n)= 二 2n，nE€E N。 其 意思 
是 f={(n, 2n): n€EN}。 如 果 两 个 函数 f 和 g 有 相同 的 定义 域 和 陪 域 ， 且 对 于 定义 域 中 所 有 a, 
有 f(a) 二 g(a)， 则 这 两 个 函数 是 相等 的 。 

一 个 长 度 为 的 有 限 序列 是 一 个 也 数 f/， 其 定义 域 为 n 个 整数 构成 的 集合 {0，1，…， n=l) 
我 们 常常 用 列 出 其 值 (f(0)，f(1)，…，f(n 一 1)) 的 方式 来 表示 该 有 限 序 列 。 无 限 序 列 是 一 个 函 


日 ”准确 地 说 ,为 了 让 “可 以 装 入 ”关系 是 偏 序 ， 需 要 将 盒子 看 做 可 以 装 人 其 自身 。 
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数 ， 其 定义 域 是 自然 数 集合 N。 例 如 ， 递 归 定 义 (3. 22) 的 斐 波 那 契 数列 是 一 个 无 限 序 列 (0，1，1， 
2 

当 一 个 函数 的 定义 域 是 笛 卡 儿 积 时 ， 在 书写 过 程 中 通常 省 略 掉 f 的 自 变量 外 那 层 额 外 的 括 
号 。 举 例 来 说 ， 对 于 函数 f: A, XA:X…XA, 一 B， 通 常 写 作 b= fla, a,» an), MASE 
2 一 CCa ，a，…，a))。 同 时 ， 虽 然 实 际 上 函数 的 (单一 ) 自 变量 是 元 组 (al，as，…，a,)， 
但 我 们 也 称 每 个 w 为 函数 了 的 一 个 自 变 量 。 

如 果 f: A->B 是 一 个 函数 且 b= fa), WEF b iE Sf F a HRe ELKA A'A E f 下 的 像 为 

f(A) = {bE B:b= fla),a€ A') 
大 的 值 域 是 其 定义 域 的 像 ， 即 f(A)。 例 如 ， 由 f(r) =2n 定义 的 函数 1: NN 的 值 域 是 CN) = 
{m: 7 一 22，mEN}， 即 非 负 偶数 集合 。 

如 果 一 个 函数 的 值 域 与 其 陪 域 相同 ， 则 该 函数 是 满 射 。 例 如 ， 函 数 f(n)= 二 Ln/2j 是 一 个 从 N 到 N 
的 满 射 函 数 ， 因 为 N 中 的 每 个 元 素 都 是 了 对 于 某 个 自 变 量 的 值 。 与 之 相反 的 是 ，/(o) 王 22 则 不 是 从 N 
BN 的 满 射 ， 因 为 不 存在 使 f 的 值 为 3 的 自 变量 。 不 过 Fo 三 22 是 一 个 从 自然 数 集 到 偶数 集 的 满 射 。 
满 射 f/: A>B 有 时 被 描述 为 将 A 映射 在 B 之 上 。 称 一 个 函数 是 映 上 的 意味 着 它 是 满 射 。 

如 果 函 数 f/: A 一 B 对 于 不 同 的 自 变 量 产 生 不 同 的 值 ， 即 aAa AR f(a) 隆 f(a )， 则 函数 f 
EBS. PWN, PRB f(n)=2n 是 从 N 到 NN 的 一 个 单 射 函 数 ， 因 为 每 个 偶数 5 最 多 只 能 是 f 下 
定义 域内 一 个 元 素 的 像 ， 即 5/2。 函 数 fOr) 三 [xzV2j 不 是 单 射 的， 因为 值 1 可 以 由 两 个 自 变量 产 
Æ: 2 和 3。 单 射 函数 有 时 也 称 为 一 对 一 防 数 。 

如 果 函 数 f: A 一 B REAR ME, WER ME. PIM, A f(n)=(—1)" Ln/2j| 是 一 
DA N E Z II: 

0—> 0 
1 一 一 1 
2— 1 
3 一 一 2 
4> 2 


因为 Z 中 不 存在 元 素 是 N 中 多 于 一 个 元 素 的 像 ， 所 以 该 函数 是 单 射 。 同 时 因为 Z 中 的 每 个 元 素 
都 是 N 中 某 个 元 素 的 像 ， 所 以 该 函数 也 是 满 射 的 。 因 此 ， 该 函数 是 双 射 的 。 双 射 有 时 也 称 为 一 
一 对 应 ， 因 为 其 将 定义 域 中 的 元 素 和 值 域 中 的 元 素 进行 了 不 重复 的 配对 。 从 集合 A 到 其 自身 的 
双 射 也 称 为 置换 。 
当 一 个 函数 f 是 双 射 时 ， 定 义 其 逆 广 ' 为 

f’ =a ¥AKRY fla) =b 

例如 ， 函 数 f(r) =(—1)" [n/2] 的 逆 是 
2m 若 m 宇 0 


im) = 
tt Re vee 


练习 
B.3-1 令 A 和 B 是 有 限 集合 ，f: A 一 B 是 一 个 函数 ,证 明 : 
a 若 fet, W|Al<| BI; 
b. 4 fH, W)Al>| Bl. 
B.3-2 ”请 问 函 数 f(a) =x +1 KEM N 到 N 的 双 射 吗 ? CHEM Z Bl Z HG? 
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B. 3-3 请 给 出 二 元 关系 的 逆 的 一 个 自然 的 定义 ， 满 足 如 果 一 个 关系 实际 上 是 双 射 函数 ， 那 么 其 
KAM MAH BACHE 
*B. 3-4 HPE—PM ZB ZXZ 的 双 射 例子 。 


B. 4 

本 节 介 绍 两 种 图 : 有 向 图 和 无 向 图 。 本 书 给 出 的 相关 定义 可 能 和 一 些 文献 中 的 有 出 人 ， 但 是 
其 大 部 分 差异 都 很 细微 。22. 1 节 说 明了 图 在 内 存 中 的 表示 方法 。 

有 向 图 G 是 一 个 二 元 组 V，E)， 其 中 V 是 有 限 集 , 而 EE 是 V 上 的 二 元 关系 。 集 合 V 称 为 图 
G 的 项 点 集 ， 其 元 素 称 为 顶点。 集合 玉 是 G 的 边 集 ， 其 元 素 称 为 边 。 图 B-2(a) 描 绘 了 顶点 集 为 
{1，2，3，4，5，6} 的 有 向 图 。 注 意 ， 图 中 有 可 能 存在 自 环 一 一 两 个 顶点 相同 的 边 。 

在 无 向 图 G 二 (V，E) 中 ， 边 集 EE 由 无 序 的 顶点 对 组 成 ， 而 不 是 有 序 对 。 也 就 是 说 ,一 条 边 
是 一 个 集合 {u， v}, Hu, veV huss. RRR, RNAS C, ORAM, MADARA 
符号 {x，z}， 但 (x，z 和 (ww，z) 被 视 为 同一 条 边 。 无 向 图 中 不 允许 存在 自 环 ， 所 以 每 条 边 包 含 两 
个 不 同 顶 点 。 图 B-2(b) 描 绘 了 顶点 集合 为 {1，2，3，4，5，6} 的 一 个 无 向 图 。 


© OO, (3) ©O— @ 


(a) (b) (c) 
图 B2 有 向 图 与 无 向 图 。(a) 有 向 图 G=(V, E), 其 中 V={1, 2, 3, 4, 5, 6}, E={0, 2), 
(2, 2), (2, 4), (2, 5), (4, 1), (4, 5), (5, 4), (6, 3))}. (2, 2)42-T AM. (b) 
无 向 图 G=(V, E), 其 中 V={1, 2, 3, 4, 5, 6}, E={(1, 2), (1, 5), (2, 5), (3, 


6)}。 顶 点 4 是 孤立 点 。(c) 图 (a) 关 于 点 集 {1，2，3，6}) 的 导出 子 图 


无 向 图 和 有 向 图 的 许多 定义 大 体 上 都 是 相同 的 ， 虽然 其 中 可 能 有 一 些 术 语 在 上 下 文中 的 意思 有 些 
WA. WR 区 是 有 向 图 G 二 (V， 忆 中 的 一 条 边 ， 则 称 (u，) 射 出 或 离开 顶点 uw， 且 (wu， 射 入 
或 进入 顶点 v。 例 如 ， 图 B2(a) 中 离开 顶点 2 的 边 有 (2，2)、(2，4) 和 (2，5)， 进 入 顶点 2 WIA 
(1，2) 和 (2，2)。 如 果 (x， 切 是 无 向 图 G= 二 (V，E) 中 的 一 条 边 ， 则 称 (u，w) 与 顶点 ww 和 ww 关联。 在 
图 B2(b) 中 ， 关 联 顶 点 2 的 边 有 (1，2) 和 (2，5) 。 

如 果 (x， 刀 是 图 G 二 (V， 马 ) 中 的 一 条 边 ， 则 称 顶 点 v 邻接 于 顶点 w。 当 图 是 无 向 图 时 ， 邻 接 关 
系 是 对 称 的 。 当 图 是 有 向 图 时 ， 邻 接 关 系 不 一 定 是 对 称 的 。 如 果 在 有 向 图 中 ，v 邻接 于 x， 则 写作 
uv, FEA B2(a) 和 (b) 中 ， 顶 点 2 邻接 于 顶点 1， 因 为 两 个 图 中 都 包含 边 (1，2) 。 在 图 B2(a) 中 ， 
顶点 1 与 2 不 邻接 ， 因 为 边 (2，1) 不 属于 该 图 。 

无 向 图 中 顶点 的 度 是 指 关 联 于 该 项 点 的 边 的 数目 。 例 如 ， 图 B-2(b) 中 顶点 2 的 度 为 2。 如 果 
一 个 顶点 的 度 为 0， 例 如 图 B-2(b) 中 的 项 点 4， 则 它 是 孤立 的 。 在 有 向 图 中 ， 顶 点 的 出 度 是 指 离 
开 该 顶点 的 边 的 数目 ， 顶 点 的 入 度 是 指 进入 该 顶点 的 边 的 数目 。 有 向 图 中 顶点 的 度 是 该 顶点 的 
入 度 与 出 度 之 和 。 图 B-2(a) 中 顶点 2 的 人 度 为 2， 出 度 为 3， 度 为 5。 

图 C 一 (V， 刀 中 从 顶点 u 到 顶点 u 的 一 条 长 度 为 的 路 径 是 一 个 顶点 序列 (vo，vi，vs，…: 
Ur)» 其 中 U= Vos u =v, Au, uJECE, i=1, 2, =, k, 路 径 的 长 度 是 路 径 中 边 的 数目 。 该 路 
径 包含 了 顶点 Vor Us ”9 Uk 和 边 (v。， v), (v, vz), TEA (y-1» Us) o (总 是 存在 一 条 从 点 u 到 其 
自身 的 长 度 为 0 的 路 径 。) 如 果 从 顶点 到 顶点 存在 一 条 路 径 p， 则 称 w 是 从 经 过 可 达 的 。 如 果 
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G 是 有 向 图 ， 则 写作 zx 心 双 。 如 果 路 径 中 所 有 顶点 互 不 相同 ， 则 称 路 径 是 简单 的 。 在 图 了 2(a) 中 ， 
路 径 (1，2，5，4) 是 一 条 长 度 为 3 的 简单 路 径 。 路 径 (2，5，4，5) 则 不 是 一 条 简单 路 径 。 

路 径 p= 二 《vo。，v1，*…，v) 的 一 条 子路 径 是 pp 中 顶点 的 一 个 连续 子 序列 ， 即 对 于 任意 0<i<j 寺 
ky MATEI, vars o> v) 是 pp 的 一 条 子路 径 。 

在 有 向 图 中 ， WERE U’ Vis ots v) P vo =v 且 至 少 包 含 一 条 边 ， 则 该 路 径 构 成 环 。 
如 果 vs vs s w 是 互 不 相同 的 ， 则 该 环 是 简单 的 。 自 环 是 长 度 为 1 的 环 。 对 于 两 条 路 径 
《Vos Urs V2 *'s Ui Vo) Flv» Vis Uz» te, U-19 vo)» 如 果 存 在 一 个 整数 )， 使 得 对 于 i= 
0, ly vy kals Al V; = Uit moth > 则 这 两 条 路 径 为 相同 的 环 。 在 图 B2(a)#, 路 径 (1， 2, 4, 1) 
所 形成 的 环 与 (2，4，1，2 和 《4，1，2，4)? 相 同 。 该 环 是 简单 的 ， 而 环 (1，2，4，5，4，1? 则 不 
是 。 边 (2，2) 构 成 的 环 (2，2) 是 一 个 自 环 。 一 个 不 含 自 环 的 有 向 图 是 简单 的 。 在 无 向 图 中 ， 如 果 
路 径 (w ，wm ，…，wvi) 满 足 &>>0，wvo 二 v， 并 且 路 径 上 所 有 的 边 都 不 相同 ， 则 这 条 路 径 形成 环 ; 如 
Rusu, u 互 不 相同 ， 则 称 该 环 是 简单 的 。 例 如 ， 在 图 BH2(b) 中 ， 路 径 (1，2，5，1) 是 一 
个 简单 环 。 一 个 没有 简单 环 的 图 是 无 环 图 。 

如 果 一 个 无 向 图 中 每 个 顶点 从 所 有 其 他 顶点 都 是 可 达 的 ， 则 称 该 图 是 连通 的 。 图 的 连通 分 
量 是 顶点 在 “从 …… 可 达 ” 关 系 下 的 等 价 类 。 图 B-2(b) 中 的 图 有 3 个 连通 分 量 : {1，2，5)， 
{3，6} 和 {4}。{1，2，5} 中 的 每 个 顶点 从 {1，2，5}) 中 其 他 顶点 都 是 可 达 的 。 若 一 个 无 向 图 只 有 
一 个 连通 分 量 ， 则 该 无 向 图 连通 。 一 个 连通 分 量 的 边 是 只 与 该 分 量 中 顶点 关联 的 边 ; 换 句 话说 ， 
边 (x，z 是 连通 分 量 的 一 条 边 ， 当 且 仅 当 x 和 w 均 为 该 分 量 中 的 顶点 。 

如 果 一 个 有 向 图 中 任意 两 个 顶点 互相 可 达 ， 则 该 有 向 图 是 强 连通 的 。 有 向 图 的 强 连 通 分 量 
是 “相互 可 达 ” 关 系 下 顶点 的 等 价 类 。 如 果 一 个 有 向 图 只 有 一 个 强 连通 分 量 ， 则 它 是 强 连通 的 。 图 
B-2(a) 中 的 图 有 三 个 强 连通 分 量 : {1]，2，4，5}，{3} 和 {6}。{1，2，4，5}) 中 所 有 顶点 对 互相 可 
达 。 出 于 顶点 6 不 能 从 顶点 3 到 达 ， 顶 点 {3，6} 不 构成 一 个 强 连通 分 量 。 

B+ G=(V, DAG 三 (V'"，E') 是 同 构 的 ， 如 果 存在 一 个 双 射 f: VV'， 使 得 (u,vw) EE 
当 且 仅 当 (f(w)，f(w))EE'。 换 句 话 说 ,我 们 可 以 在 保持 G 与 G 中 边 对 应 的 前 提 下 ， 将 图 G 中 的 
顶点 重新 标记 为 C 中 的 顶点 。 图 B3(a) 给 出 了 一 对 同 构图 G 和 G 。 其 各 自 顶 点 集 分 别 为 V=={1， 
2, 3, 4, 5, GĦ V'={u, v, w, z, y, z}o MV BV ORS, f(D=a, f(2)=v, f(3)=w, 
SAS, fH=y, fO=z, BHT Ara H ON wR. AB3(b) PRLR 虽然 两 
个 图 都 有 5 个 顶点 和 7 条 边 ， 但 是 上 方 的 图 有 度数 为 4 的 顶点 ， 而 下 方 的 图 没有 。 


NA 


”RES DD 


(a) 





AB3 (a) 一 对 同 构图 。 上 图 中 的 顶点 与 下 图 中 的 顶点 的 映射 关系 为 : 7(1) 一 ww， 
f(2)==v，f(3) 二 w，f(4) 二 +z，f(5) 二 y，f(6) 二 xz。(b) 因 为 上 图 中 包含 
度数 为 4 的 顶点 ， 而 下 图 中 没有 ， 所 以 这 两 个 图 不 同 构 


O 有 些 作 者 称 路 径 为 “行走 ”， 称 简单 路 径 为 “路 径 ?”。 本 书 中 的 术语 “路 径 ” 和 “简单 路 径 ” 与 他 们 的 定义 一 致 。 
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如 果 VEVv 且 BE'SEE， 则 称 图 G'=(V' ， 已 ) 是 G=(V， 已 ) 的 子 图 。 给 定 一 个 集合 VSEV，CG 

关于 V 的 导出 子 图 是 图 C=’, E), HP 

E' = { (u,v) E€ E:u,v € V'} 
图 B2(a) 中 关于 顶点 集 {1，2，3，6) 的 导出 子 图 是 图 B2) PHA, RURAK, 2), 
(25-20 Be BD}, 

给 定 无 向 图 G=(V, E), 的 有 向 版 本 是 有 向 图 G' 二 (V，E')， 其 中 (u，wv) EE' 当 且 仅 当 
(uw，vw) EE。 也 就 是 说 ， 在 有 向 版 本 中 ，G 的 无 向 边 (u， 履 均 被 替换 为 两 个 有 向 边 (u,， 和 (v，w)。 
给 定 有 向 图 G==(V，E)， 其 无 向 版 本 是 无 向 图 G' =V, E), HP Clu, v) EE 当日 仅 当 w 关 v 且 
(uw，v) EE。 至 少 包 含 (u， 臣 和 (v， 忆 中 的 一 个 。 也 就 是 说 ， 无 向 版 本 包含 了 G 中 “去 掉 了 方向 ” 
的 边 ， 同 时 剔除 了 自 环 。( 因 为 (wx， 思 和 (u，z) 在 无 向 图 中 是 同一 条 边 ， 尽 管 这 两 条 边 都 在 有 向 
图 中 ， 但 无 向 版 本 只 包含 其 一 次 .) 在 有 向 图 G=V, PP, MA u 的 邻居 是 G 的 无 向 版 本 中 任 
意 邻 接 于 顶点 MTU. ERE, WMR uZ H du, DEER (Cv, WEE, Muu 的 一 个 邻 
居 。 在 无 向 图 中 ， 如 果 和 w 邻接 ， 则 它们 是 邻居 。 

有 几 种 图 有 其 特有 的 名 字 。 完 全 图 是 图 中 每 对 顶点 均 邻 接 的 无 向 图 。 二 分 图 是 一 个 无 向 图 
G=(V, E), 其 顶点 集 V 可 以 被 划分 为 两 个 集合 V MV, Hu, vv ECE Bwmucev, A vEV, 或 
HA vEV: 且 vEVWw 。 也 就 是 说 ， 所 有 的 边 都 位 于 这 两 个 顶点 集合 之 间 。 无 向 无 环 图 是 一 个 森 
林 。 连 通 无 向 无 环 图 是 一 棵 (自由 ) 树 ( 见 B. 5 节 )。 通 常用 “有 向 无 环 图 ”(directed acyclic graph) 的 
首 字母 称呼 它 ， 即 dag. 

读者 可 能 常常 会 遇 到 两 种 图 的 变 体 。 多 重 图 与 无 向 图 类 似 ,但 它 可 以 在 顶点 间 存 在 多 条 边 ， 
并 允许 自 环 。 超 图 也 与 无 向 图 类 似 , 但 是 其 每 一 条 超 边 连接 的 不 是 两 个 顶点 ， 而 是 任意 顶点 子 
集 。 许 多 为 普通 有 向 图 和 无 向 图 设计 的 算法 也 能 适用 于 这 些 类 图 结构 。 

沿边 e 二 (u，zw) 的 对 无 向 图 G 二 (V，) 的 收缩 是 图 G =(V', E), 其 中 V'=V 一 {u,v}U{z) 
且 z 是 一 个 新 项 点。 边 集 合 巨 是 从 EE 中 删除 边 (u，v)， 并 对 于 每 一 个 人 射 到 或 v 的 顶点 w, W 
BREC, WAC, w) MARI, w) AE. KBR ER, u 和 wv 被 “压缩 ”成 了 一 个 顶点 。 


练习 


B. 4-1 在 一 个 教职员 工 聚 会 中 ， 与 会 者 互相 握手 问候 彼此 ， 每 位 教授 会 记 住 他 /她 握手 的 次 数 。 
在 聚会 的 最 后 ， 系 主任 将 所 有 教授 握手 的 次 数 相 加 。 通 过 证 明 下 面 的 握手 定理 来 说 明 系 
主任 得 到 的 结果 是 偶数 : WRG=(V, DRAMA, WA 

2, degreev) = = 2|E| 


B.4-2 证 明 : 如 果 无 向 图 或 有 向 图 在 两 个 顶点 和 ww 之 间 包 含 一 一 条 路 径 ， 则 该 图 一 定 包含 一 条 zx 
与 v 之 间 的 简单 路 径 。 证 明 : 如 果 一 个 有 向 图 包含 环 ， 则 它 一 定 包 含 一 个 简单 环 。 

B. 4-3 WH: 任意 连通 无 向 图 G= 二 (V，E) 满 足 |E| 宇 |V| 一 1。 

B. 4-4 ”验证 在 一 个 无 向 图 中 ,“ 从 …… 可 达 ” 关 系 是 图 中 顶点 的 等 价 关 系 。 等 价 关 系 的 三 个 特性 
中 ， 哪 些 对 有 向 图 点 集 上 的 “从 …… 可 达 ” 关 系 成 立 ? 

B. 4-5 B-2(a) 中 有 向 图 的 无 向 版 本 是 什么 ? 图 B-2(b) 中 无 向 图 的 有 向 版 本 是 什么 ? 

*B. 4-6 证明: 若 令 超 图 中 的 边 与 点 的 关联 关系 对 应 二 分 图 中 的 邻接 关系 ， 则 超 图 可 表示 为 二 分 
Al. RF: 令 二 分 图 中 的 一 个 顶点 集 对 应 超 图 的 顶点 集 ， 并 令 二 分 图 的 另 一 个 顶点 集合 
对 应 超 边 集 。) 


B.5 树 
和 图 一 样 ， 树 也 有 很 多 相关 但 差异 很 小 的 定义 。 这 一 节 将 介绍 几 种 树 的 定义 和 数学 性 质 。 
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10.4 节 和 22. 1 节 介 绍 了 我 们 在 计算 机 内 存 中 表示 树 的 方式 。 


B. 5.1 自由 树 


和 B. 4 节 中 的 定义 一 样 ， 自 由 树 是 一 个 连通 的 、 无 环 的 无 向 图 。 通 常情 况 ， 当 我 们 提 到 一 

1173] 个 图 是 树 时 ， 会 省 略 形容 词 “ 自 由 ”。 称 一 个 可 能 不 连通 的 无 向 无 环 图 为 森林 。 许 多 树 的 算法 对 森 

林 也 适用 。 图 B-4(a) 给 出 了 一 棵 自由 树 ， 图 BE4(b) 则 给 出 了 一 个 森林 。 图 B-4(b) 的 森林 不 是 树 ， 
因为 它 不 连通 。 图 B4(c) 中 的 图 是 连通 的 ， 但 是 它 既 不 是 树 也 不 是 森林 ， 因 为 它 包含 环 。 
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图 B4 (a) 一 棵 自由 树 。(b) 一 个 森林 。(c) 因 为 该 图 有 环 ， 所 以 它 既 不 是 树 也 不 是 森林 


下 面 的 定理 描述 了 自由 树 的 几 个 重要 事实 。 

定理 B. 2( 自 由 树 性 质 ) 令 G=(V， EE) 是 一 个 无 向 图 。 下 面 的 描述 是 等 价 的 。 

1.G 是 自由 树 。 

2.G 中 任何 两 项 点 由 唯一 简单 路 径 相连 。 

3.G 是 连通 的 ， 但 是 从 图 中 移 除 任意 一 条 边 得 到 的 图 均 不 连通 。 

4.G 是 连通 的 ,， H|E|=|V|—1. 

5.G 是 无 环 的 , B|E|=|V|—1. 

6.G 是 无 环 的 ， 但 是 如 果 向 正中 添加 任何 一 条 边 ， 均 会 造成 图 包含 一 个 环 。 

证 明 S0): 因为 树 是 连通 的 ， 图 G 中 任意 两 顶点 应 至 少 被 一 条 简单 路 径 所 连接 。 用 反 
证 法 ,假定 项 点 u 和 顶点 v 被 两 条 不 同 的 简单 路 径 Pp 和 ps 连接 ， 如 图 B-5 tm. Sw AKAM 
径 第 一 次 分 叉 位 置 的 顶点 ; B wi p 和 p。 上 所 有 公共 顶点 中 ， 第 一 个 在 上 的 后 继 z 与 在 p E 
的 后 继 y 不 相同 的 顶点。 令 z 为 这 两 条 路 径 第 一 次 重新 汇合 处 的 顶点 ; 即 > 是 世 后 第 一 个 加 Sp 
共有 的 项 点。 S pE h 的 子 图 ， 其 中 包含 从 w 经 过 到 zz 的 顶点 与 边 ， BS PH p KFE, 其 中 包 

含 从 思 经 过 y 到 z 的 部 分 。 路 径 记 与 PP 除了 端点 外 没有 公共 顶点 。 因 此 ， 连 接 pp 与 户 的 逆 得 到 的 路 
径 是 一 个 环 。 这 违背 了 G 是 一 棵 树 的 假设 。 因 此 ， 若 G 是 自由 树 ， 则 两 顶点 至 多 有 一 条 简单 路 径 。 


(c) 





图 B5 定理 B.2 的 证 明 步 骤 : 如 果 (1)G 是 自由 树 ， 则 (2)G 中 任意 两 点 被 唯一 路 径 相连 。 假 定 顶 点 "与 
v 被 两 条 不 同 的 简单 路 径 记 1 与 ps 所 连 。 这 两 个 路 径 第 一 次 岔 开 位 置 的 顶点 是 ww， 它 们 第 一 次 合 
并 位 置 的 顶点 是 z。 路 径 p' 与 路 径 如 的 逆 相 连 构成 了 一 个 环 。 这 与 图 中 无 环 构成 矛盾 


DSG): 如 果 G 中 任意 两 个 顶点 被 唯一 简单 路 径 相连 ， 则 G REHM. Ou, DHE 
任意 一 条 边 。 该 边 是 从 4 到 wv 的 一 条 路 径 ， 所 以 它 必然 是 从 x 到 vw 的 唯一 路 径 。 如 果 从 G 中 移 除 
Cu, v), WA u Fjo 无 路 径 可 达 ， 因 此 ， 任 意 移 除 一 条 边 均 会 导致 图 不 连通 。 

D>): 根据 假设 ,图 G 是 连通 的 ， 且 由 练习 B. 4-3 可 知 ，|E| 宇 |V| 一 1。 现 在 我 们 用 
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归纳 法 证 明 |E| 志 |V| 一 1。 一 个 有 n=1 或 n=2 个 顶点 的 连通 图 的 边 数 显然 为 x 一 1。 BE GA 
n 宇 3 个 顶点 ， 且 所 有 顶点 数 少 于 n 并 满足 (3) 的 图 也 满足 |E| 三 1V| 一 1。 从 G 中 移 除 任意 一 条 
边 将 图 分 为 宇 2 个 连通 分 量 ( 实 际 上 A 一 2) 。 每 一 个 连通 分 量 满足 (3)， 和 否则 G 将 不 会 满足 (3)。 
如 果 将 每 一 个 边 集 为 E 的 连通 分 量 V 看 做 它 自己 的 自由 树 ， 那 么 因为 每 一 个 连通 分 量 的 顶点 数 
目 均 少 于 |V|， 根据 归纳 假设 , 我 们 有 |E| 三 |V; | 一 1。 因 此 ， 所 有 连通 分 量 中 边 数 目的 总 和 最 
多 为 |V| 一 k 达 |1V| 一 2。 将 移 除 的 边 加 入 后 ,得 到 |E| 寺 IV| 一 1。 

(4) 一 (5): 假定 G 是 连通 的 ， HIE = 二 1V| 一 1。 需 证 明 G 是 无 环 的 。 假 定 G 中 一 个 环 包含 
个 顶点 v1 ，vs，…，v， 不 失 一 般 性 ， 假 设 该 环 是 简单 的 。 令 G: 二 (V，EE) 是 该 环 在 G 中 的 子 图 
KR. ÈE, |V| =| 及 |=&A。 如 果 &<1V| ， 则 因为 G 连 通 ， 所 以 一 定 存在 顶点 on EV 一 Vi 与 
某 个 顶点 w EV, 相 邻 。 定 义 Gin 二 (Vin，EBr1) 为 G 的 子 图 ， 其 中 Vaa =V; U {vn}l Eeri =E U 
{Cus Ui}. TER Vins | =| En | 一 & 十 1。 如 果 k+1<|V| ’ 我 们 可 以 继续 用 相同 方式 定义 
Gu:， 依 此 下 去 ， 直 到 获得 G= (V, E), 其 中 n=|V|, V,=V, HIE | =V, =V. AW 
G, 是 G 的 一 个 子 图 ， 所 以 有 ECE, Al El >|V|. me Ri) E|=|V|—1. Ast, Git 
无 环 的 。 

(5)>(6): 假定 G 是 无 环 的 且 |E| 二 1V| 一 1。 令 为 G 的 连通 分 量 的 数目 。 每 一 个 连通 分 
量 根 据 定义 都 是 一 个 自由 图 ， 并 且 因 为 (1) 蕴 涵 (5)，G 的 所 有 连通 分 量 的 边 数 和 为 |V| 一 A。 因 
此 ， 必 须 有 二 1， 即 有 G 实际 上 是 一 棵 树 。 因 为 (1) 蕴 涵 (2)，G 中 任意 两 个 顶点 被 唯一 简单 路 
径 所 连接 。 因 此 ， 添 加 任何 一 条 边 到 G 均 会 导致 成 环 。 

(6) 过 (1): 假定 G 是 无 环 的 ， 但 是 添加 任意 一 条 边 到 G 均 会 成 环 。 需要 证 明 的 是 G 是 连通 
的 。 令 ww 和 ww eG HERBA. WR u Ho 尚未 邻接 ， 则 添加 边 (x， 也 会 产生 一 个 环 。 环 中 除 
了 (u， 双 外 其 他 边 均 属于 G。 因 此 ， 该 环 去 除 边 (u，zwv) 必 须 包含 一 条 从 u 到 wv 的 路 径 ， 因 为 x 与 
v 是 随意 选择 的 ， 所 以 G 是 连通 的 。 m 


B. 5.2 有 根 树 和 有 序 树 


有 根 树 是 一 棵 自由 树 ， 其 顶点 中 存在 一 个 与 其 他 顶点 不 同 的 顶点 。 我 们 称 该 不 同 顶点 为 树 的 
根 。 一 棵 有 根 树 的 项 点 常常 称 为 树 的 结 点 ?。 图 B6(a) 给 出 了 一 棵 有 12 个 结 点 ， 根 为 7 的 有 根 树 。 

考虑 以 -为 根 的 有 根 树 工 中 的 一 个 结 点 z。 从 > 到 并 的 唯一 简单 路 径 上 任意 结 点 y RA x 的 一 
个 祖先 。 如 果 y 是 xz 的 祖先 ， 则 z 是 y 的 后 代 。( 每 一 个 结 点 既是 自己 的 祖先 也 是 自己 的 后 代 。) 如 
果 y 是 的 祖先 且 zx 隆 y， 则 y 是 z 的 一 个 真 祖先 ， 且 xz 是 y 的 一 个 真 后 代 。 以 x 为 根 的 子 树 是 根 
为 xz， 由 工 的 后 代 组 成 的 子 树 。 例 如 ， 图 B6(a) 中 的 以 结 点 8 为 根 的 子 树 包含 结 点 8、6、5 和 9。 

如 果 从 树 工 的 根 r 到 一 个 结 点 z 的 简单 路 径 上 最 后 一 条 边 是 (y，xz)， 则 > 是 z 的 双亲 ， 而 zx 
是 y 的 孩子 。 根 是 树 中 唯一 没有 双亲 的 结 点 。 如 果 两 个 结 点 有 相同 的 双亲 ， 则 它们 是 兄弟 。 一 -个 
没有 孩子 的 结 点 为 叶 结 点 (或 称 外 部 结 点 )。 一 个 非 叶 结 点 是 内 部 结 点 。 

有 根 树 工 中 一 个 结 点 z 的 孩子 数目 等 于 结 点 z 的 度 。 从 根 > 到 结 点 z 的 一 条 简单 路 径 的 长 
度 即 为 zx 在 工 中 的 深度 。 树 的 一 个 层 包 含 了 统一 深度 的 所 有 结 点 。 结 点 在 树 中 的 高 度 是 指 从 该 
结 点 到 叶 结 点 最 长 的 一 条 简单 路 径 上 边 的 数目 。 树 的 高 度 也 等 于 树 中 点 的 最 大 深度 。 

有 序 树 是 一 棵 有 根 树 ， 其 中 每 个 结 点 的 孩子 是 有 序 的 。 也 就 是 说 ， 如 果 一 个 结 点 有 个 孩子 ， 则 
这 些 孩 子 之 间 会 区 分 哪个 结 点 是 第 一 孩子 ， 哪 个 结 点 是 第 二 孩子 ，…… ， 哪 个 是 第 孩子 。 图 B6 中 
的 两 棵 树 如 果 看 做 是 有 序 树 ， 则 它们 是 不 同 的 ， 但 是 如 果 仅 仅 看 做 是 有 根 树 的 话 ， 则 是 相同 的 。 


日 ”在 图 论 中 ， 术 语 “ 结 点 ”通常 作为 “顶点 ”的 同义词 。 这 里 我 们 将 它 专 用 来 表示 有 根 中 的 结 点 。 
日 ”注意 ,， 结 点 的 度 取 决 于 本 是 有 根 树 还 是 自由 树 。 自 由 树 中 结 点 的 度 跟 无 向 图 中 的 一 样 ， 是 相 邻 顶点 的 个 数 。 而 
在 有 根 树 中 ， 度 指 结 点 孩子 的 个 数 ， 结 点 的 双亲 不 包含 在 内 。 
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深度 0 (7) 

深度 1 GY @O Ff 
m2 © @ QD © 
深度 3 © © (3 

深度 4 (9) 


(b) 


B6 ”有 根 树 与 有 序 树 。(a) 高 度 为 4 的 有 根 树 。 该 树 用 标准 的 方式 绘制 : 根 ( 结 点 7) 在 最 上 方 ， 
其 下 是 它 的 孩子 (深度 为 1 的 结 点 )， 再 下 面 是 根 孩 子 的 孩子 (深度 为 2 的 结 点 )， 依 此 下 去 。 
如 果树 是 有 序 树 ， 树 中 某 结 点 的 孩子 之 间 的 左右 位 置 关系 有 影响 ， 否则 没 影响 。(b) 另 一 棵 
有 根 树 。 如 果 将 该 树 单 看 做 有 根 树 ， 则 它 与 (a) 中 的 树 是 一 样 的 ， 但 是 看 做 有 序 树 ， 则 因为 
结 点 3 的 孩子 与 (a) 中 出 现 顺序 不 同 ， 所 以 两 棵 树 不 同 





B. 5. 3 ”二叉树 和 位 置 树 
我 们 递归 地 来 定义 二 叉 树 。 二 叉 树 工 是 定义 在 有 限 结 点 集 上 的 结构 ， 它 或 者 不 包含 任何 结 
点 ， 或 者 包含 三 个 不 相交 的 结 点 集合 : 一 个 根 结 点 ， 一 棵 称 为 左 子 树 的 二 叉 树 ， 以 及 一 棵 称 为 右 
子 树 的 二 又 树 。 

不 包含 任何 结 点 的 二 叉 树 称 为 空 树 或 零 树 ， 有 时 用 符号 NIL 表示 。 如 果 左 子 树 非 空 ， 则 它 
的 根 称 为 整 棵 树 的 根 的 左 孩 子 。 类 似 地 ， 非 空 右 子 树 的 根 称 为 整 棵 树 的 根 的 右 孩 子 。 如 果 一 棵 子 
树 是 零 树 NIL， 则 称 该 孩子 是 缺失 或 者 丢失 的 。 图 B-7(a) 给 出 了 一 棵 二 叉 树 。 

二 叉 树 不 仅仅 是 一 棵 结 点 度 均 为 2 的 有 序 树 。 例 如 ， 在 一 棵 二 叉 树 中 ， 如 果 一 个 结 点 仅 有 一 
个 孩子 ， 则 它 是 左 孩 子 还 是 右 孩 子 是 有 关系 的 。 而 在 有 序 树 中 ， 是 没有 必要 区 分 一 个 单独 的 孩子 
是 左 还 是 右 的 。 图 B-7(b) 给 出 了 一 棵 与 图 B-7(a) 不 同 的 二 叉 树 。 两 者 的 不 同 之 处 在 于 结 点 5 的 
位 置 。 这 两 棵 树 如 果 仅 被 看 做 是 有 序 树 ， 则 是 相同 的 。 

如 图 B7(c) 所 示 ， 二 叉 树 的 位 置信 息 可 以 用 有 序 树 中 的 内 部 结 点 来 表示 。 这 一 想法 需要 将 
二 叉 树 中 每 个 缺失 的 孩子 用 一 个 没有 孩子 的 结 点 替代 。 这 些 叶 结 点 在 图 中 表示 为 正方 形 。 这 样 
得 到 的 树 是 满 二 叉 树 : 每 个 结 点 是 叶 结 点 或 者 度 为 2。 满 二 叉 树 中 不 存在 度 为 1 的 结 点 。 最 终 ， 
结 点 的 孩子 的 顺序 保留 了 位 置信 息 。 


(3) 9 





© (6) 


(a) (b) Cc) 


AB? 二 叉 树 。(a) 按 照 标准 方法 绘制 的 二 叉 树 。 结 点 的 左 孩 子 画 在 结 点 的 左下 方 。 结 点 的 右 
孩子 画 在 结 点 的 右 下 方 。(b) 与 (a) 中 不 同 的 一 棵 二 叉 树 。 在 (a) 中 ， 结 点 7 的 左 孩 子 是 
5， 而 右 孩 子 缺 失 。 在 (b) 中 ， 结 点 7 的 左 孩 子 缺失 ， 而 右 孩子 是 5。 作 为 有 序 树 ， 这 两 
棵 树 是 一 样 的 ， 但 作为 二 叉 树 ， 它 们 却 是 不 同 的 。(c) 用 满 二 叉 树 的 内 部 结 点 表示 (a) 中 
的 二 叉 树 : 每 个 内 部 结 点 度 均 为 2 的 有 序 树 。 树 中 的 叶 结 点 用 正方 形 表示 
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区 分 二 叉 树 与 有 序 树 的 存储 位 置信 息 可 以 扩展 到 结 点 有 多 于 2 个 孩子 的 树 上 。 在 一 棵 位 置 树 
中 ， 结 点 的 孩子 被 标记 为 不 同 的 正 整数 。 如 果 没 有 孩子 被 标记 为 整数 i， 则 该 结 点 的 第 i 个 孩子 
缺失 。k 叉 树 是 一 棵 位 置 树 ， 其 中 对 于 每 个 结 点 ， 所 有 标记 大 于 不 的 孩子 均 缺 失 。 因 此 ， 二 又 树 
E k=2 h k LH. 

完全 大 LAENA AREA, ABTA ARB BEDW k h kI. E B 8 给 出 了 一 棵 高 度 
为 3 的 完全 二 叉 树 。 一 棵 高 度 为 h 的 完全 k 叉 树 有 多 少 叶 结 点 呢 ? 根 在 深度 1 有 & 个 孩子 ， 它 们 中 
的 每 一 个 在 深度 2 又 各 自 有 上 个 孩子 。 因 此 ， 在 深度 h 处 的 叶 结 点 数目 为 上 。 最 终 ， 一 棵 甩 个 叶 
结 点 的 完全 & 又 树 的 高 度 为 logim。 由 等 式 (A. 5) 可 得 ,一 棵 高 度 为 h 的 完全 又 树 的 内 部 结 点 数目 
为 
下 一 了 
k—1 





hl 
1 十 十 尼 十 … 十 的 1! 二 Vk = 
m0 


因此 ， 完 全 二 叉 树 有 2 一 1 个 内 部 结 点 。 
深度 0 


深度 1 
高 度 =3 
深度 2 


深度 3 
图 B-8 高 度 为 3， 有 8 个 叶 结 点 和 ?7 个 内 部 结 点 的 完全 二 叉 树 


练习 


B. 5-1 画 出 包含 三 个 顶点 z、y 和 zx 的 所 有 自由 树 。 男 出 所 有 包含 结 点 +、y Az 的 以 xz 为 根 的 
有 根 树 。 画 出 所 有 包含 结 点 z+、y 和 z 的 以 z 为 根 的 有 序 树 。 画 出 所 有 结 点 为 zx、> 和 = 
的 以 z 为 根 的 二 叉 树 。 

B.5-2 令 G 二 (V，E) 为 一 个 有 向 无 环 图 ， 其 中 存在 一 个 顶点 vV, WEA vo 到 其 他 每 个 顶点 
vEV 均 有 唯一 路 径 。 证 明 : G 的 无 向 版 本 是 一 棵 树 。 

B.5-3 ”利用 归纳 法 证 明 : 任何 非 空 二 叉 树 中 2 度 结 点 数 比 叶 结 点 数 少 1。 证 明 : 满 二 叉 树 中 的 
内 部 结 点 数目 比 叶 结 点 数目 少 1。 

B.5-4 ”利用 归纳 法 证 明 ， 一 个 有 个 结 点 的 非 空 二 叉 树 的 高 度 至 少 为 Llgnj。 

*B. 5-5 一 棵 满 二 又 树 的 内 路 径 长 度 是 指 所 有 内 部 结 点 深度 之 和 。 类 似 地 ， 外 路 径 长 度 是 指 所 有 
叶 结 点 深度 之 和 。 考 虑 一 个 有 个 内 部 结 点 的 满 二 叉 树 ， 其 内 路 径 长 度 为 i， 外 路 径 长 
度 为 e。 证 明 e=i+ 2n, 

*B. 5-6 我们 将 二 又 树 工 中 的 每 个 深度 为 4 的 叶 结 点 赋予 权 值 w(z) 二 2“， 并 令 工 为 T 的 叶 结 点 
集合 。 证 明 2wa) <1. (该 不 等 式 称 为 Kraft 不 等 式 。) 


*B.5-7 证 明 : 车 上 之 2， 则 每 个 叶 结 点 数 为 的 二 叉 树 包含 一 棵 子 树 ， 该 子 树 有 L/3 到 2L/3 个 
叶 结 点 。 


思考 题 

Bl (图 着 色 问 题 ) 给 定 一 个 无 向 图 G 二 (V，E)，G 的 大 着 色 是 一 个 函数 c: V 一 {0，1，…， 
k-1}, 满足 对 于 每 条 边 (xw， wEE, AR c(u) cv). 换 句 话说 ， 数字 0， l, SER G k-1# 
表 了 种 颜色 ， 邻 接 的 顶点 不 能 具有 相同 颜色 。 
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a. 证 明 : 任意 树 都 可 以 都 是 2 可 着 色 的 。 

b. 证 明 下 列 三 条 描述 是 等 价 的 : 

1.G 是 二 分 图 。 

2.G 是 2 可 着 色 的 。 

3.G 没 有 奇数 长 度 的 环 。 

ce Sd HAG 中 任意 顶点 的 最 大 度数 。 证 明 : G 可 以 用 4 十 1 种 颜色 着 色 。 

d 证 明 : 如 果 G 有 OCIV|) 条 边 ， 那么 G 可 以 用 OCYVTVT) 种 颜色 着 色 。 

(友谊 图 ) 将 下 列 描述 改写 成 关于 无 向 图 的 定理 ， 并 给 出 证 明 。 假 定 友谊 是 对 称 的 ， 但 不 

是 自 反 的 。 

a 任何 至 少 含 两 人 的 组 中 ， 至 少 有 两 人 在 组 内 有 相同 数目 的 朋友 。 

b. 任何 6 人 的 组 要 么 至 少 有 三 个 人 互 为 朋友 ， 要 么 至 少 有 三 个 人 互 不 相识 。 

c 每 个 组 中 的 人 均 能 分 成 两 个 子 组 ， 其 中 每 个 属于 某 个 子 组 的 至 少 有 一 半 的 朋友 在 另外 一 
NTA 

d 如 果 一 个 组 中 每 个 人 都 至 少 是 该 组 内 一 半 人 的 朋友 ， 那 么 该 组 可 以 按 如 下 方式 安排 组 员 
坐 在 圆桌 周围 : 每 个 人 都 坐 在 他 的 两 个 朋友 之 间 。 

(二 等 分 树 ) 许多 图 的 分 治 算法 要 求 图 被 等 分 为 两 个 大 小 基本 相同 的 子 图 。 这 可 以 通过 在 

划分 顶点 后 ， 求 取 两 个 点 集 的 导出 子 图 来 实现 。 本 题 将 研究 通过 移 除 一 小 部 分 边 来 将 树 二 

等 分 的 方法 。 要 求 如 果 在 移 除 边 后 两 个 顶点 落 在 了 同一 棵 子 树 中 ， 则 它们 一 定 在 同一 个 划 

分 内 。 

a 证 明 : 任意 顶点 二 叉 树 的 顶点 均 可 通过 移 除 一 条 边 被 划分 为 两 个 集合 A SB, 满足 
|A|<3n/4, |B|<3n/4. 

b. 通过 给 出 一 个 例子 : 一 棵 简单 二 又 树 在 移 除 一 条 边 后 ， 其 最 均匀 平衡 的 划分 满足 |A| = 
3n/4， 来 证 明 (a) 中 的 常数 3/4 在 最 坏 情 况 下 是 最 优 的 。 

c 证 明 : 通过 移 除 最 多 O(1lgn) 条 边 ， 可 以 将 任意 nn 顶点 二 叉 树 的 顶点 划分 为 两 个 集合 A 与 
B, 满足 |A|==Ln/2J 和 |B|=[n/21。 


附录 注 记 


G. Boole 是 符号 逻辑 学 的 先驱 。 他 在 1854 年 出 版 的 书 中 引入 了 许多 基本 集合 符号 。 现 代 集 


AWH G. Cantor 在 1874 年 到 1895 年 之 间 创 立 。G. Cantor 主要 致力 于 无 限 基数 集合 的 研究 。 术 


TA“ 函数" 的 发 明 归功 于 G. W. Leibniz。 他 用 函数 来 指 代 多 种 数学 公式 。 这 个 局 限 的 定义 被 一 般 化 
TREK. KWAA 1736 年 兴起 。 那 时 ，L. Euler 证 明了 穿 过 Konigsberg 市 的 七 座 桥 仅 一 次 并 回 
到 起 始点 是 不 可 能 的 。 


Harary[L160] 是 一 本 很 有 用 的 书 ， 它 给 出 了 图 论 中 的 许多 定义 和 结论 。 


| 附录 C 


Introduction to Algorithms，Third Edition 


计数 与 概率 


本 附录 回顾 了 基础 组 合 数学 与 概率 论 的 相关 知识 。 如 果 读 者 在 这 两 方面 已 经 有 了 良好 的 基 
础 ， 那 么 可 以 粗略 地 阅读 本 附录 开始 的 部 分 ， 着 重 阅读 后 面 的 章节 即 可 。 本 书 的 大 部 分 章节 并 不 
要 求 概率 论 知识 ,但 是 对 于 部 分 章节 则 是 必需 的 。 

C. 1 节 回顾 了 计数 理论 中 的 一 些 基 本 结论 ， 包 括 计 数 排列 组 合 的 标准 方程 。C. 2 BET TE 
率 公理 和 一 些 有 关 概 率 分 布 的 基本 事实 。C. 3 节 中 介绍 了 随机 变量 以 及 期 望 与 方差 的 性 质 。C. 4 
节 研 究 了 源 于 伯 努 利 试验 的 几何 分 布 与 二 项 分 布 。C. 5 节 则 深入 讨论 了 二 项 分 布 的 “尾部 ”。 


C.1 计数 

计数 理论 是 不 枚 举 所 有 选择 而 回答 问题 有 多 少 个 ”的 理论 。 例 如 ， 我 们 可 能 会 问 “ 有 多 少 个 
不 同 的 位 数 ?? 或 者 “2 个 不 同 元 素 有 多 少 种 排列 顺序 ?本 节 将 回顾 计数 理论 知识 。 出 于 本 章 中 
部 分 内 容 需 要 对 集合 知识 的 基本 了 解 ， 读 者 可 以 适当 回顾 B. 1 节 中 的 材料 。 

和 与 积 的 规则 

有 时 ， 我 们 可 以 将 一 个 要 计数 的 项 集 看 做 几 个 不 相交 集合 的 并 集 或 者 集合 的 笛 卡 儿 积 。 

和 规则 是 指 从 两 个 不 相交 集合 之 一 中 选择 一 个 元 素 的 方法 数 等 于 这 两 个 集合 的 基数 和 。 也 
就 是 说 ， 若 A 与 B 是 两 个 无 共同 元 素 的 有 限 集 ， 那 么 由 等 式 (B. 3) 可 得 |AUB|==1A| 十 |B|。 
例如 ， 车 牌照 上 每 个 位 置 是 字母 或 数字 。 因 为 字母 有 26 种 选择 ， 数 字 有 10 种 ， 所 以 每 个 位 置 上 
的 可 能 选择 有 26+10=36 种 。 

积 规则 是 指 选 出 一 个 有 序 对 的 方法 数 等 于 选 出 第 一 个 元 素 的 方法 数 与 选 出 第 二 个 元 素 的 方 
法 数 的 乘积 。 也 就 是 说 ， 如 果 A 与 B 是 两 个 有 限 集 , WIAXB|=]|A] 18|， 即 等 式 (B.4)。 
例如 ， 如 果 一 个 冰淇淋 店 提 供 28 种 口味 的 冰淇淋 和 4 种 项 料 ， 则 一 勺 冰淇淋 与 一 种 顶 料 构成 的 
圣 代 的 可 能 种 类 数 是 28 + 4=112, 

串 

有 限 集 S 上 的 串 是 集合 S 中 元 素 构成 的 一 个 序列 。 例 如 ， 下 面 的 8 个 长 度 为 3 的 二 进 制 串 : 

000,001,010,011,100,101,110,111 
有 时 称 长 度 为 & 的 串 为 上 串 。 串 * 的 子 串 s' 是 ; 中 连续 若干 个 元 素 的 有 序 序列 。 一 个 串 的 大 子 串 
是 该 串 的 长 度 为 & 的 子 串 。 例 如 ，010 是 01101001 的 一 个 3 子 串 (该 3 子 串 从 位 置 4 开始)， 而 
111 不 是 01101001 的 子 串 。 

我 们 将 集合 S$ 上 的 & 串 视 为 笛 卡 儿 积 S*(k 元 组 集合 ) 的 一 个 元 素 ; 因此 ， 存 在 | S| * 个 长 度 
为 & 的 串 。 例 如 ， 二 进 制 上 串 的 数目 为 2。 从 直观 上 看 ， 为 了 在 一 个 交集 合 上 构造 上 串 ， 第 一 个 
元 素 有 nn 种 选择 ; 对 于 每 种 选择 ， 又 有 nn 种 方式 来 选择 第 二 个 元 素 ; 如 此 进行 有 次 。 由 这 一 构造 
过 程 可 知 ,，& 重 积 n。n…n 二 nw BAR PAA. 

排列 

ARR S 的 一 个 排列 是 S 中 元 素 的 一 个 有 序 序列 ， 其 中 每 个 元 素 出 现 且 仅 出 现 一 次 。 例 如 ， 
令 S={a,， 5b，c}， 则 S 有 6 种 排列 : 

abc,ach,bac,bca,cab,cbha 
包含 个 元 素 的 集合 的 排列 数目 为 nx!。 这 是 因为 序列 第 一 个 元 素 的 选择 有 nn 种， 第 二 个 元 素 的 
选择 有 nn 一 1 种 ,第 三 个 元 素 的 选择 有 nn 一 2 种 ， 等 等 。 





1183 


694 + 第 八 部 分 附录 : 数学 基础 知识 


1184 


1185 


S 的 一 个 & 排列 是 S 中 & 个 元 素 的 有 序 序列 ， 且 每 个 元 素 最 多 出 现 一 次 。( 所 以 ， 通 常 的 排 
列 是 nn 集合 的 一 个 n 排列 。) 集 合 {a，5，c，4d} 的 12 个 2 排列 是 
ab,ac,ad ,ba,bc,bd,ca,cb,cd,da,db,dc 
对 于 集合 的 排列 ， 其 第 一 个 元 素 有 nn 种 选择 ,第 二 个 元 素 有 n 一 1 种 选择 ， 依 此 类 推 ， 直 到 选择 
出 & 个 元 素 ， 最 后 被 选中 的 元 素 是 从 剩余 的 n 一 & 十 1 个 元 素 中 选 出 的 。 因 此 ， 其 可 能 的 排列 数目 是 


= ant 
n(n—1)(n—2)*.…(n 一 上 k 十 1) = ery (GH 


组 合 
n 集 合 S 的 一 个 & 组 合 是 S 的 一 个 & 子 集 。 例 如 ，4 集合 {e，2，c<，d} 有 6 个 2 组 合 : 
ab,ac,ad pocypd ,cd 

(将 2 子 集 {a， 6} 简写 为 a6， 其 他 同 理 。) 通 过 从 集合 中 选择 出 & 个 不 同 的 元 素 ， 我 们 可 以 构建 
集合 的 一 个 组 合 。 该 过 程 中 元 素 选择 的 顺序 对 组 合 没有 影响 。 

我 们 可 以 用 n RAH k 排列 的 数目 来 表示 n 集合 的 & 组 合 的 数目 。 每 个 组合 恰 有 &! 个 其 
元 素 的 排列 ， 其 中 每 一 个 都 是 nn 集合 的 一 个 不 同 的 & 排列 。 因 此 ，n 集合 的 & 组 合 的 数目 就 是 
排列 的 数目 除 以 &!; 由 等 式 (C. DG, RAW 


n! 
kiin—&)! ead) 
对 于 R=0 的 情况 ， 由 该 公式 可 知 ， 集合 中 选 出 0 个 元 素 的 方法 数 是 1( 而 不 是 0) ， 因 为 0! =1. 
二 项 系数 
符号 (% ) ( 读 作 “n 选 ”) 表 示 集合 中 组合 的 数目 。 由 等 式 (C. 2) 可 得 
n n! 
(4) = klak)! 
此 公式 对 与 n 一 k 是 对 称 的 : 
Ce (C. 3) 
因为 这 些 数 出 现在 二 项 展开 式 中 ， 所 以 称 其 为 二 项 式 系 数 : 
(Zz 十 y)" = 5 G )zty™ (C. 4) 
二 项 展开 式 的 一 个 特例 是 ， 当 r=y=1 时 ， 
a= >)(") 


k=0 


这 个 公式 对 应 于 利用 二 进 制 n 串 中 所 含 1 的 个 数 来 计数 2" 个 这 类 串 的 过 程 ， 因 为 从 个 位 置 中 
选择 & 个 放置 1 的 方法 数 是 (%) ， 所 以 有 (% ) 个 二 进 制 n 串 恰好 含 & 个 1。 


许多 恒等式 都 含有 二 项 式 系数 。 本 节 的 练习 中 提供 了 几 道 这 类 恒等式 的 证 明 题 。 
二 项 式 界 
有 时 我 们 需要 确定 二 项 式 系 数 大 小 的 界 。 对 于 Skin, HEH 


ae a ee 


利用 由 斯 特 林 近似 (公式 (3. 18)) 得 到 的 不 等 式 &! 三 (&/e)*， 可 以 获得 其 上 界 


OSes) 


对 于 所 有 满足 O<k<n 的 整数 k， 用 归纳 法 ( 见 练习 C. 1-12) 可 以 证 明 其 界 


(C. 5) 


附录 C 计数 与 概率 。 695 


n eee een C6 
(K) <Pa—b™ ( ) 
其 中 为 方便 起 见 ， 假设 0 二 1。 对 于 ==Xn， 其 中 04 夸 1， 可 以 将 界 写 作 
n n” LACTA NN o 
.) <Gaetalpae x its} faa) ) : 
其 中 
HQ) =—AlgA— A—-A) lg(1 一 人) (C. 7) 


fe— 7 (dt MBM, HP ATER, 假设 0lg0= 二 0， 从 而 五 (0) 三 瓦 (1) 一 0。 


练习 


C. 1-1 


C. 1-2 


G13 
C. 1-4 


C. 1-5 


C. 1-6 


C 1-7 


C. 1-8 


C 1-9 


请 问 一 个 nn 串 中 有 和 多少 个 & 子 串 ? KREME ERRER k FAA AFB — A nh 
总 共有 多 少 个 子 串 ? 
有 nn 个 输入 、m 个 输出 的 布尔 函数 是 从 {TRUE，FALSE)" 到 {TRUE，FALSE) 的 一 个 
函数 。 请 问 有 多 少 个 有 nn 个 输入 、1 个 输出 的 布尔 函数 ? 有 多 少 个 有 个 输入 、m 个 输出 
的 布尔 函数 ? 
请 问 让 个 教授 围 坐 在 圆 形 会 议 桌 的 方法 有 多 少 种 ?如 果 两 种 座次 中 ， 一 种 可 以 通过 旋 
转变 成 另 一 种 ， 则 视 这 两 种 座次 相同 。 
请 问 从 集合 {(1，2，…，99} 中 选 出 三 个 不 同 的 数字 ， 并 且 这 三 个 数字 的 和 为 偶数 的 方法 
有 多 少 种 ? 
证 明 如 下 恒等式 在 0 二 kn 时 成 立 : 

n n—1 

G=) (C. 8) 
证 明 如 下 恒等式 在 <k <n 时 成 立 : 


n n—1 
为 了 从 nn 个 对 象 中 选择 & 个 ， 可 以 从 这 些 元 素 中 选 出 一 个 作为 特殊 元 素 ， 并 且 考 虑 是 否 
选中 该 特殊 元 素 。 请 使 用 这 一 方法 证 明 


aa FG 


使 用 练习 C. 1-7 的 结论 ， 为 二 项 式 系数 (% ) 制作 一 个 表格 ， 其 中 "一 0，1，…，6，0<k< 





n。 表 格 中 (0 ) 在 最 顶 行 ，( 7) 和 ( ] ) 在 下 一 行 ， 依 此 类 推 。 这 样 的 一 个 二 项 式 系数 表格 称 


为 帕斯卡 三 角 。 
证 明 


Si (Ct) 


C 1-10 证 明 : PAE REM n0 HOn, (7) k= n/2 RA k= [n/2 WEEK 
*C. 1-11 证 明 : 对 于 任意 整数 n>0, j>0, k>0, Hi tk<n, 有 


n n\ (n—j 
enone (C9) 
请 给 出 公式 的 代数 证 明和 基于 从 x 个 物品 中 选 7 十 k 个 的 方法 的 论证 。 并 请 给 出 相等 关 
系 不 成 立 的 一 个 例子 。 
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*C. 1-12 ”对 满足 O<k<n/2 的 所 有 整数 & 使 用 归纳 法 证 明 不 等 式 (C. 6)， 并 用 等 式 (C. 3) 将 公式 
(C. 6) 推 广 到 满足 0<k<n 的 所 有 整数 上 上。 
*C. 1-13 ”利用 斯 特 林 近 似 证 明 : 
(omy (C. 10) 
n? Vm 
*C. 1-14 KRR H(X) 进 行 微分 ， 证明 其 在 4 二 1/2 时 取得 最 大 值 。 请 问 H(1/2) 是 多 少 ? 
*C.1-15 WEH: 对 于 任意 整数 n=0, A 


5 (7) = n2 (C.11) 


C.2 概率 


概率 是 概率 与 随机 化 算法 设计 和 分 析 的 重要 工具 。 本 节 回 顾 了 基础 概率 理论 。 

我 们 借助 样本 空间 S 来 定义 概率 。 样 本 空间 是 基本 事件 的 集合 。 每 个 基本 事件 可 以 视 为 某 
个 试验 的 一 个 可 能 结果 。 对 于 抛 两 枚 不 同 硬币 的 试验 ， 每 枚 硬币 要 么 正面 朝 上 (H)， 要 么 反面 朝 
上 (T)， 则 其 样本 空间 可 以 视 为 {H，T} 上 所 有 可 能 的 2 PHRA: 

S={HH, HT, TH, TT} 

事件 是 样本 空间 S 的 一 个 子 集 ? 。 例 如 ， 在 一 次 抛 两 枚 硬币 的 试验 中 ， 一 枚 硬币 正面 、 另 一 
枚 硬币 是 反面 的 事件 是 {HT，TH)})。 事 件 S 称 为 必然 事件 ， 而 事件 纪 称 为 空 事件 。 如 果 两 个 事 
件 A 和 B 满足 ANmB= 名 ， 则 它们 是 互 斥 的 。 有 时 ， 我们 将 基本 事件 SCS 看 做 事件 {*}。 由 定义 
知 ， 所 有 基本 事件 都 是 互 斥 的 。 

概率 论 公理 

样本 空间 S 上 的 概率 分 布 Pr{ } 是 一 个 从 S 的 事件 到 实数 的 映射 ， 它 满足 如 下 概率 论 公理 : 

1. 对 于 任意 事件 A，Pr{A} 宇 0。 

2. Pr{S}=1, 

3. 对 于 两 个 互 斥 事件 A 与 刀 ， 有 Pr(AUB}=Pr(A} 十 Pr{B}。 更 一 般 地 ， 对 于 任意 (有 限 或 
者 可 数 无 限 ) 事 件 序列 Ai，A:，…， 若 其 两 两 互 斥 ， 则 有 


Pr{ U 4.}= 2 Pr{A.) 


我 们 称 Pr{A} 为 事件 A 的 概率 。 这 里 注意 ， 公 理 2 是 一 条 正规 化 要 求 : 选择 1 作为 必然 事件 的 概 
率 没有 什么 很 重要 或 特别 的 理由 ， 仅 仅 是 因为 这 种 选择 比较 自然 且 方 便 。 
由 上 面 几 个 公理 与 基本 集合 理论 ( 见 B. 1 节 ) 可 以 很 快 得 到 下 面 几 个 结论 。 空 事件 名 的 概率 
AA Pr{S}=0, WR ACB, Mj Pr{A} 三 Pr{B)}。 用 A 来 表示 事件 S 一 A(A 的 补 )， 则 有 Pr{A} = 
1 一 Pr{A}。 对 于 任意 两 个 事件 A 和 B， 
Pr{A U B}= Pr{A} + Pr{B} — Pr{A N B} (C. 12) 
< Pr{A} + Pr{B} (C. 13) 
在 抛 硬币 的 例子 中 ， 假 定 4 个 基本 事件 的 概率 均 为 1/4， 则 至 少 有 一 枚 硬币 正面 朝 上 的 概率 是 
Pr{HH,HT,TH}= Pr{ HH} 十 Pr(HT) 十 Pr(TH) = 3/4 
另 一 种 做 法 是 ， 由 于 得 到 少 于 一 枚 硬币 正面 朝 上 的 概率 是 Pr{TT}) = 二 1/4， 则 获得 至 少 一 枚 硬币 
正面 朝 上 的 概率 是 1 一 1/4=3/4。 


O 对 于 一 般 的 概率 分 布 ， 样 本 空间 S 中 可 能 存在 一 些 子 集 不 被 视 为 事件 。 这 种 情况 经 常 发 生 在 样本 空间 是 无 限 不 可 
数 时 。 子 集 可 以 是 事件 的 主要 要 求 是 ， 样 本 空间 中 的 事件 集合 在 求 补 运算 下 ， 有 限 或 无 限 可 数 个 事件 在 求 并 运算 
下 ， 以 及 有 限 或 无 限 可 数 个 事件 在 求 交 运算 下 封闭 。 我 们 看 到 的 大 部 分 概率 分 布 都 是 在 有 限 或 可 数 样本 空间 上 ， 
因此 通常 可 以 将 样本 空间 的 所 有 子 集 看 做 事件 。 一 个 需要 注意 的 例外 是 连续 均匀 概率 分 布 ， 稍 后 将 会 讨论 它 。 
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离散 概率 分 布 
如 果 一 个 概率 分 布 定义 在 有 限 或 者 无 限 可 数 的 样本 空间 上 ， 则 该 概率 分 布 是 离散 的 。 令 S 是 样本 
空间 ， 则 对 于 任意 事件 A， 因 为 基本 事件 (具体 来 说 ， 就 是 A 中 的 基本 事件 ) 是 互 斥 的 ， 所 以 有 
Pr{A} = >)Prf{s} 


如 果 S 是 有 限 的 ， 且 每 个 基本 事件 SES 的 概率 为 
Pr{s} = 1/|S| 

则 得 到 的 概率 分 布 为 S 上 的 均匀 概率 分 布 。 在 这 种 情形 下 ， 常 常用 “从 S 中 随机 选择 一 个 元 素 ” 
来 描述 试验 。 

例如 ， 考 虑 抛 一 枚 均匀 硬币 ， 其 中 得 到 正面 的 概率 与 反面 的 概率 是 一 样 的 ， 均 为 1/2。 如 果 
抛掷 该 硬币 部 次 ， 则 有 定义 在 样本 空间 S={H，T)}"” 上 的 均匀 概率 分 布 ， 其 大 小 为 2" 。 我 们 可 以 
ES 中 的 基本 事件 表示 为 {H，T} 上 的 长 度 为 的 一 个 串 。 每 个 串 出 现 的 概率 均 为 1/2" 。 事 件 

A= {人 & 枚 硬币 正面 朝 上 ,n 一 kk 枚 硬币 反面 朝 上 } 


是 S 的 一 个 子 集 ， 且 其 大 小 为 |A| =(%)， 因 为 {H，T} 上 有 (% ) 个 长 度 为 n 的 串 正 好 包含 个 


H. 因此， 事件 A 的 概率 是 Pr(A} 一 人 ) /2"。 


连续 均匀 概率 分 布 

在 连续 均匀 概率 分 布 中 ,不 是 所 有 样本 空间 的 子 集 都 被 看 做 事件 。 连 续 均 匀 概 率 分 布 定 义 
在 实数 闭 区 间 [La，5] 上 ， 其 中 a=<5。 从 直观 上 来 看 ， 连 续 均匀 概率 分 布 的 区 间 [La，5] 上 的 每 一 点 
都 是 “等 可 能 的。 然而， 由 于 区 间 内 有 不 可 数 个 点 ， 如 果 赋 予 每 个 点 同样 的 有 限 的 正 概率 ， 则 不 
可 能 同时 满足 公理 2 和 公理 3。 出 于 这 个 原因 ， 我 们 更 倾向 赋予 S 的 部 分 子 集 以 概率 ， 用 这 种 方 
式 来 满足 公理 。 

对 于 闭 区间 [Lc，4dj]j， 其 中 a<c<d<6b， 连 续 均匀 概率 分 布 定义 事件 Lc，d]j 的 概率 为 





Pr{[c,d]} = gos 
注意 ， 对 于 任意 点 zx 王 Lz，Zz]， 其 概率 为 0。 若 将 区 间 [c， 中 的 两 端点 去 掉 ， 则 可 以 得 到 开 区 间 
Cc, d), Ale, dJ=[c, JUC, d)ULd, d] 5243 WM, Prifce, d]}=Pr{(c, d)}. 一般 


而 言 ， 连 续 均匀 概率 分 布 中 所 有 事件 的 集合 包含 了 样本 空间 [La，6] 中 任意 可 由 有 限 个 或 可 数 个 开 
区 间 和 闭 区 间 的 并 得 到 的 子 集合 ， 同 时 也 包含 了 某 些 更 复杂 的 集合 。 

条 件 概率 与 独立 

有 时 ， 我 们 知道 一 些 关 于 试验 结果 的 先 验 知识 。 例 如 ， 假 定 你 的 一 个 朋友 抛掷 了 两 枚 均匀 硬币 ， 
并 告诉 你 其 中 至 少 有 一 枚 正面 向 上 。 那 么 两 枚 硬币 都 是 正面 向 上 的 概率 是 多 少 ? 这 里 给 出 的 信息 排除 
了 两 枚 硬币 均 为 反面 向 上 的 可 能 。 因 为 剩余 的 三 个 基本 事件 是 等 可 能 的 ， 所 以 可 以 推出 每 个 事件 发 生 
的 概率 均 为 /3。 因 为 只 有 一 个 基本 事件 中 有 两 枚 硬币 均 正 面向 上 ， 所 以 该 问题 的 答案 是 1/3。 

条 件 概率 形式 化 了 关于 试验 结果 部 分 先 验 知识 的 概念 。 已 知事 件 BRA, 事件 A 的 条 件 概 
率 的 定义 为 


Pr{A| B} = PA gE (C.14) 


其 中 Pr{B} 隆 0。(*Pr{A|B}” 读 作 “ 在 B RIEF A 的 概率 ”。) 直 观 上 ， 因 为 已 知事 件 B 发 生 ， 则 
A 也 发 生 所 构成 的 事件 是 A 门 B。 也 就 是 说 ，A 门 B 是 A 与 B 同时 发 生 的 结果 集合 。 因 为 结果 是 
B 中 的 一 个 基本 事件 ,我 们 将 B 中 所 有 基本 事件 的 概率 除 以 Pr{B} 来 对 概率 进行 正规 化 ， 以 使 其 
和 为 1。 因 此, BREA 发 生 的 条 件 概率 是 事件 A 门 B 的 概率 与 事件 B 的 概率 的 比值 。 在 上 
面 的 例子 中 ， 事件 A 是 两 枚 硬币 均 正 面 朝 上 ， 事件 B 是 至 少 有 一 枚 硬币 正面 朝 上 。 因 此 ， 
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Pr{A| B}=(1/4)/(3/4)=1/3 


若 
Pr{A N B} = Pr{A}Pr{B} (C. 15) 


则 称 两 个 事件 是 独立 的 ， 若 Pr{B} AO, WILE FARE 
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Pr{A| B} = Pr{A} 
例如 ， 假 定 扔 两 枚 均匀 硬币 且 其 结果 是 独立 的 ， 则 得 到 两 个 正面 朝 上 的 概率 是 (1/2)(1/2) 二 1/4。 
现在 假定 一 个 事件 是 第 一 枚 硬币 正面 朝 上 ， 另 一 个 事件 是 两 枚 硬币 不 同 面 朝 上 。 这 两 个 事件 中 
每 一 个 发 生 的 概率 均 为 1/2， 两 者 同时 发 生 的 概率 为 1/4; 因此 ， 尽 管 读者 可 能 认为 两 个 事件 均 
依赖 于 第 一 枚 硬币 的 结果 ， 但 根据 独立 的 定义 ， 两 个 事件 是 独立 的 。 最 后 ， 假 定 两 枚 硬币 被 焊 在 
了 一 起 ， 这 样 它们 要 么 同时 正面 朝 上 要 么 同时 反面 朝 上 ， 且 这 两 种 结果 是 的 等 可 能 的 。 这 样 ， 每 
枚 硬币 正面 朝 上 的 概率 均 为 1/2, 但 是 两 枚 硬币 均 正面 朝 上 的 概率 为 1/2 隆 (1/2)(1/2)。 因 此 ， 
一 枚 硬币 正面 朝 上 的 事件 和 另 一 枚 硬币 正面 朝 上 的 事件 不 是 独立 的 。 
如 果 对 于 所 有 1 入 ;<7j 委 2， 有 
Pr{A; N Aj} = Pr{A;}Pr{A;} 
则 称 事件 A, ，A: -+, A, 两 两 独立 。 如 果 这 些 事件 的 每 一 个 & 子 集 A,， ’ A, a Seas A, > 其 中 
2<k<n H ISi Sin. <<, <n, WME 
Pr{A; N A, N + N A;} = Pr{A; }Pr{A, }---Pr{A; } 
则 称 这 些 事 件 (相互 ) 独 立 。 
以 扔 两 枚 均匀 硬币 为 例 ， 令 事件 A, 为 第 一 枚 硬币 正面 朝 上 ， 令 事件 A, 为 第 二 枚 硬币 正面 
朝 上 ， 并 令 事 件 A; 为 两 枚 硬币 不 同 面 朝 上 。 我 们 有 
Pr{A, 
Pr{A, 


= 1/2 
= 1/2 
Pr{A;}= 1/2 
Pr{A; N A:}= 1/4 
Pr{A N A;}= 1/4 
Pr{A; N A;}= 1/4 
Pr{A, N A: N A;}= 0 
因为 对 于 1<i<j 二 3, RIA Pr{A;MA;}=Pr{A;} Pr{A;}=1/4, JHF A, A: Al As 是 两 两 独立 
的 。 然而， 因为 Pr{A,MA,MA;}=0 H Pr{Al}Pr{As}Pr{A;}= 二 1/8 隆 0，， 所 以 这 三 个 事件 不 是 相 
互 独 立 的 。 
贝 叶 斯 定理 
根据 条 件 概 率 的 定义 (公式 (C. 14)) 与 交换 律 A 站 B=BPA， 对 于 两 个 概率 不 为 0 的 事件 A 
和 B， 有 


~~ ~~ 


Pr{A N B}= Pr{B}Pr{A| B} = Pr{A}Pr{B | A} (C. 16) 


Pr{A| B} = PAPELA) |A; (C. 17) 


该 公式 称 为 贝 叶 斯 定理 。 除 数 Pr{B} 是 一 个 正规 化 常数 ， 我 们 将 其 形式 重新 变换 如 下 。 因 为 B= 
(BNA)U(BNMA), H BNA 与 BNA 是 互 斥 事 件 ， 所 以 

Pr{B}= Pr{B N A} +Pr{B N A} = Pr{A}Pr{B | A} + Pr{A}Pr{B | A} 
将 此 式 代入 等 式 (C. 17) ， 得 到 贝 叶 斯 定理 的 一 个 等 价 形式 : 


Pr{A| B} = Pr{A}Pr{B | A} 


Pr{A}Pr{B | A} + Pr{A}Pr{B | A} Nene 
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贝 叶 斯 定理 可 以 简化 条 件 概率 的 计算 。 例 如 ， 假 定 有 一 枚 均匀 硬币 和 一 枚 抛掷 时 总 是 正面 
向 上 的 非 均匀 硬币 。 我 们 进行 一 个 包含 三 个 独立 事件 的 试验 : 随机 选择 两 枚 硬币 其 中 之 一 ， 连 续 
抛掷 两 次 。 假 定 选择 的 硬币 两 次 均 正 面 朝 上 ， 则 该 硬币 为 非 均匀 硬币 的 概率 是 多 少 ? 

这 个 问题 可 以 用 贝 叶 斯 定理 来 解决 。 令 事件 A 是 选中 了 非 均匀 硬币 ， 并 令 事件 B 为 选中 的 硬 
币 两 次 均 正 面 朝 上 。 我 们 需要 计算 Pr{A| B} 。 因 为 有 Pr{A}=1/2, Pr{B | A}=1, Pr{A}=1/2 和 
Pr{B | Ay=+3 所 以 ， 
1 
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练习 
C. 2-1 Rosencrantz 教授 抛掷 一 枚 均匀 硬币 一 次 。Guildenstern 教授 抛掷 一 枚 均匀 硬币 两 次 。 
Rosencrantz 教授 得 到 的 正面 朝 上 结果 数 多 于 Guildenstern 教授 的 概率 是 多 少 ? 
C. 2-2 ”证明 布 尔 不 等 式 : 对 于 有 限 或 可 数 无 限 事件 序列 A，A: ，…， 
Pr{A, U A: U *…} < Pr{A,} 十 Pr(A:) 十 … (C. 19) 
C.2-3 假设 有 10 张 牌 ， 每 张 牌 上 分 别 标 有 从 1 到 10 的 数字 ， 且 每 张 牌 上 的 数字 均 不 同 ， 将 牌 
充分 混合 。 然 后 从 牌 堆 中 一 次 一 张 地 移 除 三 张 牌 。 那 么 我 们 选 出 的 三 张 牌 按照 (递增 ) 顺 
序 排列 的 概率 是 多 少 ? 
C. 2-4 证 明 : 
Pr{A|B}+Pr{A | B} =1 
C.2-5 证 明 : 对 于 任意 事件 集 Ay,» Ags sts Ans 
PrtA N Az N … N A,} =Pri{A,} . Pr{A, | Ai} + Pr{A; | Ay N A} 
Pr{A, | A, N A; Ne 1 Ana} 
*C. 2-6 ”描述 一 个 以 整数 a 和 2 为 输入 的 过 程 ， 其 中 0 一 ae 于 2。 在 这 个 过 程 中 ， 抛 掷 均匀 硬币 ， 结 
果 为 正面 朝 上 的 概率 为 a/6， 反 面 朝 上 的 概率 为 (6 一 a)/2。 请 给 出 抛掷 硬币 次 数 期 望 的 
界 ， 应 为 O(1)。( 提 示 : 将 a/b RRA Hil.) 
*C.2-7 请 给 出 构造 满足 下 列 条 件 的 集合 的 方法 : 集合 中 元 素 为 两 两 独立 的 nn 个 事件 ， 但 不 存在 
包含 >2 个 相互 独立 元 素 的 事件 子 集 。 
*C. 2-8 已 知事 件 C 发 生 ， 如 果 
Pr{A AN B | C} = Pr{A | C} - Pr{B | C} 
则 称 两 个 事件 A 和 B 是 条 件 独立 的 。 请 给 一 个 简单 而 非 平凡 的 例子 ， 其 中 两 个 事件 不 独 
立 ， 但 是 在 已 知 第 三 个 事件 发 生 时 条 件 独 立 。 
*C. 2-9 ”你 参加 一 个 游戏 。 该 游戏 将 奖品 藏 在 了 三 个 幕布 之 后 。 如 果 你 选 对 了 幕布 ， 则 可 以 赢得 
奖品 。 在 你 选择 了 一 个 幕布 后 ， 但 是 幕布 还 未 揭 开 之 前 ， 主 持 人 会 揭 开 另 两 个 幕布 中 一 
个 空 幕布 (主持 人 知道 哪个 幕布 后 是 空 的 )， 之 后 会 询问 你 要 不 要 改变 你 的 选择 。 请 问 如 
果 你 改变 了 选择 ， 那 么 你 赢得 奖品 的 几率 将 如 何 改变 ? (这 一 问题 是 著名 的 Monty hall 问 
题 ， 是 以 一 个 主持 人 经 常 让 参赛 者 陷入 这 种 困境 的 节目 命名 的 ,) 
*C. 2-10 一 个 监狱 看 守 从 三 个 罪犯 中 随机 挑选 一 个 释放 ， 并 处 死 男 两 人 。 这 个 看 守 知 道 每 个 人 会 
被 释放 还 是 处 死 ， 但 是 被 禁止 透漏 给 囚犯 其 自身 的 处 置信 息 。 称 罪犯 为 X、Y 和 Z。 罪 
JE XX 以 他 已 经 知道 了 Y 和 2Z 中 至 少 有 一 人 会 死 为 理由 ， 私 下 问 警卫 两 人 中 哪个 会 被 处 
死 。 警 卫 不 能 透露 给 X 关于 他 自身 的 信息 ， 但 他 告诉 了 X, 了 将 被 处 死 。X 感到 很 开 
心 ， 因 为 他 认为 他 或 者 Z 将 被 释放 ， 这 意味 着 他 被 释放 的 概率 现在 是 1/2 了 。 请 问 他 的 
想法 正确 吗 ， 或 者 他 被 释放 的 概率 仍 为 1/3? 请 解释 。 
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C.3 离散 随机 变量 
(离散 ) 随 机 变量 X 是 从 一 个 有 限 或 可 数 无 限 样本 空间 S 到 实数 的 函数 。 它 将 每 个 试验 可 能 
的 结果 与 一 个 实数 关联 起 来 ， 这 使 得 我 们 可 以 分 析 结 果 数 集 上 的 概率 分 布 。 随 机 变量 也 可 以 定 
义 在 不 可 数 无 限 样本 空间 上 ,但 是 这 么 做 会 引起 一 些 技术 问题 ， 这 对 我 们 的 目标 是 不 必要 的 。 因 
此 ,我们 将 假定 随机 变量 是 离散 的 。 
对 于 随机 变量 X 和 实数 zx， 定义 事件 XS HES: X(s)=z}; 因此 
Pr(X=z}= J, Pris} 


sES:X(ex 


函数 
f(x) = Pr{X = x} 


是 随机 变量 X 的 概率 密度 函数 。 由 概率 公理 可 知 ，Pr{X=z) 宇 0 且 >) PriX=2z}=1. 


举例 来 说 ， 考 虑 掷 一 对 普通 的 6 AR. FEARS IB) PA 36 个 可 能 的 基本 事件 。 假 定 概率 
分 布 是 均匀 的 ， 从 而 每 个 基本 事件 SES 均 为 等 可 能 的 : Pr{s} 王 1/36。 定 义 随机 变量 X API 
子 值 中 最 大 的 那个 。 我 们 有 Pr(X=3})=5/36, AA XH 3 指派 给 36 个 可 能 基本 事件 中 的 5 个， 
BNC1, 3). (2, 3), (3, 3). (3, DAC, D. 

我 们 经 常 在 同一 个 样本 空间 中 定义 若干 个 随机 变量 。 若 X 和 了 是 随机 变量 ， 则 函数 

f(x,y) =PrixX=zHY=y} 
E X 与 了 的 联合 概率 密度 函数 。 对 于 定 值 y， 
Pr{Y = y} = SPHiX=2H Y= y) 


类 似 地 ， 对 于 定 值 zx， 
Pr{X =z) = >) Pr{X=2zH Y= y} 


使 用 条 件 概率 的 定义 (公式 (C. 14), A 


A A De n 


定义 两 个 随机 变量 XX 与 Y 是 独立 的 ， 如 果 对 于 所 有 的 x 和 y， BE X=2 A Y= y 是 独立 的 ,或 
者 等 价 地 ， 如 果 对 于 所 有 的 x 和 y， 有 Pr{X=x 且 Y=y)}==Pr{X==x}Pr{Y==y}。 

给 定 一 个 定义 在 相同 样本 空间 上 的 随机 变量 集合 ， 我 们 可 以 定义 新 的 随机 变量 ， 例 如 乘积 、 
和 或 者 其 他 原始 变量 的 函数 。 

随机 变量 的 期 望 值 

对 于 一 个 随机 变量 来 说 ， 关 于 其 分 布 的 最 简单 、 最 有 效 的 概括 是 它 具 有 取 值 的 “平均 ”。 离 散 
随机 变量 X 的 期 望 值 (期 望 或 均值 ) 是 

ELX] = S)x + Pr{X = zx} (C. 20) 


当 该 和 是 有 限 的 或 绝对 收敛 时 ， 它 是 有 定义 的 。 有 时 ，X 的 期 望 可 以 表示 为 yx， 或 者 当 随 机 变 
量 在 上 下 文中 显然 时 ， 可 以 简写 为 w。 

考虑 扔 两 枚 均匀 硬币 的 游戏 。 游 戏 者 对 于 每 枚 正面 朝 上 的 硬币 可 以 赢 3 美元 ， 对 于 每 枚 反面 
朝 上 的 硬币 要 输 掉 2 美元 。 表 示 收 入 的 随机 变量 X 的 期 望 是 

E[X]= 6 + Pr{2H} +1 + Pr{1H,1T} —4 + Pr{2T} 
= 6(1/4) + 11/2) —4(1/4) = 1 
两 个 随机 变量 的 和 的 期 望 与 它们 的 期 望 之 和 相等 ， 即 
ELX +Y] = E[X]+E[Y] (G21) 

Jip, ELXIS ELYZ 需 有 定义 。 我 们 称 这 个 性 质 为 期 望 的 线性 性 质 ， 并 且 即 使 X 与 了 不 独立 ， 
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该 性 质 也 成 立 。 这 一 性 质 可 以 扩展 到 有 限 的 以 及 绝对 收敛 的 期 望 和 上 。 期 望 的 线性 性 质 是 允许 
我 们 使 用 指标 随机 变量 进行 概率 分 析 的 关键 性 质 ( 见 5. 2 节 )。 
如 果 X 是 随机 变量 ， 任 何 函 数 g(z) 定 义 一 个 新 的 随机 变量 g(X)。 如 果 g(x) 的 期 望 有 定 
义 ， 则 
E[g(X)] = >Jg(z)。Pr{(X = 2} 


S g(z) 三 ax， 则 对 于 任意 常数 a, 


E[aX ] = aELX] (C. 22) 
所 以 ， 期 望 是 线性 的 : 对 于 任意 两 个 随机 变量 X ALY 以 及 任意 常数 4a， 有 
E[aX +Y] = aE[X] + ELY] (C. 23) 


当 两 个 随机 变量 X 和 独立 且 期 望 有 定义 时 ， 
ELXY]= bP Dzy “Pr{X=ZzHY=y)}= DY Dzy 。 Pr{X = x}Pr{Y = y} 


= (Sx - Pr{X = z}) (Dy + Pr{Y = y}) = ECXJELY] 
通常 ， 当 nn 个 随机 变量 XX ，X: ，…，X, 互相 独立 时 ， 


ELX, X:+ X, ] = ELX, JELX, ]---ELX, ] (C. 24) 
当 随 机 变量 X 可 在 自然 数 集 N= 二 {0，1，2，…}) 中 取 值 时 ， 有 一 个 很 好 的 期 望 计算 公式 : 
和 
= 六 PiX >i) (C. 25) 


因为 在 公式 推导 过 程 中 ， 每 一 项 Pr{X 宇 让 被 加 了 i 次 ， 又 被 减 了 i 一 1 次 (除了 Pr{X 宇 0},， 它 被 
加 0 次 ， 从 未 被 减 过 )。 
当 我 们 将 一 个 上 是 函数 f(z) 应 用 到 随机 变量 X 上 时 ， 假定 期望 存在 且 有 限 ， 由 詹 森 不 等 式 得 
E[f(X)] > fCELX])) (C. 26) 
(如 果 对 于 所 有 x, y 和 所 有 OSA<1, A fz 十 (1 一 和 yy 二 Af(z) 十 (1 一 A)f(y)， 则 函数 f(x) 是 
LAR.) 
方差 和 标准 差 
随机 变量 的 期 望 并 不 会 反映 出 变量 值 的 分 布 与 发 散 情况 。 例 如 ， 若 有 随机 变量 X 和 Y， 其 
中 Pr{ X=1/4} =Pr{ X=3/4} =1/2 H. Pr(Y=0}=Pr{Y=1}=1/2, ABA ELX]45 ELLY] 1/2, 
但 是 Y 的 实际 取 值 离 均值 比 X 的 实际 取 值 离 均 值 远 得 多 。 
方差 的 概念 在 数学 上 表达 了 一 个 随机 变量 可 能 离 均 值 有 多 远 。 均 值 为 ELX] 的 随机 变量 X 的 
方差 为 
Var[X]= E[(X— E[X])?] = ELX — 2XELX] + E[X]] 
= E[ X? ]— 2E[XELX]] +E [X] 
= E[ X] — 2E[X]+ ELX] = ELX] — ELX] (C. 27) 
注意 ， 因 为 ELXj 是 实数 而 不 是 随机 变量 ，E: [Xj 也 是 实数 ， 所 以 有 ELE CXIJ=E CX]. FX 
ELXELX]] 二 户 [X] 遵 从 等 式 (C. 22)， 其 中 a 王 ELX]。 重 写 等 式 (C. 27) 得 到 随机 变量 平方 的 期 望 
的 一 个 表达 式 : 
ELX?] = Var[X] + ELX] (C. 28) 
随机 变量 X 的 方差 与 aX 的 方差 的 关系 为 ( 见 练习 C. 3-10): 
VarLaX ] = a’ Var[ X] 
4 X ALY 是 独立 随机 变量 时 ， 
Var[ X +Y] = Var[X] + Var[Y] 
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通常 ， 如 果 个 随机 变量 Xi ， Xz» 
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ers X, 是 两 两 独立 的 ， 那 么 


Var[ 33x, ]= DY Var XJ (C. 29) 


随机 变量 X 的 标准 差 是 X 的 方差 的 非 负 平方 根 。 随 机 变量 X 的 标准 差 表 示 为 cx， 或 者 当 随 
机 变量 X 在 上 下 文中 很 明确 时 ， 简 写 为 c。 利 用 这 一 符号 ，X 的 方差 表示 为 c 。 


练习 
C.3-1 


C.3-2 


C.3-3 


C.3-4 


*C. 3-5 
*C. 3-6 


*C. 3-7 


我 们 投掷 两 个 普通 的 6 面体 骨 子 。 两 个 角 子 值 之 和 的 期 望 是 多 少 ? MARTER RAK 
值 的 期 望 是 多 少 ? 
数组 A[1. .wj 包含 个 不 同 数字 ， 且 顺序 随机 ， 每 种 排列 均 为 等 可 能 的 。 该 数组 中 最 大 
元 素 下 标的 期 望 是 多 少 ? 最 小 元 素 下 标 值 期 望 是 多 少 ? 
在 一 场 狂欢 节 游戏 中 ， 将 3 个 货 子 放 在 一 个 罩 子 中 。 一 位 游戏 者 可 以 在 1 到 6 中 的 任意 数字 
EWG 1 美元 。 主 持 人 播 罩 子 ， 并 按 如 下 方案 确定 游戏 者 所 得 回报 。 如 果 游 戏 者 赌 的 数字 没有 
出 现在 任何 一 个 明 子 上 ， 则 他 输 掉 1 美元 。 如 果 他 赌 的 数字 恰好 出 现在 个 骨 子 上 ， 
k 二 1，2，3, 则 他 可 以 保留 他 的 1 美元 ， 并 赢得 美元 。 请 计算 玩 这 个 游戏 一 次 的 期 望 收入 。 
证 明 : AX SY BAER BLM, My 
E[max(X,Y)] < ELX] + ELY] 

令 X 与 立 是 独立 随机 变量 。 证 明 对 于 任何 函数 f 与 g，f(X) 和 g(Y7) 是 独立 的 。 
令 X 是 非 负 随机 变量 ， 并 假定 ELX] 是 有 定义 的 。 证 明 马 尔 可 夫 不 等 式 : 对 于 所 有 CO, 

Pr{X >t} < E[X]/t (C. 30) 
& S 为 样本 空间 ，X 和 X' 是 随机 变量 ,满足 对 于 所 有 se S, A XOX C). WEH: 对 
于 任意 实 常 数 + 

Pr{X >t} > Pr{X’ > 2} 


C. 3-8 
C. 3-9 


一 个 随机 变量 的 平方 的 期 望 与 其 期 望 的 平方 哪个 大 ? 
证 明 : 对 于 任意 取 值 仅 为 0 或 1 的 随机 变量 X， 有 VarLX] 二 ELXJ]E[1 一 Xj]。 


C.3-10 根据 方差 定义 (公式 (C. 27)) 证 明 : VarLaX]==a* Var[X]。 


C.4 几何 分 布 与 二 项 分 布 


我 们 可 以 将 掷 硬币 看 做 伯 努 利 试验 的 一 个 例子 。 伯 努 利 试验 有 两 种 可 能 的 结果 : 成 功 ， 其 概 


率 为 p; 失败 ， 其 概率 为 q 二 1 一 p。 当 讨论 多 
个 伯 努 利 试验 时 ， 约 定 这 些 试验 是 相互 独立 
的 ， 且 除非 特殊 说 明 ， 每 个 试验 具有 相同 的 成 
功 概率 p。 从 伯 努 利 试验 得 出 两 个 重要 的 分 
布 : 几何 分 布 与 二 项 分 布 。 

几何 分 布 

假定 我 们 有 一 系列 伯 努 利 试 验 ， 其 中 每 一 
个 的 成 功 概 率 为 p， 失 败 概率 为 g 王 1 一 如 。 在 
获得 一 次 成 功 前 要 进行 多 少 次 试验 ? 定义 随机 
变量 X 为 获得 一 次 成 功 所 需 的 试验 次 数 。X 
的 取 值 范围 为 {1，2，…}， 且 对 于 k 宇 1， 因 为 
一 次 成 功 前 有 一 1 次 失败 ， 所 以 有 

Pr{X = k} = ¢` p (C. 31) 

一 个 满足 等 式 (C. 31) 的 概率 分 布 称 为 几何 分 


5 ) (3) 






Se ace Get (Sy TIa k 
1234567890U RBM 

Cl 成 功 概率 为 p= 二 1/3， 失 败 概率 为 gq=1 一 p 
的 几何 分 布 。 分 布 的 期 望 是 1/p=3 


ti. K C-1 描绘 了 这 样 的 一 个 分 布 。 


假定 9 二 1， 利 用 恒等式 (A. 8) 可 以 计算 几何 分 布 的 期 望 ; 


EFX]1= Veg = 


附录 C 计数 与 概率 
È . q. = 
a. 1/p (C. 32) 


因此 ， 获 得 一 次 成 功 前 平均 要 经 历 1/p 次 试验 。 这 是 一 个 很 直观 的 结论 。 方 差 也 可 以 用 类 似 方 


法 计算 ,但 是 需要 利用 练习 A. 1-3, 方差 是 


Var[ X] = q/p’ 


(C. 33) 


举例 来 说 ， 假 定 我 们 反复 折 两 个 角 子 直到 获得 一 个 7 或 11。36 个 可 能 的 结果 中 ，6 个 可 以 得 
到 7，2 个 可 以 得 到 11。 因 此 ， 成 功 的 概率 为 p 二 8/36 二 2/9， 并 且 我 们 必须 平均 撕 1/p=9/2=4.5 


次 才能 获得 一 个 7 或 11。 
二 项 分 布 


令 一 伯 努 利 试验 的 成 功 概率 为 p， 失 败 概率 为 gq 二 1 一 p， 则 n 次 伯 努 利 试验 中 会 有 多 少 次 成 功 ? 


定义 随机 变量 X 为 n 次 试验 中 成 功 的 次 数 ， 则 X 的 取 值 范围 为 (0，1， 


…，71}。 对 于 & 一 0，1，…，7， 


因为 存在 (” ) 种 方法 来 选 出 n 次 试验 中 哪 次 成 功 ， 而 每 个 发 生 的 概率 是 pg” *, BALL 


Pr{X =k} = 


满足 等 式 (C. 34) 的 概率 分 布 称 为 二 项 分 布 。 为 
方便 起 见 ， 用 下 面 的 符号 定义 一 族 二 项 分 布 : 


beinp) = (Z) ap CC. 35) 

图 C-2 描绘 了 一 个 二 项 分 布 。 名 称 “ 二 项 ”来 源 

于 等 式 (C. 34) 右 侧 是 (p 十 q)" 的 二 项 展开 式 中 
的 第 项 。 因为 p+g=1, 

Se 一 1 


满足 了 概率 公理 2 的 要 求 。 

利用 等 式 (C. 8) ACC. 36) 可 以 计算 一 个 满 
足 二 项 分 布 的 随机 变量 的 期 望 。 令 X 是 服从 二 
项 分 布 b(k; n，p) 的 随机 变量 ， 且 令 q=1—p. 
根据 期 望 的 定义 ， 有 


ECX]= lke Prix =a) 


(C. 36) 


= Sk blk;n,p) 
k=0 


( i pr g"* 


b(k; 15,1/3) 
0.25 


(C. 34) 


0.20 


0.15 
0.10 


0.05 





Bs Shad Ne 
012345 67 8 9 1011 12131415 


C-2 由 15 次 伯 努 利 试验 得 到 的 二 项 分 布 b(k; 
15，1/3)。 其 中 ， 伯 努 利 试验 的 成 功 概 
率 为 p= 二 1/3。 分 布 的 期 望 是 np 二 5 


(根据 等 式 (C. 8)) 


二 np >) ‘om 1) qr 


n—l 
= np > b(kyn— 1,p) 
k=0 
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=np (根据 等 式 (C. 36)) (C. 37) 

通过 使 用 期 望 的 线性 性 质 ， 我 们 可 以 获得 相同 的 结论 ， 同 时 大 幅 减 少 了 算术 运算 量 。 令 X: 

是 描述 第 i 次 试验 中 成 功 次 数 的 随机 变量 ， 则 ELX,J=p-1+q-0=p, FFARR AHA 
质 ( 等 式 (C. 21)), nn 次 试验 中 成 功 次 数 的 期 望 为 


Ex- | DX | = DELX]= Dip =m (C. 38) 


我 们 也 可 以 用 相同 的 方法 来 计算 分 布 的 方差 。 利 用 等 式 (C. 27)， 有 VarLX;] 二 ELX?] 一 
EX] Aw X: 只 能 取 值 0 和 1， 所 以 有 XT =X, mA ELXTJ=ELXiJ=p. Alt, 


Var[LX;] = p— # = p — p) = pq (C. 39) 
我 们 可 以 利用 nn 次 试验 之 间 的 独立 性 来 计算 XX 的 方差 。 因 此 ， 根 据 等 式 (C. 29), 
Var[X]= Var] >) X, | = >) Var[X;] = >) pq = npg (C. 40) 


如 图 C-2 所 示 ， 二 项 分 布 b(k; n, DMR k KM, AB & 达到 均值 zu; 之 后 分 布 
开始 下 降 。 通 过 观察 相 邻 项 之 间 的 比值 ， 我 们 可 以 证 明 二 项 分 布 总 是 符合 此 规律 : 


(")p* qr 
blkyn,p) k _ n!(k—1)!(n—k+1)!p 
b(k—13n, p) n k!(n—k)!n!q 
Lae ro kH 


-ekt Dp 1 十 ("+ Dp—k 
kq kq 


(C. 41) 


当 (n 十 1)p 一 k 是 正 数 时 ， 该 比值 严格 大 于 1。 因 此 ， 对 于 R<(nt+D p 的 情况 ，b(k; n, p)>b(R—-1; 
n， 思 )( 分 布 递增 ); 对 于 k(n 十 Dp HTL, bk; n, P)<b(R—-1; n, pP) (分 布 递 减 )。 如 果 ==(n 十 Dp 
是 一 个 整数 ， 则 5Ck; n, p)=bR—-1; n，p)， 因 此 分 布 在 k(n 十 Dp 处 和 k 一 1 二 (n 十 Dp 一 1=np 一 q 处 
均 取 得 最 大 值 ， 否 则 ， 分 布 在 唯一 整数 处 取 最 大 值 ， 其 中 ,np 一 g<k 二 (十 1)p。 

下 面 的 引 理 给 出 了 二 项 分 布 的 一 个 上 界 。 

引 理 C.1 4AnD>0, 0<p<1, q=1—p HO<k<n, R] 


bkin p) < (2) (R 
证 明 利用 等 式 (C.6)， 有 


sinde (iota (BF) (Ger) “tart (¥) G25)” š 





练习 
C. 4-1 对 几何 分 布 验证 概率 公理 2。 
C.4-2 掷 6 个 山子 平均 要 掷 多 少 次 才能 得 到 3 个 正面 和 3 个 反面 的 结果 ? 
C43 WEH: blk; n, p)=bln—k; n, q), Hh g=1— p. 
C. 4-4 证 明 : 二 项 分 布 b(k; n，p) 的 最 大 值 近似 等 于 1/ V2rmpq， 其 中 q=1—p. 
*C. 4-5 证明: nn 次 伯 努 利 试验 (成 功 概率 为 p= 二 1/n) 一 次 也 未 成 功 的 概率 近似 等 于 1/e。 证明， 只 
有 一 次 成 功 的 概率 也 近似 为 1/e。 
*C.4-6 Rosencrantz 教授 与 Guildenstern 教授 各 扔 一 枚 均匀 硬币 n 次 。 证 明 : 他 们 得 到 正面 朝 上 


次 数 相同 的 概率 为 ( ”)/4"。( 提 示 ， 对 于 Rosencrantz 教授 ， 称 正面 为 成 功 ， 对 于 
Guildenstern 教授 ， 称 背面 为 成 功 。.) 并 用 你 的 结论 来 验证 恒等式 

"\(n\? 2n 

a) =) 


k=O 
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*C.4-7 WEH: 对 于 O<k<n, 
bilkim 1/2) 2 
其 中 HC x) ERRAR C. 7))。 
*C.4-8 ”考虑 次 伯 努 利 试 验 ， 其 中 i 二 1，2，…，n， 第 i 次 试验 成 功 的 概率 为 pi S X 为 表示 
总 成 功 次 数 的 随机 变量 。 令 对 所 有 i 二 1，2，…， nA ppi WH: 对 于 1<k<n， 


k—l 
Pr{X <k} > J, bli;n, p) 
i=0 


xC. 4-9 令 X HRA 次 伯 努 利 试验 构成 的 集合 A 中 总 成 功 次 数 的 随机 变量 ， 其 中 第 i 次 试验 成 
功 的 概率 为 p;， 并 令 X' 为 表示 另 一 个 由 个 伯 努 利 试验 构成 的 集合 A' 中 总 成 功 次 数 的 随 
机 变量 ， 其 中 第 i 次 试验 的 成 功 概率 p'; 宇 p;。 证 明 : 对 于 0<k<n， 
Pr{ X’ >k} >Pr{ X>k)} 
(提示 : 说 明 如 何 通 过 包含 A 中 试验 的 实验 来 获得 A “中 的 伯 努 利 试验 ， 并 使 用 练习 C. 3-7 
中 的 结论 。) 


“C.5 二 项 分 布 的 尾部 


对 于 成 功 概率 为 p 的 伯 努 利 试验 ， 相 比 于 恰好 成 功 &k 次 的 概率 ， 我们 通常 对 n 次 伯 努 利 试验 
中 至 少 或 至 多 有 上 次 成 功 的 概率 更 感 兴趣 。 本 节 中 ， 我 们 研究 二 项 分 布 的 尾部 : 分 布 b(k; n, 
思 ) 中 两 个 远离 均值 np 的 区 域 。 本 节 将 证 明 尾 部 上 的 几 个 重要 界 ( 尾 部 中 所 有 项 的 和 ) 。 
首先 ， 我 们 给 出 分 布 5b(k; n，p) 的 一 个 右 尾 部 的 界 。 通 过 对 换 成 功 与 失败 的 概率 ， 我 们 可 
以 确定 左 尾部 上 的 界 。 
定理 C.2 考虑 n 次 伯 努 利 试 验 的 序列 ， 其 中 成 功 概率 为 p。 令 义 是 表示 成 功 次 数 的 随机 变 
量 ， 则 对 于 0 三 kn， 至 少 成 功 k 次 的 概率 为 
Pr{X > k}= Disn,p) < (i)e 
证 明 对 于 SC{1, 2， n}, 令 事件 As 表示 第 i 次 试验 成 功 ， i€S, 显然 ， 若 |S| =k, 
则 Pr{As} =p. RNA 
Pr{X > kh} = Pr{ 存 在 SC {1,2,…,n}: |S| =k PAs} 


= Pr U As} 
SE, 2enh | S| =# 
Z >> Pr{As} (根据 等 式 (C. 19)) 
S=(1,20sn), | S| = 


下 面 的 推论 又 给 出 了 二 项 分 布 左 尾部 的 定理 。 通 常 ， 我 们 将 一 个 尾部 的 结论 应 用 到 另 一 个 
尾部 的 证 明 工 作 留 给 读者 来 完成 。 

推论 C.3 考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 成 功 概率 为 p。 若 义 是 表示 成 功 次 数 的 随机 变 
量 ,， 则 对 0<kSn， 至 多 成 功 k 次 的 概率 为 


Pr{(X<h)= 六 oem <(" Ja-pt=()a-po a 


下 面 考虑 二 项 分 布 的 左 尾 部 的 界 。 其 推论 证 明 ， 在 远离 均值 时 ， 左 尾部 按 指数 级 缩减 。 
定理 C.4 考虑 nn 次 伯 努 利 试验 序列 ， 其 中 成 功 概率 为 p， 失 败 概率 为 gq 二 1 一 p。 令 处 为 表 
示 总 成 功 数 的 随机 变量 ， 则 对 于 0 二 hk 二 np， 少 于 上 次 成 功 的 概率 为 
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Pr{X<h}= Polisnsp) <<—"L b (kin, p) 
i=0 


np—k 


证 明 这 里 用 A 2 节 中 的 方法 一 -利用 几何 级 数 确定 级 数 > bin) 的 界 。 对 于 i=, 2 
k, BEAC 41), 


bli— ln,p)_ ig z iq = kq 
blizn, p) (n—i+1)p ~ (n—i)p © (n—k)p 
MRS 


NE eee eee ee 
(n—k)p ~(n—np)p nap np 
则 对 于 O<i<k, H 
bGi—13;n, p) = xb(Gi;n, p) 
对 该 不 等 式 和 迭代 R-i 次 ， 得 到 
blizn, p) < x ‘b(k3n, p) 


其 中 0 过 :二 k， 因 此 
类 一 1 l = oo 
Dolin p< Dr bksn,p) < blk;n p) D x 
i=0 m0 i=1 


Se 
Tz knp) ap E RNP? a 


推论 C.5 考虑 nn 次 伯 努 利 试验 ， 其 成 功 概率 为 p， 失 败 概率 为 9 二 1 一 p， 则 对 于 0 二 k<np/2， 
少 于 次 成 功 的 概率 小 于 少 于 上 十 1 次 成 功 的 概率 的 一 半 。 
证 明 因为 k<&np/2 与 gq<1， 所 以 有 


hg (np/2)g _ (np/2)g 
np —k<np—(np/2) np/2 <! ree, 


令 X 是 表示 成 功 次 数 的 随机 变量 ， 由 定理 (C. 4) 和 不 等 式 (C. 42) 可 得 少 于 & 次 成 功 的 概率 为 


k=l 
Prí X <k} = D blin, p) < blk;n, p) 
i=0 





k- 
XAH È bsn, p) < blk;n, p), FELI 


k-i kl 
>) bli;n, p) > bli;n, p) 
a vs = k—l = < 1/2 m 
Polisnsp) DbCisn,p) +blk;n, p) 
i=0 m0 


求 右 尾 部 界 的 方法 与 此 类 似 。 练 习 C. 5-2 要 求 读 者 给 出 其 证 明 。 
推论 C.6 考虑 n 次 伯 努 利 试验 ， 其 中 成 功 概率 为 p。 令 义 为 表示 成 功 次 数 的 随机 变量 ， 则 
对 于 np 一 k<n， 获 得 多 于 尺 次 成 功 的 概率 为 


Pr{X < k} 
Pr(X<k+1} 


Pe(X> bye SnD < GBP chimp) a 
推论 C.7 考虑 nn 次 伯 努 利 试验 ， 其 中 成 功 概率 为 p， 失 败 概率 为 gq 二 1 一 p， 则 对 于 《np 十 
n)/2 二 kR<n， 多 于 尺 次 成 功 的 概率 要 小 于 多 于 一 1 次 成 功 的 概率 的 一 半 。 a 


下 面 的 定理 考虑 次 伯 努 利 试验 ， 其 中 对 于 i 二 1，2,，…，n， 有 成 功 概率 p;。 如 后 续 推论 所 
示 ， 可 以 利用 这 一 定理 ， 通 过 为 每 个 试验 设 定 p, 二 p 来 给 出 二 项 分 布 右 尾部 的 一 个 界 。 

定理 C.8 考虑 次 伯 努 利 试验 ， 其 中 在 第 i(i 二 1，2，…， nn) 次 试验 中 ,成功 概 率 为 pi 
失败 概率 为 q, 一 1 一 p;。 令 尺 为 表示 成 功 总 次 数 的 随机 变量 ， 并 令 py 二 E[X]。 那 么 ， 对 于 r>p 
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Pr(X—p>r} < (4) 
证 明 因为 对 于 任意 0, KM "关于 z 严格 递增 ， 


Pr{X—pSr} = Prie*™ Se} (C. 43) 
其 中 ,a 将 稍 后 被 确定 。 利 用 马尔 可 夫 不 等 式 (C. 30) ， 可 得 
Pr{e*X™ se}eELe ne (C. 44) 


证 明 的 主体 包括 确定 Ee” ] 的 界 和 用 合适 的 值 替代 不 等 式 (C 44) 中 的 a。 首 先 , 求 ELe*”] 
的 界 。 利 用 指标 随机 变量 的 技术 ( 见 5.2 节 ), 令 X= 二 I{ 第 i 次 伯 努 利 试验 成 功 }， 其 中 i==1, 2, …, n 
即 随 机 变量 X 满足 车 第 i 次 伯 努 利 试验 成 功 ， 则 X=1; 若 失败 ， 则 X; 二 0。 因 此 ， 

X= bg 
根据 期 望 的 线性 性 质 ， 
p= ELX] = E[ 2x. ]= 2 ELX.] = DP, 
这 意味 着 
JOES NRD 
AREL], WRX- A 
Eerw ]= E| ee | = Be | = [[ ee] 

等 式 由 公式 (C. 24) 得 来 ， 这 是 因为 随机 变量 X; 之 间 相互 独立 意味 着 随机 变量 € “XP 之 间 相互 独 
立 ( 见 练习 C. 3-5)。 根 据 期 望 的 定义 ， 

ELX J = eX p+ eg, = pie 十 ge < pe? +1< exp(pe) (C. 45) 
其 中 exp(z) 表 示 指 数 函 数 : exp(z) 王 e。( 不 等 式 (C. 45) HARSH a0, qll, e*<e, A 


A<, 同时 最 后 一 行 来 自 不 等 式 (3-12))。 又 因为 4 = Dp 所 以 有 


ELER = [I ECe*- KIS TL exes, ee) = exp( Dp e ) = exp(ue’) (C. 46) 
因此 ， 根 据 等 式 (C. 43) 和 不 等 式 (C. WRC. 46), A 


Pr(X— u Èr} < exp(pe* — ar) (C. 47) 
选择 a= In(r/p) (RAY C. 5-7) ， 得 到 
= in(r/p) __ = pes AS 2 Cae pe 
Pr{X —p>r}< exp{pe rln(r/p)) = exp(r—rln(7r/p)) Gar = (和 x y ag 


当 将 定理 C. 8 应 用 到 成 功 概率 相同 的 多 个 伯 努 利 试验 中 时 ， 可 以 得 出 如 下 确定 二 项 分 布 右 
尾部 界 的 推论 。 

推论 C.9 考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 每 次 试验 成 功 概率 为 po KURRA q=1—p, 
则 对 r>np, 


Pr(X— np > r)= oo Bhsn,p) < (2y 


证 明 根据 等 式 (C. 37), # p= ELX]=np. a 
练习 
*C. S-1 抛掷 一 枚 均匀 硬币 次 都 为 反面 朝 上 的 概率 与 抛掷 一 枚 均匀 硬币 4n 次 得 到 少 于 个 正面 
的 概率 哪个 小 ? 


*C.5-2 证明 推 论 C. 6 和 推论 C. 7。 
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*C. S-3 WEH: 对 于 所 有 满足 0 一 & 一 za/(e 十 1) 的 ac>>0 Mlk, A 


"Na! a ee 
D ("a < +D appt ma a+) 


*C.5-4 证 明 : 若 0 二 k 二 np， 其 中 0 二 p 二 1 H gq=1—p, W 
5 or < i) (5) 
*C.5-5 利用 定理 C. 8 的 证 明 : 对 于 7 二 n 一 py， 
Prip—X>7} < (S=) 
类 似 地 ， 利 用 推论 C. 9 证 明 : 对 于 r >n np, 
Prinp —X > r) < (7) 


*C.5-6 考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 第 i 次 成 功 的 概率 为 p;:， 失 败 的 概率 为 4 一 1 一 户 ， 夺 1， 
2, s, ne O X 为 表示 成 功 总 数 的 随机 变量 ， 令 px 一 ELX]。 证 明 : 对 于 人 0， 有 
PriX—pS>rn< er /an 
(提示 : 证 明 pe +qe% <e"?, 然后 根据 定理 C.8 AY iE BA RK, 并 利用 该 不 等 式 替代 
不 等 式 (C. 45) 。) 
*C.5-7 EAR: 选择 a= ln《r/p) 可 以 使 不 等 式 (C. 47) 右 侧 取 最 小 值 。 


思考 题 
Cl GREET) 在 本 题 中， 我 们 研究 了 在 几 种 假设 条 件 下 ,将 个 球 放 到 5 个 箱子 的 方法 数 。 
a. 假定 ”个 球 是 不 同 的 且 不 考虑 它们 在 盒子 中 的 顺序 。 证 明 ， 及 BP ERR AA R 
子 中 。 
b. 假定 ”个 球 是 不 同 的 且 它 们 在 盒子 中 有 序 。 证 明 : 恰 有 (6 十 n 一 D1 /(6 一 1)! 种 方法 将 球 
放 入 盒子 中 。( 提 示 : 考虑 将 nn 个 不 同 的 球 和 64 一 1 根 相同 的 棍子 排列 成 一 排 的 方法 数 .) 
c 假定 ”个 球 是 相同 的 ， 从 而 无 需 考虑 其 在 盒子 中 的 顺序 。 证 明 : 将 球 放 入 盒子 的 方法 数 
fC), GER: 若 球 相同 ， 则 Cb) 中 的 排列 有 多 少 是 重复 的 ?) 
d 假定 球 是 相同 的 ， 且 每 个 盒子 最 多 只 能 放 一 个 球 ， 从 而 有 n<b。 证 明 : 将 球 放 和 盒子 中 
的 方法 数 是 (4)。 
e 假定 球 是 相同 的 ， 并 且 盒子 不 能 为 空 。 假 定 no, EH: 将 球 放 入 盒子 的 方法 数 
T25) n—1 
是 (。])， 
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附录 注 记 

B. Pascal 和 P. de Fermat 在 1654 年 的 一 封 著名 通信 中 ， 第 一 次 讨论 了 解决 概率 问题 的 一 般 方 
法 。 这 一 内 容 也 出 现在 1657 年 C Huygens 的 书 中 。 严 格 的 概率 理论 始 自 J. Bernoulli 在 1713 年 和 
A. De Moivre 在 1730 年 的 工作 。P. -S Laplace, S -D. Poisson 与 C. F. Gauss 更 深入 发 展 了 这 门 理论 。 

P. L. Chebyshev 和 A. A. Markov 首次 研究 了 随机 变量 的 和 。A. N. Kolmogorov 在 1933 年 完 
成 了 概率 论 公理 化 工作 。ChernoffL66] 和 Hoeffding[173] 提 出 了 分 布 尾部 的 界 。P. Erdös 在 随机 
组 合 结构 方面 做 出 了 开创 性 的 工作 。 

Knuth[209] 5 LiuL237] 是 基础 组 合 与 计数 理论 很 好 的 参考 。 权 威 的 教科 书 ， 如 Billingsley 

[46]、Chung[L67]、Drake[95] 、Feller[107] 和 Rozanov[300] 为 概率 论 提 供 了 很 全 面 的 介绍 。 
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矩阵 来 源 于 众多 的 实际 应 用 ， 其 中 包括 (但 不 仅 限 于 ) 科 学 计算 。 如 果 你 曾经 学 习 过 矩阵 相关 
的 知识 ， 那 么 会 对 本 附录 中 许多 内 容 感 到 熟悉 ， 但 部 分 材料 对 你 而 言 可 能 还 是 陌生 的 。D. 1 节 介 
绍 和 矩阵 的 基本 定义 和 基本 操作 。D. 2 节 介绍 矩阵 的 几 个 基本 性 质 。 


D. 1 和 矩阵 与 矩阵 运算 

本 节 中 ， 我 们 将 回顾 矩阵 理论 中 的 几 个 基本 概念 与 矩阵 的 几 个 基本 性 质 。 

和 矩阵 与 向 量 

和 矩阵 是 矩形 的 数组 。 例 如 ， 

al Ql ag 1. 2.33 
a=(* by lL = eI (D.1) 

是 一 个 2X3 A=), HEH i=l, 2, j=l, 2, 3. EPRI iB 列 的 元 素 通常 表示 为 
oj 。 我 们 用 大 写字 母 来 表示 和 矩阵， 并 用 其 对 应 的 标 有 下 标的 小 写字 母 来 表示 矩阵 中 元 素 。 我 们 用 
R”"" 来 表示 所 有 元 素 为 实数 的 m Xn 和 矩阵 集合 。 一 般 而 言 ， 元 素来 自 集 合 S 的 mXn 和 矩阵 的 集合 
可 以 用 S”" 来 表示 。 

通过 交换 矩阵 A 的 行 和 列 获 得 的 矩阵 是 矩阵 A 的 转 置 AI。 对 于 等 式 (D. 1) 中 的 矩阵 A， 其 
转 置 为 





Ar = 





1 4 
2 5 
3 6 





向 量 是 一 维 数组 。 例 如 ， 
2 
3 
5 
是 一 个 大 小 为 3 的 向 量 。 有 时 ， 称 长 度 为 的 向 量 为 n 向 量 。 通常 使 用 小 写字 母 来 表示 向 量 ， 同 
时 用 z; 来 表示 nn 维 向 量 z 中 第 i 个 元 素 ，i 二 1，2，…，n。 我 们 将 向 量 的 标准 形式 定义 为 列 向 
量 ， 即 nX1 和 矩阵， 通过 转 置 可 以 获得 其 对 应 的 行 向 量 : 
z'’=(2 3 5) 

单位 向 量 。 是 除 第 i 个 元 素 为 1 外 其 他 元 素 均 为 0 的 向 量 。 通 常 ， 单 位 向 量 的 大 小 可 由 上 下 文 内 
容 获 知 。 

所 有 元 素 均 为 0 的 矩阵 是 一 个 零 矩阵 。 该 矩阵 通常 表示 为 0。 这 种 表示 与 数字 0 相同 ， 所 产 
生 的 歧义 一 般 可 以 通过 上 下 文 内 容 轻易 地 消除 。 同 时 ， 在 用 0 表示 零 矩 阵 时 ， 和 矩阵 大 小 也 需要 从 
上 下 文中 推测 。 

方 阵 

正方 形 nXn 甜 阵 非常 常见 。 我 们 通常 对 方 阵 的 几 个 特例 感 兴趣 。 

1. 若 一 个 矩阵 中 对 于 任意 Aj, FA ww 王 0， 则 该 矩阵 是 一 个 对 角 矩 阵 。 因 为 对 角 和 矩阵 的 非 
对 角 元 素 均 为 0， 所 以 只 需要 列 出 其 对 角 线 上 的 元 素 就 可 以 表示 一 个 对 角 和 矩阵 : 


x= 
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ay) 0 0 
é 0 Q22 0 
diag(ay saz °°° s&u) = : : A 
0 0 - a, 
2. 称 对 角 线 元 素 均 为 1 的 nXn MEA n Xn BTS I, : 
1 0 eee 0 
0 1 eee 0 
I, = diag(1,1,++*,1) — : : s > 
0 0 eee 1 


当 了 的 下 标 没有 标明 时 ， 和 矩阵 的 大 小 需 从 上 下 文 获 知 。 单 位 和 矩阵 的 第 i 列 是 单位 向 量 ei。 
3. 若 一 个 矩阵 满足 当 |i 一 让 >1 时 ,与 二 0， 则 该 矩阵 是 三 对 角 扼 阵 TT。 三 对 角 和 矩阵 中 的 非 
零 项 只 能 出 现在 主 对 角 线 上 ， 仅 靠 对 角 线 上 侧 (5i.in，i 二 1，2，…，n 一 1) 或 者 紧 靠 对 角 线 下 侧 


(Bitlis i=l, 2s i ~ a= 


th te 0 0 -e 0 0 0 

ta tee ts O se 0 0 0 

O tye ts ty =o8* 0 0 0 

OY R S ; ; : : 

O O -0 AQ. es a Reg 0 

0 0 0 人 

Qa O ‘0 20h, "ss 0 tai bose 

4. 若 一 个 矩阵 满足 对 于 任意 i>j， 甩 二 0， 则 它 是 上 三 角 和 矩阵 UU。 其 对 角 线 以 下 的 元 素 均 
为 零 : 

Ul Uz ** Un 
Wa 


0 0 eee Unn 
若 一 个 上 三 角 和 矩阵 对 角 线 上 元 素 均 为 1， 则 它 是 单位 上 三 角 和 矩阵 。 
5. 若 一 个 矩阵 满足 对 于 任意 i<j, 1) =0, WER PS RL. SHR EMR 
AF: 


Ja tea? Oe 

i— TF Se AR ECR 1, WEARS PERSE. 

6. 若 一 个 矩阵 每 行 每 列 均 有 且 仅 有 一 个 1， 其 他 位 置 均 为 0， 则 称 之 为 排列 矩阵 P。 例 如 ， 
0 0 
1 
0 
0 
0 0 
之 所 以 称 为 排列 矩阵 ， 是 因为 将 一 个 向 量 x RAAHE EEA T HI EAHA x 中 元 素 的 
效果 。 练 习 D. 1-4 研究 了 排列 矩阵 的 一 些 其 他 特性 。 


ae) 

II 
coor~oo 
ooo 
roo Oo 
orooo 
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7. 若 一 个 矩阵 AHL A=A™, WR ARE. HM, 
123 
2 6 4 
3.4 5 








是 一 个 对 称 和 矩阵 。 

矩阵 基本 操作 

和 矩阵 或 向 量 的 元 素 是 数 系 中 的 数 ， 例 如 ， 实 数 、 复 数 ， 或 者 整数 取 模 某 素 数 。 数 系 定 义 了 数 
上 的 加 法 与 乘法 规则 。 这 里 ， 我 们 扩展 这 些 定义 使 之 包含 矩阵 上 的 加 法 与 乘法 。 

定义 矩阵 加 法 如 下 。 如 果 A==(a; ) 和 B=(b;) 是 mXn 和 矩阵 ， 那 么 两 者 的 矩阵 和 C= (ci ) = 
A+B th dt— m Xn AE, FE, FiS, 2, +, mAG=1, 2, 0, n, EM 

cy = ay +b, 
BAI) SRE A DIE Ses RR EE AREF K.P EA ET: 
A+0=A=0+A 

如 果 4 是 一 个 数 ，A=(aj ) 是 一 个 矩阵 ， 那 么 MA=(ai ) 是 A 的 一 个 标量 倍数 。 可 以 通过 将 和 矩 
阵 中 每 个 元 素 分 别 乘 以 A 获得 标量 倍数 。 作 为 一 个 特例 ， 定 义 矩 阵 A= (a; ) 的 负 为 一 1。A 三 一 A。 
矩阵 一 A 的 第 i 行 第 j 列 的 元 素 为 一 a; 。 因 此 ， 

A+(—A) =0=(-A)+A 

我 们 使 用 矩阵 的 负 来 定义 矩阵 减法 : A 一 B= 二 A 十 (一 B)。 

矩阵 乘法 定义 如 下 。 给 定 两 个 相 容 的 矩阵 A 和 B， 即 A 的 列 数 与 B 的 行 数 相等 。( 通 常 ， 一 
个 包含 矩阵 积 AB 的 表达 式 总 是 假定 矩阵 A AB 是 相 容 的 。) 如 果 AS (ai ) 是 一 个 mXn HEF, 
并 且 B= (bw ) 是 一 个 nXp 矩阵， 那么 它们 的 积 C 二 AB 是 一 个 mXp 和 矩阵 C= 二 (cs)， 其 中 ， 对 于 
i=1, 2, «+, m, j=1, 2, =, p', 


a= 2 aubu (D. 2) 


4. 2 节 中 的 SQUARE-MATRIX-MULTIPLY 过 程 在 假定 矩阵 是 方 阵 ( 即 m=n= p) MATH. H 
一 种 基于 等 式 (D. 2) 的 直接 方式 实现 矩阵 乘法 。 在 将 两 个 nXn 和 矩阵 相 乘 的 过 程 中 ，SQUARE- 
MATRIX-MULTIPLY 进行 了 wi 次 乘法 和 x(n 一 1) 次 加 法 ， 所 以 其 运行 时 间 为 O(n’). 
许多 (但 并 非 全 部 ) 典 型 的 数字 算术 性 质 亦 为 矩阵 所 有 。 单 位 矩阵 是 矩阵 乘法 的 单位 元 。 对 于 
任意 mX n 矩阵 A， 
ILA=AI,=A 
将 任意 矩阵 A 乘 以 零 矩阵 总 得 到 零 矩 阵 : 
AO = 0 
矩阵 乘法 满足 结合 和 
A(BC) = (AB)C 
其 中 ,和 矩阵 A、B 和 C 是 相 容 的 。 和 矩阵 乘法 对 加 法 满足 分 配 律 ; 
A(B+C) = AB+AC 
(B+OD= BD +CD 


对 于 >1，nXn 的 矩阵 乘法 不 满足 交换 律 。 例 如 , #a=[° *], s=[° °], w 


0 0 a 
1 

wed 
0 0 
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而 
0 0 
b 4 
在 求 和 矩阵 -向 量 乘积 或 者 向 量 -向 量 乘积 时 ， 可 以 将 向 量 看 做 一 个 等 价 的 nX1 矩阵 (如 果 是 行 


向 量 ， 则 看 做 1Xn RE). lk, HA dem Xn BK, xz fen, M Arm 向 量 。 如 果 z 和 y 
均 为 nn 向量， 则 
xy 一 2a 
是 一 个 数值 (实际 上 是 1X1 矩阵 ) ， 并 称 之 为 与 y 的 内 积 。 和 矩阵 zy" nX EEZ, HZH 
cy 的 外 积 ， 其 中 z; = 二 x;y;。 定 义 n 向 量 z 的 ( 欧 几 里 得 ?范式 || z|| 为 
| 中 zl = Cae Hag fee a2)? = (ate)? 
由 此 可 知 ，z 的 范式 即 是 其 在 n 维 欧 几 里 得 空间 内 的 长 度 。 


练习 

D.1-1 证 明 : 车 A 与 B 均 为 nXn 对 称 矩 了 泗 ， 则 A 十 B 和 A 一 B 也 是 nXn 对称 矩阵 。 

D.1-2 证 明 : (AB)T=BTA™, WR ATA 是 对 称 和 矩阵 。 

D. 1-3 WEH: 两 个 下 三 角 和 矩阵 的 积 是 下 三 角 和 矩阵 。 

D. 1-4 WEH: 车 PP 是 nXn HEIR, Aden Xn i, WAR PA 是 A 行 变换 后 的 矩阵 ， 而 
矩阵 积 AP 是 矩阵 A 列 变换 后 的 和 矩阵。 证 明 : 两 个 排列 矩阵 的 积 是 排列 矩阵 。 


D. 2 和 扼 阵 的 基本 性 质 
本 节 中 ， 我 们 定义 与 矩阵 相关 的 几 个 基本 性 质 : 道 ， 线 性 相关 与 无 关 ， 秩 和 行列 式 。 本 节 还 
将 给 出 正定 矩阵 的 定义 。 
矩阵 的 逆 、 秩 和 行列 式 
定义 zXz 和 矩阵 A 的 逆 A“( 如 果 存 在 ) 为 满足 AA =1,=A*A 的 nXn 和 矩阵 。 例 如 ， 
el =i 
1-0 1; 
许多 非 零 xXz 矩阵 没有 逆 矩 阵 。 一 个 没有 逆 的 矩阵 称 为 不 可 逆 的 ， 或 奇异 的 。 下 面 给 出 一 个 非 
零 奇异 矩阵 的 例子 
Lt ol 
1 0 


若 矩 阵 有 逆 ， 则 称 之 为 可 逆 和 矩阵 或 者 非 奇异 矩阵 。 如 果 逆 矩阵 存在 ， 那 么 其 是 唯一 的 。( 见 练习 
D. 2-1.) 4 A MB 是 非 奇 异 的 nXn 和 矩阵 ， 则 

(BA) = A` B` 
逆 操 作 与 转 置 操作 可 以 交换 计算 顺序 ; 

(A)? = (AT)? 
如 果 存 在 不 全 为 零 的 相关 系数 Bd Cs 使 得 cixi 十 cozz 十 … 十 cx, 二 0， 则 称 向 量 xz ， 
Lrs ty I, 是 线性 相关 的 。 行 向 量 xz 二 (123)，zs 二 (2 64) 和 zs 二 (4 119) 是 线性 相关 的 ， 因 为 
存在 非 全 零 mc 、c 和 c ， 使 得 cz 十 cz 十 cz 一 0， 例 如 ，2z +32,—22,=0. AMARA 
性 相关 的 ， 则 它们 是 线性 无 关 的 。 例 如 ， 单 位 矩阵 的 列 向 量 是 线性 无 关 的 。 

AES mXn EEA 的 列 秩 是 A 的 最 大 线性 无 关 列 集合 的 大 小 。 类 似 地 ， 和 矩阵 A 的 行 秩 是 A 

最 大 线性 无 关 行 集合 的 大 小 。 任 意 矩 阵 A 所 共有 的 一 个 基本 性 质 是 A 的 行 秩 等 于 其 列 秩 ， 所 以 
可 以 简称 为 A 的 秩 。 一 个 mXn 和 矩阵 的 秩 是 [0，min(m，n)] 内 的 整数 。( 零 和 矩阵 的 秩 为 0， 而 
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nXnn 单 位 矩阵 的 秩 是 nn。) 秩 的 另 一 个 等 价 但 更 有 用 的 定义 是 : 非 零 mwXn 和 矩阵 A 的 秩 是 满足 如 下 
条 件 的 最 小 数值 >: 存在 mXr 和 矩阵 B 和 rXn 和 矩阵 C， 使 得 
A=BC 
如 果 nXn 方 阵 的 秩 是 wx， 则 它 是 满 秩 的 。 如 果 mxXn 和 矩阵 的 秩 是 wx， 则 其 是 列 满 秩 。 下 面 的 定理 
给 出 了 秩 的 一 个 基本 性 质 。 
定理 D. 1 一 个 方 阵 是 满 秩 的 ， 当 且 仅 当 该 方 阵 是 非 奇 异 的 。 a 
和 矩阵 A 的 空 向 量 z 是 一 个 满足 Az=0 的 非 零 向 量 。 下 面 的 定理 (证 明 留 作 练习 D. 2-7) RHE 
论 将 阐述 列 秩 和 奇异 性 的 概念 与 空 向 量 之 间 的 联系 。 
定理 D.2 一 个 和 矩阵 A 是 列 满 秩 的 ， 当 且 仅 当 该 矩阵 不 存在 空 向 量 。 | 
推论 D.3 一 个 方 阵 A 是 奇异 的 ， 当 且 仅 当 它 有 空 向 量 。 a 
nXn(n>1) Fie A 的 i 行 7 FREE —- RA 中 i 行 7 列 后 得 到 的 (n 一 1) X (n 一 1) 和 矩阵 
Ars1。 我 们 利用 nXn 和 矩阵 A 的 子 矩阵 递归 地 定义 该 矩阵 的 行列 式 : 


ay # n = 1 
det(A) =4 2 
ý 3) 一 Diaydet(Ann) #n>1 


项 (一 1)'Yidet(Ars] ) 称 为 元 素 a; 的 代数 余子 式 。 

下 面 的 定理 介绍 了 行列 式 的 基本 性 质 。 这 里 省 略 了 证 明 。 

EE D. 4( 行 列 式 性 质 ) FRA 的 行列 式 有 如 下 性 质 : 

。 WRAEEA 中 某 行 或 某 列 为 零 ， 则 det(A)=0, 

。 HHE A 的 任意 一 行 (或 列 ) 的 每 个 元 素 乘 以 人 后 ，A 的 行列 式 乘 以 人 。 

。 如 果 将 矩阵 A 中 某 一 行 (或 列 ) 的 元 素 加 到 另 一 行 ( 或 列 ) 的 元 素 上 ， 则 A 的 行列 式 不 变 。 

。 MA 的 行列 式 与 其 转 置 A” 的 行列 式 相等 。 

。 当 交 换 A 的 任意 两 行 (或 两 列 ) 时 ， 行 列 式 改 变 正 负 号 。 
同时 ， 对 于 任意 方 阵 A 和 B， 有 det(AB) 二 det(A)det(B)。 

定理 D.5 nXnÆ tA 是 奇异 的 ， 当 且 仅 当 det(A)=0, A 

正定 矩阵 

正定 矩阵 在 许多 应 用 中 扮演 着 重要 的 角色 。 如 果 nXn 和 矩阵 A 满足 对 于 所 有 rA, A 
ZAz>0， 则 称 A 是 正定 的 。 例 如 ， 单 位 矩阵 是 正定 的 ， 因 为 对 于 任何 非 零 向 量 zx 一 (zizz… 
Ln) A 

lx 一 ZI 一 Dz >0 

根据 如 下 定理 可 知 ， 实 际 应 用 中 遇 到 的 矩阵 通常 都 是 正定 的 。 

定理 D.6 HFEA, EATA 是 正定 的 。 

证 明 我们 需要 证 明 对 于 任意 非 零 向 量 zx， 有 x (ATA)z 二 0。 对 于 任意 向 量 x， 

x" (ATA) x = (Ar) (Ar) RRK F D. 1-2) = || Ax ||? 

注意 ，|| Az||? 正 是 向 量 Ar 中 元 素 的 平方 和 。 因 此 ，|| Ax||* 宇 0。 如 果 | Ax|*=0, WW Ax 中 的 每 个 
元 素 均 为 0， 即 Azx 二 0。 因 为 A 是 列 满 秩 的 ， 根 据 定理 D 2, Ar=0 蕴涵 x 二 0。 因 此 ，ATA 是 正定 的 。 


a 
28. 3 节 探 讨 了 其 他 几 个 正定 矩阵 的 性 质 。 


练习 


D. 2-1 证 明 : 矩阵 的 逆 是 唯一 的 ， 即 如 果 B 和 C 均 为 A Wi, 那么 B=C。 
D. 2-2 WH: 下 三 角 和 矩阵 或 上 三 角 和 矩阵 的 行列 式 与 其 对 角 线 元 素 之 积 相 等 。 证 明 : 一 个 下 三 角 
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和 矩阵 的 逆 ( 如 果 存 在 ) 也 是 下 三 角 和 矩阵 。 
WER: 如 果 已 是 一 个 排列 矩阵 ， 则 已 是 可 逆 的 ， 它 的 逆 是 P, H P 也 是 一 个 排列 矩阵 。 
SAMB finXn E, HAB=I, 证明: 车 矩阵 A' 是 将 矩阵 A 第 i 行 加 到 第 i 行 所 得 ， 
则 将 B 中 第 j 列 减 去 第 i 列 所 得 的 B' 为 A' 的 北 矩 阵 。 
4 A 是 一 个 非 奇 异 nXn 复 数 和 矩阵 。 证明: 4 一 中 每 个 元 素 均 为 实数 ， 当 且 仅 当 A 中 每 个 
元 素 是 实数 。 
WEAR: 车 A 是 一 个 非 奇 异 的 nXn 对 称 矩 阵 ， 则 A “是 对 称 的 。 证 明 : A B 是 任意 m Xn 
矩阵 ， 则 mX m KR BAB? 也 是 对 称 的 。 
证 明定 理 D. 2。 也 就 是 说 ， 证 明 : 一 个 矩阵 A 是 列 满 秩 的 ， 当 且 仅 当 Az=0 蕴涵 x= 二 0。 
(提示 : 将 一 列 在 其 他 列 上 的 线性 相关 表示 为 矩阵 -向 量 等 式 。) 
证 明 : 对 于 任意 两 个 相 容 矩阵 A MB, 

rank(AB) < min(rank(A) , rank(B)) 
KH, WRA RB 是 非 奇 异 方 阵 ， 则 等 式 成 立 。( 提 示 : 使 用 矩阵 秩 的 另 一 种 定义 。) 


思考 题 


D-1 


(3048 FB 4B) AE BU Tos As °**s Zn 一 19 证 明 范 德 蒙 德 矩阵 的 行列 式 


1 Xo go e 


i Ge © aoe gf 
V Cto 3T E Ln) = M 


2 
Tr Tri e Ird 


是 


det(V(Czo 9X 9°°° 9 Zp ) = TI (xy — z;) 


Sjn 
CERF: 对 于 i=n—l, We pat l, 将 第 i 列 乘 以 一 zx。 后 加 到 第 i 二 1 列 上 ， 然后 使 用 归 


纳 法 。) 
D-2 (在 GF(2) 上 利用 纸 阵 -向 量 乘法 定义 的 排列 ) 利用 GF(2) 上 矩阵 乘法 可 以 定义 一 类 集合 


S 一 (0，1，2，…，2 一 1} 中 整数 的 排列 。 对 于 S 中 每 个 整数 ， 可 以 将 它 的 二 进 制 表示 
形式 看 做 一 个 nn 位 向 量 


其 中 >) zi2 。 如 果 A 是 一 个 元 素 均 为 0 或 1 的 zXz 和 矩阵 ， 则 我 们 可 以 定义 一 个 排列 。 该 
排列 将 S, 中 的 每 一 个 值 x 映射 到 一 个 数 上 ， 该 数 的 二 进 制 表示 形式 为 矩阵 -向 量 积 Ar, 
这 里 ， 我 们 按照 CF(2) 执 行 所 有 算术 运算 : 所 有 的 值 为 0 或 1， 并 且 除 特例 1 十 1=0 外 ， 
其 他 常规 加 法 、 乘 法 规则 均 适 用 。 读 者 可 以 认为 CF(2) 算 术 运 算 除 了 只 使 用 最 低 有 效 位 ， 


其 他 均 与 常规 整数 算术 运算 一 致 。 
例如 ， 对 于 S,=(0, l; 2s 3}, 和 矩阵 


of 


定义 了 如 下 排列 NA: za(0)=0, m(1)=3, ma (2) =2, ma(3)=1, 下 面 解释 2, (3) =1 的 
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理由 ， 观 察 在 GF(2) 中 ， 

1 0O7F1771-14+0-17f1 
a) = È ls 人 下 汪汪 ills] 

就 是 1 的 二 进 制 表示 。 

我 们 继续 在 GF(2) 上 讨论 本 问题 ， 并 且 所 有 和 矩阵 和 向 量 的 元 素 均 为 0 或 1。 定 义 0 一 1 
和 矩阵 (元 素 均 为 0 或 1 的 和 矩阵) 在 GF(2) 上 的 秩 与 普通 矩阵 一 致 ， 但 是 所 有 的 决定 线性 相关 
的 算术 运算 都 按 GF(2) 进 行 。 定 义 nXn 0 一 1 和 矩阵 A 的 取 值 范围 为 

R(A) = {y:y = Ar,z € S,} 

这 样 ，R(A) 是 S, 中 一 类 数 的 集合 ， 这 类 数 可 以 由 将 S, 中 每 个 值 zx 乘 以 A 得 到 。 

a. 如 果 是 矩阵 A WORK, WERA|R(A)|=2". 证明: A 定义 一 个 S, 上 的 排列 ， 当 且 仅 当 A 
是 满 秩 的 。 

对 于 一 个 给 定 的 zXz 和 矩阵 A 和 一 个 给 定 的 值 YER(A)， 定 义 y 的 原 象 为 
P(A,y) = (x:Ar = y} 

A, POA, » BIAS, PRIA 后 会 映射 到 y 的 值 的 集合 。 

b. 如 果 ~ 是 nXn ER A WA yER(A), 证 明 | PCA, y| =2"", 

令 0<m<n,， 假定 将 集合 S, 划分 成 相 邻 数字 的 块 ， 其 中 第 i 个 块 包含 2" 个 数 i2"，i2" 十 
1，i2" 十 2，…，(i 十 1)2" 一 1。 对 于 任意 子 集 SCS,, EM B(S，m) 为 包含 S 中 某 元 素 的 S, 中 
大 小 为 2" 的 块 的 集合 。 例 如 ， 当 n==3,， m=1, H S={1, 4, 5t, BCS, MAH OAA 1 
在 第 0 块 中 ) 和 块 2( 因 为 4 和 5 均 在 块 2 中 )。 

« 令 r 是 A 的 左下 部 (n 一 m) Xm 子 矩 阵 的 秩 ， 即 通过 取 和 矩阵 A 底部 n 一 m 行 和 最 左 端 m 
列 的 交 获 得 的 矩阵 。 令 S 是 S, 中 任意 大 小 为 2" HR, AS S'=(y: y=Ar, HFE 
x€S)}, 证明: | BCS’, m| =X 且 对 于 B(S'，m) 中 每 一 个 块 ， 有 和 且 仅 有 2”"' 个 S 中 的 
数 映射 到 该 块 上 。 

因为 将 零 向 量 乘 以 任意 矩阵 均 得 到 零 向 量 ， 所 以 通过 GF(2) 上 乘 以 满 秩 nXn 0 一 1 Bi 
阵 所 定义 的 S, 的 排列 集合 不 能 圳 括 S, 所 有 的 排列 。 这 里 ， 将 由 和 矩阵- 向量 乘法 定义 的 那 
类 排列 扩展 ， 以 包含 一 个 附加 项 ， 从 而 ce S, 映射 到 Az 十 c bk, Hep c fen 位 向 量 ， 加 法 
按 GF(2) 执 行 。 例 如 ， 当 





1 20 
ao 
要， 


0 
oe H 

我 们 可 以 获得 如 下 排列 rac: a, COV=2, wa C=1, aa. (2)=05 ma (3)=3. MFHT 
nXn0 一 1 PEKERE A 和 某 个 n 位 向 量 c<， 称 任意 将 zxE S, 映射 到 Az 十 c 的 排列 为 一 个 线 
性 排列 。 

d. 用 计数 观点 来 证 明 : S, 的 线性 排列 的 数目 远 小 于 S. 排列 的 数目 。 

e 请 给 出 一 个 S, 的 排列 的 例子 及 n 的 值 ， 其 中 该 排列 不 能 通过 任何 线性 排列 获得 。( 提 

示 : 对 于 一 个 给 定 的 排列 ， 考 虑 矩阵 与 单位 向 量 相 乘 和 和 矩阵 的 列 的 关系 。) 


附录 注 记 
线性 代数 教科 书 提供 了 关于 和 矩阵 的 大 量 背 景 知识 。Strang[323，324] 所 著 的 书籍 尤为 出 色 。 1229 
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索 Sl 


本 索引 使 用 下 列 约 定 。 数 字 按 其 英文 拼写 的 字母 顺序 排序 ， 例 如 ,“2-3-4 树 ” 被 当成 “two-three four 
tree” 来 索引 。 当 一 个 索引 项 涉及 的 是 一 个 位 置 而 不 是 正文 内 容 时 ， 页 码 后 面 即 会 跟随 一 个 标记 : ex. 表示 
练习 ，pr. 表示 思考 题 ，fig. 表示 图 ，n. 表示 脚注 。 带 标记 的 页 码 通常 表示 一 个 练习 、 思 考题 、 图 或 脚注 
的 第 一 页 ， 而 并 不 一 定 是 引用 真正 出 现 的 那个 页 码 。 


a(n), 511 
$( golden ratio) (黄金 分 割 率 ) 59, 108 pr. 


(conjugate of the golden ratio) (黄金 分 割 率 的 共 轿 )，59 
$Cn) (Euler”s phi function) (RL phi 函数 )，943 
p(n) 一 approximation algorithm) (if 似 算 法 )， 


1106, 1123 

o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
0O'-notation(O' 记 号 )，62 pr. 
O-notation(O 记号 ) ，62 pr. 
w-notation(w 记号 ) 51 
Q-notation(Q 记号 ) 45 fig. , 48-49, 64 


9-notation(Q 记号 ) ，62 pr. 
Q-notation(A 记号 ) 62 pr. 
Q-notation(@ 记号 ) 44-47, 45 fig. 64 


@-notation(@ 记号 ) 62 pr. 
{} (set) (RA), 1158 
E (set member) (集合 成 员 )，1158 
¢ (not a set member) ( 非 集合 成 员 ) 1158 
Ø 
(empty language)( 空 语言 ) 1058 
(empty set)( 空 集合 ) 1158 
(subset) ( 子 集 )，1159 
C(proper subset) (真子 集 )，1159 
: (such that) (满足 ) 1159 
门 (set intersection) (集合 的 交 )，1159 
U (set union) (集合 的 并 )，1159 
一 (set difference) (集合 的 差 )，1159 
| | 
(flow value) ( 流 的 值 )，710 
(length of a string) (字符 串 的 长 度 )，986 
(set cardinality) (集合 的 势 )，1161 
x 
(Cartesian product) (ff JL®), 1162 
(cross product) (#4), 1016 


() 
(sequence) (序列 ) 1166 
(standard encoding) (标准 编码 )，1057 
(77) (choose) (选择 )， 1185 
|| || Ceudidean norm) ( 欧 氏 范 数 ) 1222 
! (factorial) (THe), 57 
「 lCceiling) (EHH), 54 
L J(floor) (下 取 整 )，54 
Y dower square root)( 下 平方 根 )，546 


tf Cupper square root) (上 平方 根 )，546 

(sum) (和)，1145 

II(product) (#4), 1148 
— (adjacency relation) (邻接 关系 )，1169 
~+(reachability relation) (可 达 关 系 )，1170 

A (AND)(455), 697, 1071 
一 (NOT) ( 非 )，1071 

V COR) (a%), 697, 1071 
由 (group operator) (FEZ FF), 939 
®)(convolution operator) ( 卷 积 运算 符 ) 901 

* (closure operator)( 闭 包 运 算 符 )，1058 

| (divides relation) (整除 关系 ) 927 

J} (does-not-divide relation) (JE%# BRK A), 927 
= (equivalent modulo n) (fi n Hh), 54, 1165 ex. 
(not equivalent modulo n)( 模 不 等 价 )，54 
[a], (equivalence class modulo n) ( 模 n 的 等 价 

类 )，928 
十 , (addition modulo n) (Bi n 加 法 )，940 
+ , (multiplication modulo n) (#E n FE), 940 


($ ) Legendre symbol) ( 勤 让 德 符号 ) 982 pr. 


e(empty string) (4543), 986, 1058 
C(prefix relation) (前 缀 关系 ) 986 
(suffix relation) (后缀 关系 )，986 
>. (above relation) (之 上 关系 )，1022 
//comment symbol) (注释 符号 ) 21 


>>(much-greater-than relation) (远大 于 关系 )，574 

<(much-less-than relation)( 远 小 于 关系 )，783 

<p (polynomial-time reducibility relation) (多 项 式 时 
间 可 归 约 关系 )，1067，1077 ex. 


A 


AA-tree(AA 树 )，338 
abelian group( 阿 贝尔 群 或 交换 群 )，940 
ABOVE，1024 
above relation(>x)(ZEXA), 1022 
absent child( 空 孩子 ) 1178 
absolutely convergent series( 绝 对 收敛 级 数 ) 1146 
absorption laws for sets( 集 合 的 吸收 律 )，1160 
abstract problem( 抽 象 问题 )，1054 
acceptable pair of integers( 可 接受 的 整数 对 )，972 
acceptance( 接 受 ) 
by an algorithm( 被 一 个 算法 )，1058 
by a finite automaton( 被 一 个 有 限 自动 机 )，996 
accepting state( 接 受 状态 )，995 
accounting method( 核 算法 )，456-459 
for binary counters( 用 于 二 进 制 计 数 器 )，458 
for dynamic tables( 用 于 动态 表 ) 465-466 
for stack operations (用 于 栈 操作 )，457-458， 
458 ex. 
Ackermann’s function( Ackermann 函数 ) 585 
activity-selection problem( 活 动 选择 问题 ) 415-422 
acyclic graph( 无 环 图 )，1170 
relation to matroids( 和 拟 阵 的 关系 )，48 pr. 
add instruction( 加 法 指令 )，23 
addition( 加 法 ) 
of binary integers( 二 进 制 整数 ) 22 ex. 
of matrices( 和 矩阵 ) 1220 
modulo n( 十 。)( 模 z) 940 
of polynomials( 多 项 式 )，898 
additive group modulo n( 模 的 加 法 群 )，940 
addressing( 寻 HE), open (开放 )， 见 open-address 
hash table 
ADD-SUBARRAY, 805 pr. 
adjacency-list representation( 邻 接 链表 表示 法 )，590 
replaced by a hash table( 用 散 列 表 替 代 ) 593 ex. 
adjacency-matrix representation( 邻 接 矩 阵 表示 法 )，591 
adjacent vertices( 邻 接 顶 点 ) 1169 
admissible edge( 许 可 边 ) ，749 
admissible network( 许 可 网 络 ) 749-750 
aggregate analysis( 聚 合 分 析 ) 452-456 
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for binary counters( 二 进 制 计 数 器 ) 454-455 
for breadth-first search( 广 度 优 先 搜索 ) 597 
for depth-first search( 深 度 优 先 搜 索 ) 606 
for Dijkstra’s algorithm( Dijkstra 算法 ) 661 
for disjoint-set data structures( 不 相交 集合 数据 结 
构 ) 566-567, 568 ex. 
for dynamic tables( 动 态 表 ) 465 
for Fibonacci heaps( 斐 波 那 契 堆 ) 518, 522 ex. 
for Graham's scan(Graham 扫描 )，1036 
for the Knuth-Morris-Pratt algorithm( Knuth-Morris- 
Pratt 算法 ) 1006 
for Prim’s algorithm(Prim 算法 ) 636 
for rod-cutting( 钢 条 切割 )，367 
for shortest paths in a dag( 有 向 无 环 图 中 的 最 短 
路 径 ) ，655 
for stack operations( 栈 操作 ) ，452-454 
aggregate flow( 汇 聚 流 )，863 
Akra -Bazzi method for solving a recurrence( 解 递归 
式 的 Akra-Bazzi 方法 ) ，112-113 
algorithm( 算 法 ) 5 
correctness of( 正 确 性 )，6 
origin of word( 字 的 起 源 ) ，42 
running time of( 运 行 时 间 )，25 
as a technology( 作 为 一 项 技术 )，13 
Alice, 881 
ALLOCATE-NODE, 492 
ALLOCATE-OBJECT, 244 
allocation of objects( 对 象 的 分 配 ) 243-244 
all-pairs shortest paths( 所 有 结 点 对 的 最 短路 径 )， 
644，684-707 
in dynamic graphs( 动 态 图 )，707 
in e-dense graphs(e 笛 密 图 ) 706 pr. 
Floyd-Warshall algorithm for(Floyd-Warshall 算 
法 )，693-697，706 
Johnson’s algorithm for(Johnson 算法 ) 700-706 
by matrix multiplication( 通 过 和 矩阵 乘法 )，686-693， 
706-707 
by repeated squaring( 通 过 重复 平方 )，689-691 
alphabet( 字 母 表 ) 995, 1057 
a(n), 574 
amortized analysis( 摊 还 分 析 ) 451-478 
accounting method of( 核 算法 ) ，456-459 
aggregate analysis( 聚 合 分 析 ) 367, 452-456 
for bit-reversal permutation( 位 逆序 置换 ) 472 pr. 
for breadth-first search( 广 度 优 先 搜 索 ) 597 
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for depth-first search( 深 度 优先 搜索 )，606 
for Dijkstra’s algorithm(Dijkstra 算法 ) 661 
for disjoint-set data structures( 不 相交 集合 数据 结 
构 )，566-567，568 ex., 572 ex., 575-581, 
581-582 ex. 
for dynamic tables( 动 态 表 ) 463-471 
for Fibonacci heaps( 韭 波 那 契 堆 )，509-512，517- 
518, 520-522, 522 ex. 
for the generic push-relabel algorithm( 通 用 -推送 - 
重 贴标签 算法 ) 746 
for Graham's scan(Graham 扫描 ) 1036 
for the Knuth-Morris-Pratt algorithm ( Knuth- 
Morris-Pratt AYE), 1006 
for making binary search dynamic (a) AS — 4} # 
#2), 473 pr. 
potential method of( 势 能 法 )，459-463 
for restructuring red-black trees ( 重 构 红 黑 树 )， 
474 pr. 
fro self-organizing lists with move-to-front ($ Æ fill Mig 
组 织 列 表 )，476 pr. 
for shortest paths in a dag( 有 向 无 环 图 中 的 最 短 
路 径 ) 655 
for stacks on secondary storage ($8 F E fy FR). 
502 pr. 
for weight-balanced trees( 加 权 平 衡 树 ) 473 pr. 
amortized cost( 摊 还 代价 ) 
in the accounting method( 核 算法 中 ) ，456 
in aggregate analysis( 聚 合 分 析 ) 452 
in the potential method( 势 能 法 ) ，459 
ancestor( 祖 先 ) 1176 
least common( 最 小 公共 ) 584 pr. 
AND function(^ )(AND XO), 697, 1071 
AND gate(AND/[J), 1070 
and( 而 且 )，in pseudocode( 伪 代码 中 )，22 
antiparallel edges( 反 平行 边 ) ，711-712 
antisymmetric relation( 反 对 称 关 系 )，1164 
ANY-SEGMENTS-INTERSECT, 1025 
approximation (iM i) 
by least squares( 通 过 最 小 二 乘 ) 835-839 
of summation by integrals( 通 过 积分 求 和 )，1154-1156 
approximation algorithm( 近 似 算法 )，10，1105-1140 
for bin packing( 装 箱 ) 1134 pr. 
for MAX-CNF satisfiability (MAX-CNF 可 满足 
性 ) 1127 ex. 
for maximum-clique( 最 大 团 ), llllex., 1134 


for maximum matching( 最 大 匹配 )，1135 pr. 
for maximum spanning tree( 最 大 生成 树 )，1137 pr. 
for maximum weight cut( 最 大 权重 切割 )，1127 ex 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
足 性 )，1123-1124，1139 
for minimum-weight vertex cover( 最 小 权重 顶点 
覆盖 )，1124-1127，1139 
for parallel-machine-scheduling (并 行 机 调度 )， 
1136 pr. 
randomized( 随 机 化 的 )，1123 
for set cover(42 4-98 Mi), 1117-1122, 1139 
for subset sum( FAI), 1128-1134, 1139 
for the traveling-salesman problem( 旅 行商 问题 )，1111- 
1117, 1139 
for vertex-cover( Tit si 74 mi)» 1108-1111, 1139 
for weighted set cover( 带 权 集 合 覆盖 ) 1135 pr. 
for 0-1 knapsack problem(0-1 背包 问题 )，1137 pr. ，1139 
approximation error( 近 似 模式 )，836 
approximation ratio( 近 似 率 ) 1022, 1039 
approximation scheme( 近 似 方案 ) ，1107 
APPROX-MIN-WEIGHT-VC，1126 
APPROX-SUBSET-SUM, 1131 
APPROX-TSP-TOUR, 1112 
APPROX-VERTEX-COVER, 1109 
arbitrage( 套 利 ) 679 pr. 
arc( fl), Jl edge 
argument of a function( 函 数 的 参数 ) 1166-1167 
arithmetic instructions( 算 术 指 令 )，23 
arithmetic( 算 术 )，modular( 模 )，54，939-946 
arithmetic series( 等 差 级 数 )，1146 
arithmetic with infinities( 无 穷 量 的 算术 运算 )，650 
arm(#¥), 485 
array( 数 组 ) 21 
Monge, 110 pr. 
passing as a parameter( 作 为 参数 传递 ) 21 
articulation point 衔接 点 )，621 pr. 
assignment( 赋 值 ) 
multiple( 多 重 )，21 
satisfying( 可 满足 性 )，1072，1079 
truth( 真 值 ) 1072, 1079 
associative laws for sets( 集 合 的 结合 律 )，1160 
associative operation( 结 合 操作 ) 939 
asymptotically larger( 渐 近 大 于 ) 52 
asymptotically nonnegative( 渐 近 非 负 )，45 
asymptotically positive( 渐 近 正 )，45 


asymptotically smaller( 渐 近 小 于 ) 52 
asymptotically tight bound( 渐 近 紧 确 界 ) 45 
asymptotic efficiency( 渐 近 有 效 ) 43 
asymptotic lower bound( 渐 近 下 界 ) 48 
asymptotic notation( 渐 近 记 号 ) 43-53, 62 pr. 
and graph algorithms( 与 图 算法 ) ，588 
and linearity of summations( 与 和 的 线性 性 ) 146 
asymptotic upper bound( 渐 近 上 界 ) 47 
attribute of an object( 对 象 的 属性 ) 21 
augumentation of flow( 流 的 扩张 )，719-720，763 pr. 
augmenting data structures( 扩 张 数据 结构 )，339-355 
augmenting path( 增 广 路 径 )，719-720，763 pr. 
authentication( 认 证 )，284 pr. ，960-961，964 
automaton( 自 动机 ) 
finite( 有 限 的 )，995 
string-matching( 字 符 串 匹配 ) ，996-1002 
auxiliary hash function( 辅 助 散 列 函数 ) 272 
auxiliary linear program( 辅 助 线性 规划 ) ，886 
average-case running time( 平 均 情 况 运行 时 间 )，28，116 
AVL-INSERT, 333 pr. 
AVL tree(AVL #4), 333 pr. , 337 
axioms( 公 理 ) for probability( 对 于 概率 ) 1190 
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babyface( 娃 娃 脸 ) 602 ex. 
back edge( 反 向 边 )，609，613 
back substitution( 反 向 替换 )，817 
BAD-SET-COVER-INSTANCE, 1122 ex. 
BALANCE, 333 pr. 
balanced search tree( 平 衡 搜索 树 ) 
AA-trees(AA 树 )，338 
AVL trees(AVL 树 )，333 pr. ，337 
B-trees(B 树 )，484-504 
k-neighbor trees(k 邻居 树 )，338 
red-black trees( 红 黑 树 )，308-338 
scapegoat trees( 替 罪 羊 树 ) 338 
splay trees( 伸 展 树 ) 338, 482 
treaps，333 pr, 338 
2-3-4 trees(2-3-4 ff), 489, 503 pr. 
2-3 trees(2-3 $f), 337, 504 
weight-balanced trees( 带 权 平衡 树 ) 338, 473 pr. 
balls and bins( 球 与 盒子 ) 133-134, 1215 pr. 
base-a pseudoprime( 以 a 为 底 的 伪 素 数 )，967 
base case( 基 础 情况 )，65，84 
basic feasible solution( 基 本 可 行 解 )，866 
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basic solution SEAS fH), 866 
basic variable( 基 本 变量 ) 855 
basis function( 基 函数 ) 835 
Bayes's theorem( 贝 叶 斯 定理 )，1194 
BELLMAN-FORD, 651 
Bellman Ford algorithm(Bellman- Ford #3), 651-655, 682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
#2), 684 
in Johnson’s algorithm (Johnson 算法 中 )， 
702-704 
and objective functions( 与 目标 函数 ) 670 ex. 
to solve systems of difference constraints( 求 解 差 
分 约束 系统 )，678 
Yen's improvement to(Yen 氏 的 改进 ) ，678 pr. 
BELOW，1024 
Bernoulli trial( 伯 努 利 试验 )，1201 
and balls and bins( 和 球 与 盒子 ) 133-134 
and streaks( 和 序列 ) 135-139 
best-case running time( 最 好 情况 运行 时 间 )，29 ex ，49 
BFS, 595 
BIASED-RANDOM, 117 ex. 
biconnected component( 双 连通 分 量 ) 621 pr. 
big-oh notation( 大 O 记号 ) 45 fig. ，47-48，64 
big-omega notation( 大 Q 记号 ) 45 fig. ，48-49 
bijective function( 双 射 函 数 )，1167 
binary character code( 二 进 制 字 符 编码 )，428 
binary counter( 二 进 制 计数 器 ) 
analyzed by accounting method (用 核算 法 分 析 )， 
458 
analyzed by aggregate analysis( 用 聚合 分 析 做 分 
析 )，454-455 
analyzed by potential method (用 势能 法 分 析 )， 
461-462 
bit-reversed( 位 逆序 ) 472 pr. 
binary entropy function JCH He). 1187 
binary gcd algorithm( — HE fi] AY gcd BYE), 981 pr. 
binary heap(— WHE), JL heap 
binary relation( 二 元 关系 )，1163 
binary search( 二 分 查找 ) 39 ex. 
with fast insertion( 用 快速 插 人 )，473 pr. 
in insertion sort( 插 和 排序 中 ) 39 ex. 
in multithreaded merging (多 线程 归并 中 )， 
799-800 
in searching B-trees( 搜 索 B 树 ) 499 ex. 
BINARY-SEARCH, 799 
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binary search tree( 二 叉 搜索 树 ) 286-307 
AA-trees(AA 树 )，338 
AVL trees(AVL 树 ) 333 pr. ，337 
deletion from( 删 除 )，295-298，299 ex. 
with equal keys( 带 有 相等 的 关键 字 )，303 pr. 
insertion into( 插 入 )，294-295 
k-neighbor trees(k 邻居 树 )，338 
maximum key of( 最 大 关键 字 )，291 
minimum key of( 最 小 关键 字 )，291 
optimal( 最 优 的 )，397-404，413 
predecessor in( 前 驱 )，291-292 
querying( 查 询 )，289-294 
randomly built( 随 机 构造 的 )，299-303，304 pr. 
right-converting of( 右 转 )，314 ex. 
scapegoat trees( 替 罪 羊 树 )，338 
searching( 搜 索 ， 查 找 )，289-291 
for sorting( 排 序 )，299 ex. 
splay trees( 伸 展 树 ) 338 
successor in( 后 继 ) 291-292 
and treaps( 与 treap), 333 pr. 
weight-balanced trees( 带 权 平衡 树 ) 338 
参见 red-black tree 
binary-search-tree property( 二 又 搜索 树 的 性 质 ) 287 
in treaps( 在 treap 中 ) 333pr. 
vs. min-heap property( 与 最 小 堆 的 性 质 ) 289 ex. 
binary tree( 二 叉 树 ) 1177 
full( 满 的 )，1178 
number of different ones( 不 相同 的 数目 ) 306 pr. 
representation of( 表 示 法 ) 246 
superimposed upon a bit vector ( {iz [a] fit_E J7 Æ jm 
Ay), 533-534 
参见 binary search tree 
binomial coefficient( 二 项 式 系数 ) 1186-1187 
binomial distribution( 二 项 分 布 )，1203-1206 
and balls and bins( 和 球 与 盒子 ) 133 
maximum value of( 最 大 值 ) 1207 ex. 
tails of( 的 尾 )，1208-1215 
binomial expansion( 二 项 式 展开 )，1186 
binomial heap( 二 项 堆 ) 527pr. 
binomial tree( 二 项 树 ) 527pr. 
bin packing( 装 箱 ) 1134 pr. 
bipartite graph( 二 分 图 )，1172 
corresponding flow network of( 对 应 的 流 网 络 ) 732 
d-regular(d 正则 的 ) ，736 ex. 
and hypergraphs( 与 超 图 ) 1173 ex. 


bipartite matching (二 分 匹配 )，530，732-736， 
747ex. ，766 
Hopcroft-Karp algorithm for (Hopcroft-Karp 算 
法 ) 763 pr. 
birthday paradox(#Æ Hf¥ié), 130-133, 142 ex. 
bisection of a tree( 树 的 等 分 ) 1181 pr. 
bitonic euclidean traveling-salesman problem( 双 调 欧 
几 里 得 旅行 商 问题 ) 405 pr. 
bitonic sequence( 双 调 序列 ) 682 pr. 
bitonic tour( 双 调 巡 游 ) 405 pr. 
bit operation( 位 操作 ) 927 
in Euclid’s algorithm( 欧 几 里 得 算法 中 ) 981 pr. 
bit-reversal permutation( 位 逆序 置换 ) 472 pr., 918 
BIT-REVERSE-COPY, 918 
bit-reversed binary counter( 位 逆序 二 进 制 计数 器 )， 
472 pr. 
BIT-REVERSED-INCREMENT, 472 pr. 
bit vector( {i [a] it), 255 ex, 532-536. 
black-height (H Aj HE), 309 
black vertex( M4444), 594, 603 
blocking flow( 块 流 )，765 
block structure in pseudocode( 伪 代码 中 的 块 结构 )，20 
Bob, 959 
Boole’s inequality( 布 尔 不 等 式 )，1195 ex. 
boolean combinational circuit( 布 尔 组 合 电路 ) 1071 
boolean combinational element( 布 尔 组 合 元 素 ) 1070 
boolean connective( 布 尔 连 接 ) 1079 
boolean formula (布尔 公式 )，1049，1066 ex., 
1079, 1086 ex. 
boolean function( 4 7K HRD, 1187 ex. 
boolean matrix multiplication( 布 尔 矩阵 乘法 ) 832 ex 
Boruvka's algorithm( Borivka 算法 ) 641 
bottleneck spanning tree( 瓶 颈 生 成 树 ) 640 pr. 
bottleneck traveling-salesman problem (瓶颈 旅行 商 
问题 ) 1117 ex. 
bottom of a stack( 栈 的 底 )，233 
BOTTOM-UP-CUT-ROD，366 
bottom-up method ( 自 底 向 上 方法 )，for dynamic 
programming( 动 态 规划 )，365 
bound( 界 ) 
asymptotically tight( 渐 近 紧 确 )，45 
asymptotic lower( 渐 近 下 )，48 
asymptotic upper( 渐 近 上 ) ，47 
on binomial coefficients( 对 二 项 式 系数 )，1186-1187 
on binomial distributions( 对 二 项 分 布 )，1206 


polylogarithmic( 多 项 对 数 的) 57 
on the tails of a binomial distribution( 对 二 项 分 布 
的 尾 ) 1208-1215 
参见 lower bounds 
boundary condition( 边 界 条 件 )，in a recurrence( 递 
归 式 中 )，67，84 
boundary of a polygon( 多 边 形 的 边界 ) 1020 ex. 
bounding a summation( 确 定 求 和 的 界 )，1149-1156 
box AF), nesting), 678 pr. 
Br+ -tree(B* BH), 488 
branching factor (4+ % FA F), in Btree (在 B 树 
H), 487 
branch instructions( 分 支 指令 )，23 
breadth-first search( 广 度 优 先 搜索 ) 594-602, 623 
in maximum flow( 在 最 大 流 中 )，727-730，766 
and shortest paths( 与 最 短路 径 ) ，597-600，644 
similarity to Dijkstra’s algorithm (与 Dijkstra 算法 
的 相似 性 )，662，663 ex. 
breadth-first tree( 广 度 优先 树 ) 594, 600 
bridge( 桥 )，621 pr. 
B* -tree(B* 树 ) 489 
Br-tree(B 树 ) 484-504 
compared with red-black trees (与 红 黑 树 比 较 )， 
484，490 
creating( 构 造 )，492 
deletion from( 删 除 ) 499-502 
full node in( 满 结 点 ) 489 
height of( 高 度 ) ，489-490 
insertion into( 择 人 )，493-497 
minimum degree of( 最 小 度数 ) ，489 
minimum key of( 最 小 关键 字 ) 497 ex. 
properties of (性质 ) 488-491 
searching( 搜 索 ， 查 找 ) 491-492 
splitting a node in( 分 裂 结 点 ) 493-495 
2-3-4 trees(2-3-4 树 ) 489 
B-TREE-CREATE, 492 
B-TREE-DELETE, 499 
B-TREE-INSERT, 495 
B-TREE-INSERT-NONFULL, 496 
B-TREE-SEARCH, 492, 499 ex. 
B-TREE-SPLIT-CHILD, 494 
BUBBLESORT, 40 pr. 
bucket (4), 200 
bucket sort( 桶 排序 ) 200-204 
BUCKET-SORT，201 
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BUILD-MAX-HEAP, 157 
BUILD-MAX-HEAP’, 167 pr. 
BUILD-MIN-HEAP, 159 

butterfly operation( 蝴 蝶 操 作 ) 915 
by, in pseudocode( 伪 代码 中 )，21 


C 


cache( 高 速 缓 存 ) 24, 449 pr. 

cache hit( 组 存 命中 ) 449 pr. 

cache miss( 缓 存 未 命中 ) 449 pr. 
cache-obliviousness( 缓 存 无 关 ) 504 
caching( 缓 冲 ) ，off-line( 脱 机 ) 449 pr. 


call( 调 用 ) 
in a multithreaded computation (在 多 线程 计算 
中 )，776 


a subroutine( 子 过 程 )，23，25 n. 

by value( 按 值 )，21 
call edge( 调 用 边 )，778 
cancellation lemma( 相 消 引 理 )，907 
cancellation of flow( 流 的 抵消 )，717 
canonical form for task scheduling( 任 务 调 度 的 规范 

形式 )，444 

capacity( 容 量 ) 

of a cut( 切 割 )，721 

of an edge( 边 ) ，709 

residual( 残 存 ) ，716，719 

of a vertex( 结 点 的 ) 714 ex. 
capacity constraint( 容 量 限制 )，709，710 
cardinality of a set( || ) (集合 的 基数 )，1161 
Carmichael number(Carmichael 数 ) 968, 975 ex. 
Cartesian product( X )(#{-KJL#),. 1162 
Cartesian sum( 笛 卡 儿 和 ) ，906 ex. 
cascading cut( 级 联 切断 ) 520 
CASCADING-CUT, 519 
Catalan numbers(Catalan 数 ) 306 pr. , 372 
ceiling function([ 1)( 上 取 整 函数 )，54 

in master theorem( 主 定理 )，103-106 
ceiling instruction( 向 上 取 整 指令 )，23 
certain event( 必 然 事 件 )，1190 
certificate( 证 书 》 

in a cryptosystem( 加 密 系 统 )，964 

for verification algorithms( 验 证 算法 )，1063 
CHAINED-HASH-DELETE, 258 
CHAINED-HASH-INSERT, 258 
CHAINED-HASH-SEARCH, 258 
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chaining( 链 接 法 ) 257-260, 283 pr. 
chain of a convex hull( 凸 包 链 ) 1038 
changing a key (改变 关键 字 )，in a Fibonacci heap 
(在 斐 波 那 契 堆 中 ) 529 pr. 
changing variables (改变 变量 )，in the substitution 
method( 在 替换 方法 中 )，86-87 
character code( 字 符 编 码 )，428 
chess-playing program (国际 象棋 博弈 程序 )， 
790-791 
child( 和 孩子 ) 
in a binary tree(7E— MAH), 1178 
in a multithreaded computation( 在 多 线程 计算 中 )，776 
in a rooted tree( 在 有 根 树 中 ) 1176 
child list in a Fibonacci heap( 韭 波 那 契 堆 中 的 孩子 列 
表 )，507 
Chinese remainder theorem (中 国 余数 定理 )，950- 
954，983 
chip multiprocessor( 世 片 多 处 理 器 ) 772 
chirp transform( 线 性 调频 变换 ) 914 ex. 


choose (7) 选择 )， 1185 


chord(5%), 345 ex. 
Cilk，774，812 
Cilk++, 774, 812 
ciphertext (ŒX), 960 
circuit (E BR) 
boolean combinational( 布 尔 组 合 ) 1071 
depth of (深度 ) 919 
for Fast Fourier Transform (快速 傅 里 叶 变 换 )， 
919-920 
CIRCUIT-SAT，1072 
circuit satisfiability( 电 路 可 满足 性 ) 1070-1077 
circular( 循 环 的 )，doubly linked list with a sentinel 
〈 带 哨兵 的 双向 链表 ) 239 
circular linked list( 循 环 链表 ) 236 
参见 linked list 
class( 类 ) 
complexity( 复 杂 )，1059 
equivalence( 等 价 ) 1164 
classification of edges( 边 的 分 类 ) 
in breadth-first search( 广 度 优先 搜索 )，621 pr. 
in depth first search( 深 度 优先 搜索 )，609-610，611 ex 
in a multitheaded dag，( 在 多 线程 有 向 无 环 图 
中 )，778-779 
clause( 子 句 )，1081-1082 


clean sequence( 清 洁 序 列 )，208 pr 
clique( 团 ) 1086-1089, 1105 
approximation algorithm for( 近 似 算 法 )，1111 ex , 
1134 pr. 
CLIQUE, 1087 
closed interval( 闭 区 间 )，348 
closed semiring( 闭 合 半 环 ) 707 
closest pair (Ax VE AY Xt), finding ( 4 FR), 1039- 
1044, 1047 
closest-point heuristic( 最 近 点 的 启发 式 )，1117 ex. 
closure( 闭 包 ) 
group property( 群 的 性 质 )，939 
of a language( 语 言 )，1058 
operator( 操 作 符 )( x* )，1058 
transitive( 传 递 的 ) ， 见 transitive closure 
cluster( 集 群 ) 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 秋 加 的 位 向 量 ) 534 
for parallel computing( 并 行 计 算 ) ，772 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 中 )，538 
in van Emde Boas tree(van Emde Boas 树 中 )，546 
clustering( 群 集 )，272 
CNF (conjunctive normal form) ( 合 取 范式 )，1049，1082 
CNF satisfiability(CNF 可 满足 性 )，1127 ex. 
coarsening leaves of recursion( 递 归 的 叶 变 粗 ) 
in merge sort( 归 并 排序 中 ) 39 pr. 
when recursively spawning( 当 递归 派生 时 ) ，787 
code( 编 码 ) 428-429 
Huffman( 赫 夫 曼 ) 428-437, 450 
codeword( 代 码 字 ) 429 
codomain( fyi), 1166 
coefficient (%0 
binomial( ist), 1186 
of a polynomial (mi), 55, 898 
in slack form( 松 弛 型 )，856 
coefficient representation( 系 数 表 示 法 ) ，900 
and fast multiplication( 与 快速 乘法 ) 903-905 
cofactor( 余 子 式 )，1224 
coin changing( 硬 币 找 零 ) ，446 pr. 
collinearity( 共 线性 ) 1016 
collision( 冲 突 )，257 
resolution by chaining( 通 过 链接 解决 )，257-260 
resolution by open addressing( 通 过 开放 寻 址 法 解 
H), 269-277 


collision-resistant hash function ( Ht 7} 3% # 7) A 
数 ) 964 
coloring( 着 色 ) 1103 pr. 1180 pr. 
color( 颜 色 ) of a red-black-tree node( 红 黑 树 结 点 )， 
308 
column-major order( 列 主 次 序 ) 208 pr. 
column rank( 列 秩 ) ，1223 
columnsort( 列 排序 ) 208 pr. 
column vector( 列 向 量 ) 1218 
combination( 组 合 ) 1185 
combinational circuit( 组 合 电 路 ) 1071 
combinational element( 组 合 元 素 ) 1070 
combine step( 合 并 步 ) in divide-and-coquer( 分 治 法 
中 )，30，65 
comment( 注 释 ) in pseudocode(//)( 伪 代码 中 )，21 
commodity( 商 品 ) 862 
common divisor( 公 因子 ) ，929 
greatest( 最 大 的 ) ， 见 greatest common divisor 
common multiple( 公 倍数 ) 939 ex. 
common subexpression( 公 共 子 表达 式 )，915 
common subsequence( 公 共 子 序列 )，7，391 
longest( 最 长 的 )，7，390-397，413 
commutative laws for sets( 集 合 的 交换 律 )，1159 
commutative operation( 交 换 操 作 ) 940 
COMPACTIFY-LIST, 245 ex. 
compact list Fi] Zz), 250 pr. 
COMPACT-LIST-SEARCH, 250 pr. 
COMPACT-LIST-SEARCH’, 251 pr. 
comparable line segments( 可 比较 的 线段 ) 1022 
COMPARE-EXCHANGE, 208 pr. 
compare-exchange operation (比较 交换 操作 )， 
208 pr. 
comparison sort( 比 较 排 序 ) 191 
and binary search trees( 与 二 叉 搜索 树 ) 289 ex. 
randomized( 随 机 化 的 ) 205 pr. 
and selection( 与 选择 ) 222 
compatible activities( 可 比较 的 活动 )，45 
compatible matrices( 可 比较 的 矩阵 ) 371, 1221 
competitive analysis( 竞 争 分 析 ) 476 pr. 
complement( 补 ) 
of an event( 事 件 )，1190 
of a graph( 图 )，1090 
of a language( 语 言 ) 1058 
Schur( 舒 尔 ) 820, 834 
of a set( 集 合 ) 1160 
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complementary slackness( 互 补 松弛 性 ) 894 pr. 
complete graph( 完 全 图 )，1172 
complete k-ary tree( 完 全 上 叉 图 )，1179 

参见 heap 
completeness of a language( 语 言 的 完备 性 )，1077 ex. 
complete step( 完 成 步 )，782 
completion time( 完 成 时 间 )，447 pr. ，1136 pr. 
complexity class( 复 杂 类 )，1059 

co-NP, 1064 

NP, 1049, 1064 

NPC, 1050, 1069 

P, 1049, 1055 
complexity measure( 复 杂 性 度量 ) 1059 
complex numbers( 复 数 ) 
inverting matrices of (EERI), 832 ex. 
multiplication of( 乘 法 ) 83 ex. 
complex root of unity( 单 位 复 根 )，906 

interpolation at( 插 值 ) 912-913 
component (4}4) 

biconnected( 双 连通 ) 621 pr. 

connected( 连 通 ) 1170 

strongly connected( 强 连通 ) ，1171 
component graph( 分 量 图 ) 617 
composite number( 合 数 ) 928 

witness to( 证 据 )，968 
composition( 合 成 )，of multithreaded 

computations (RIIE), 784 fig. 
computational depth( 计 算 深 度 ) 812 
computational geometry( 计 算 几 何 ) 1014-1047 
computational problem( 计 算 问 题 ) 5-6 
computation dag( 计 算 有 向 无 环 图 ) 777 
computation( 计 算 ) ，mnultithreaded( 多 线程 ) 777 
COMPUTE-PREFIX-FUNCTION，1006 
COMPUTE-TRANSITION-FUNCTION，1001 
concatenation( 连 结 ) 

of languages( 语 言 )，1058 

of strings Z% $), 986 
concrete problem( 具 体 问 题 ) 1055 
concurrency keywords( 并 发 关键 词 )，774，776，785 
concurrency platform( 并 发 平台 ) 773 
conditional branch instruction( 条 件 分 支 指令 )，23 
conditional independence( 条 件 独立 ) 1195 ex. 
conditional probability( 条 件 概 率 ) 1192, 1194 
configuration( 配 置 ) 1074 
conjugate of the golden ration ($) (黄金 分 割 率 的 共 
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4), 59 
conjugate transpose( 4t Hifk E), 832 ex. 
conjunctive normal form AW ER), 1049, 1082 
connected component( 连 通 分量 ) 1170-1171 
identified using depth-first search( 用 深度 优先 搜 
索 识别 )，612 ex. 
identified using disjoint-set data structures( 用 不 相 
交集 合 数据 结构 识别 )，562-564 
CONNECTED-COMPONENTS，563 
connected graph( 连 通 图 )，1170 
connective( 连 接 词 )，1079 
co-NP(complexity class) (复杂 类 )，1064 
conquer step( 解 决 步 )，in divide-and-conquer( 分 治 
法 中 )，30，65 
conservation of flow( 流 的 守恒 )，709-710 
consistency( 一 致 ) 
of literals( 字 面 上 的 )，1088 
sequential( 347), 779, 812 
CONSOLIDATE, 516 
consolidating a Fibonacci-heap root list( 合 并 一 个 斐 
波 那 契 堆 的 根 列 表 ) 513-517 
constraint( 约 束 ) 851 
difference( 差 分 )，665 
equality( 等 式 )，670 ex. ，852-853 
inequality( 不 等 式 )，852-853 
linear( 线 性 )，846 
nonnegativity( 非 负 性 )，851，853 
tight( 紧 ) 865 
violation of( 违 反 ) ，865 
constraint graph( 约 束 图 ) 666-668 
contain( 包 含 ) in a path( 在 路 径 中 ) 1170 
continuation edge( 连 续 边 ) 778 
continuous uniform probability distribution (连续 均 
匀 概 率 分 布 )，1192 
contraction( 收 缩 ) 
of a dynamic table( 动 态 表 的 ) 467-471 
of a matroid( 拟 阵 的 ) ，442 
of an undirected graph by an edge( 无 向 图 沿 一 条 
边 的 )，1172 
control instructions( 控 制 指 令 )，23 
convergence property( 收 敛 性 )，650，672-673 
convergent series( 收 敛 级 数 ) 1146 
converting binary to decimal( 将 二 进 制 转换 为 十 进 
制 )，933 ex. 
convex combination of points( 点 的 凸 组 合 ) 934 


convex function( 凸 函数 ) 1015 
convex hull( 凸 包 ) 8, 1029-1039, 1046 pr. 
convex layers(#4f2), 1044 pr. 
convex polygon( fs 4iH3%), 1020 ex. 
convex set( 凸 集 ) 714 ex. 
convolution( 卷 积 )(CO) 901 
convolution theorem( 卷 积 定理 ) ，913 
copy instruction( 复 制 指令 )，23 
correctness of an algorithm( 算 法 的 正确 性 )，6 
corresponding flow network for bipartite matching 
(二 分 匹配 对 应 的 流 网 络 ) ，732 
countably infinite set( 可 数 无 限 集 )，1161 
counter( 计 数 器 ) ， 见 binary counter 
counting( 计 数 ) 1183-1189 
probabilistic( 概 率 的 ) 143 pr. 
counting sort( 计 数 排序 ) ，194-197 
in radix sort( 基 数 排序 中 ) 198 
COUNTING-SORT, 195 
coupon collector’s problem( 礼 券 收 集 者 问题 ) 134 
cover (if 3i) 
path( 路 径 ) 761 pr. 
by a subset( 用 子 集 )，1118 
vertex( 顶 点 )，1089，1108，1124-1127，1139 
covertical( 共 垂 线 的 ) 1024 
CREATE-NEW-RS-VEB-TREE, 557 pr. 
credit( 存 款 )，456 
critical edge( 关 键 边 ) 729 
critical path( 关 键 路 径 ) 
of a dag( 有 向 无 环 图 )，657 
of a multithreaded computation( 多 线程 计算 )，779 
cross a cut( 横 跨 切割 ) 626 
cross edge( 交 叉 边 ) 609 
cross product( 叉 积 )(X)，1016 
cryptosystem( 加 密 系 统 )，958-965，983 
cubic spline( 三 次 样 条 ) 840 pr. 
currency exchange( 货 币 兑 换 ) ，390 ex. ，679 pr. 
curve fitting( 曲 线 拟 合 ) 835-839 
cut( 切 割 ) 
capacity of (容量 ) 721 
cascading( 级 联 ) ，520 
of a flow network( 流 网 络 ) ，720-724 
minimum( 最 小 ) 721, 731 ex. 
net flow across( 净 流 )，720 
of an undirected graph( 无 向 图 ) 626 
weight of( 权 重 ) 1127 ex. 


CUT, 519 
cutting (HJ Wr), in a Fibonacci heap (3 W Hp 38 HE 
A), 519 
cycle of a graph( 图 的 环 ) 1170 
hamiltonian( 哈 密 顿 )，1049，1061 
minimum mean-weight( 最 小 平均 权重 ) 680 pr. 
negative-weight( 负 权重 )， 见 negative-weight cycle 
and shortest paths( 与 最 短路 径 )，646-647 
cyclic group( 循 环 群 )，955 
cyclic rotation( 循 环 旋转 ) 1012 ex. 
cycling( 循 环 )，of simplex algorithm (单纯 形 算法 
的 )，875 


D 


dag， 见 directed acyclic graph 
DAG-SHORTEST-PATHS，655 
d-ary heap(d ILH), 167 pr. 
in shortest-paths algorithms( 最 短路 径 算法 ) 706 pr. 
data-movement instructions( 数 据 移动 指令 )，23 
data structure( 数 据 结 构 )，9，229-355，481-585 
AA-trees(AA 树 )，338 
augmentation of( 扩 张 )，339-355 
AVL trees(AVL 树 )，333 pr. ，337 
binary search trees( 二 叉 搜 索 树 )，286-307 
binomial heaps( 二 项 堆 )，527 pr. 
bit vectors( 位 向 量 )，255 ex. 532-536 
B-trees(B 树 )，484-504 
deques( 双 端 队列 ) ，236 ex. 
dictionaries( 字 典 ) 229 
direct-address tables( 直 接 寻 址 表 ) 254-255 
for disjoint sets( 不 相交 集合 ) 561-585 
for dynamic graphs( 动 态 图 ) 483 
dynamic sets( 动 态 集合 ) 229-231 
dynamic trees( 动 态 树 ) ，482 
exponential search trees( 指 数 搜索 树 ) 212, 483 
Fibonacci heaps (SEIR RHE), 505-530 
fusion trees (RHAH), 212, 483 
hash tables( 散 列表 ) 256-261 
heaps( 堆 ) 151-169 
interval trees( 区 间 树 ) ，348-354 
k-neighbor trees( 邻居 树 ) 338 
linked lists( 链 表 ) 236-241 
order-statistic trees( 顺 序 统 计 树 ) 339-345 
persistent( 持 久 的 )，331 pr. ，482 
potential of( 势 ) 459 
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priority queues( 优 先 队 列 ) 162-166 
proto van Emde Boas stractures( 原 型 van Emde 
Boas 结构 ) 538-545 
queues( PAF), 232, 234-235 
radix trees( 基 树 ) 304 pr. 
red-black trees( 红 黑 树 ) 308-338 
relaxed heaps( 松 弛 堆 ) 530 
rooted trees( 有 根 树 ) ，246-249 
scapegoat trees( 替 罪 羊 树 ) 338 
on secondary storage( 辅 助 存储 器 ) 484-487 
skip lists( 跳 表 ) 338 
splay trees( 伸 展 树 ) 338, 482 
stacks( 栈 ) 232-233 
treaps，333 pr. ，338 
2-3-4 heaps(2-3-4 HE), 529 pr. 
2-3-4 trees(2-3-4 树 ) 489, 503 pr. 
2-3 trees(2-3 Hf), 337, 504 
van Emde Boas trees (van Emde Boas 树 )， 
531-560 
weight-balanced trees( 带 权 平 衡 树 ) 338 
deadline( 截 止 时 间 )，444 
deallocation of objects( 对 象 的 释放 )，243-244 
decision by an algorithm (由 一 个 算法 决定 )， 
1058-1059 
decision problem( 判 定 问 题 ) 1051, 1054 
and optimization problems( 与 最 优化 问题 )，1051 
decision tree( 决 策 树 ) 192-193 
DECREASE-KEY, 162, 505 
decreasing a key( 对 一 个 关键 字 减 值 ) 
in Fibonacci heaps( SE 3X AK RHE), 519-522 
in 2-3-4 heaps(2-3-4 HE), 529 pr. 
DECREMENT, 456 ex. 
degeneracy( 退 化 ) 874 
degree( 度 ) 
of a binomial-tree root( 二 项 树 根 ) 527 pr. 
maximum( 最 大 ) of a Fibonacci heap( 斐 波 那 契 
HE), 509, 523-526 
minimum( 最 小 ) of a B-tree(B 树 ) 489 
of a node( 结 点 ) 1177 
of a polynomial( 多 项 式 )，55，898 
of a vertex( 顶 点 )，1169 
degree-bound( 次 数 界 ) 898 
DELETE，230，505 
DELETE-LARGER-HALF, 463 ex. 
deletion HBR) 
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from binary search trees( 二 叉 搜 索 树 )，295-298， 
299 ex. 
from a bit vector with a superimposed binary tree 
(BABI MW), 534 
from a bit vector with a superimposed tree of 
constant height( 具 有 恒定 高 度 全 加 树 的 位 
向 量 )，535 
from B-trees(B 树 )，499-502 
from chained hash tables( 链 接 的 散 列 表 ) 258 
from direct-address tables( 直 接 寻 址 表 ) 254 
from dynamic tables( 动 态 表 ) 467-471 
from Fibonacci heaps( 斐 波 那 契 堆 )，522，526 pr. 
from heaps( HE), 166 ex. 
from interval trees(K [AJ Bt), 349 
from linked lists( 链 表 ) 238 
from open-address hash tables( 开 放 寻 址 散 列 表 )，271 
from order-statistic trees( 顺 序 统 计 树 ) 343-344 
from proto van Emde Boas struetures (原型 van 
Emde Boas 结构 ) 544 
from queues( 队 列 ) 234 
from red-black trees( 红 黑 树 ) 323-330 
from stacks( 栈 )，232 
from sweep-line statuses( 扫 描 线 状 态 ) 1024 
from 2-3-4 heaps(2-3-4 HE), 529 pr. 
from van Emde Boas tress (van Emde Boas 树 )， 
554-556 
DeMorgan’s laws( 德 。 摩 根 律 ) 
for propositional logic( 命 题 逻辑 ) 1083 
for sets( 集 合 ) 1160, 1162 ex. 
dense graph( 稠 密 图 ) 589 
e-dense(e 稠密 ) 706 pr. 
density ( # BE) 
of prime numbers( 素 数 ) 965-966 
of a rod( 钢 条 ) 370 ex. 
dependence( 相 关 ) 
and indicator random variables (与 指示 器 随机 变 
fit), 119 
linear( 线 性 )，1223 
参见 independence 
depth( 深 度 ) 
average (平均 ) of a node in a randomly built 
binary search tree( 随 机 构造 的 二 叉 搜 索 树 中 
结 点 )，304 pr. 
of a circuit( 电 路 ) ，919 
of a node in a rooted tree( 有 根 树 的 结 点 ) 1177 


of quicksort recursion tree (快速 排序 递归 树 )， 
178 ex. 
of a stack(#%), 188 pr. 
depth-determination problem( 深 度 确定 问题 ) 583 pr. 
depth-first forest( 深 度 优先 森林 )，603 
depth-first search( 深 度 优先 搜索 )，603-612，623 
in finding articulation points, bridges, and biconn- 
ected components( 寻 找 衔接 点 、 桥 和 双 连 通 
分 量 ) 621 pr. 
in finding strongly connected components( 寻 找 强 
连通 分 量 ) 615-621, 623 
in topological sorting( 拓 扑 排序 ) 612-615 
depth-first tree( 深 度 优 先 树 ) 603 
deque( 双 端 队列 ) 236 ex. 
DEQUEUE，235 
derivative of series( 级 数 的 导数 ) ，1147 
descendant( 子 孙 )，1176 
destination vertex( 目 的 地 结 点 ) 644 
det， 见 determinant 
determinacy race( 确 定性 竞争 ) 788 
determinant( 行 列 式 )，1224-1225 
and matrix multiplication( 与 矩阵 乘法 ) 832 ex. 
deterministic algorithm( 确 定性 算法 ) 123 
multithreaded (ZRH), 787 
DETERMINISTIC-SEARCH, 143 pr. 
DFS, 604 
DFS-VISIT, 604 
DFT(Discrete Fourier Transform) ( By fi (4 E m 4B 
#), 9, 909 
diagonal matrix( 对 角 和 矩阵 ) 1218 
LUP decomposition of(LUP 分 解 ) 827 ex. 
diameter of a tree( 树 的 直径 ) 602 ex. 
dictionary( 字 典 ) 229 
difference constraints( 差 分 约束 ) 664-670 
difference equation( 差 分 方程 ) JL recurrence 
difference of sets( 集 合 的 差 )( 一 )，1159 
symmetric( 对 称 的 )，763 pr. 
differentiation of series( 级 数 的 微分 )，1147 
digital signature( 数 字 签 名 ) 960 
digraph( 有 向 图 )， 见 directed graph 
DIJKSTRA, 658 
Dijkstra’s algorithm(Dijkstra 算法 )，658-664，682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，684，704 
implemented with a Fibonacci heap( HIE HIR RHE 


实现 ) 662 
implemented with a min-heap( 用 最 小 堆 实 现 ) ，662 
with integer edge weights( 带 整数 边 权 重 )，664 ex 
in Johnson’s algorithm(Johnson 算法 )，702 
similarity to breadth-first search( 与 广度 优先 搜索 
的 相似 性 )，662，663 ex. 
similarity to Prim’s algorithm( 与 Prim 算法 的 相 
似 性 )，634，662 
DIRECT-ADDRESS-DELETE, 254 
direct addressing Hf FHL), 254-255, 532-536 
DIRECT-ADDRESS-INSERT, 254 
DIRECT-ADDRESS-SEARCH, 254 
direct-address table( 直 接地 址 表 ) 254-255 
directed acyclic graph( 有 向 无 环 图 ，dag) ，1172 
and back edges( 与 反 向 边 ) 613 
and component graphs( 与 分 量 图 ) 617 
and hamiltonian-path problem (与 哈密 顿 路 径 问 
Æi), 1066 ex. 
longest simple path in( 最 长 简单 路 径 ) 404 pr. 
for representing a multithreaded computation( 表 示 
多 线程 计算 )，777 
single-source shortest-paths algorithm for( 单 源 最 
短路 径 算法 )，655-658 
topological sort of( 拓 扑 排序 ) 612-615, 623 
directed graph( 有 向 图 ) 1168 
all-pairs shortest paths in( 所 有 结 点 对 的 最 短路 
径 ) 684-707 
constraint graph( 约 束 图 ) 666 
Euler tour of( 欧 拉 回 路 )，623 pr. ，1048 
hamiltonian cycle of( 哈 密 顿 环 ) ，1049 
and longest paths( 与 最 长 路 径 ) ，1048 
path cover of (路径 覆 盖 ) 761 pr. 
PERT chart(PERT 图 ) 657, 657 ex. 
semiconnected( 半 连通 的 ) 621 ex. 
shortest path in( 最 短路 径 ) ，643 
single-source shortest paths in( 单 源 最 短路 径 )， 
643-683 
singly connected( 单 连通 图 ) 612 ex. 
square of (平方 ) 593 ex. 
transitive closure of( 传 递 闭 包 ) 697 
transpose of( 转 置 ) 592 ex. 
vniversal sink in( 通 用 汇 点 )，593 ex. 
参见 circuit, directed acyclic graph, graph, network 
directed segment( 有 向 线段 ) 1015-1017 
directed version of an undirected graph( 无 向 图 的 有 
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向 版 本 )，1172 
DIRECTION, 1018 
dirty data( 脏 数据 )，208 pr. 
DISCHARGE, 751 
discharge of an overflowing vertex (溢出 结 点 的 释 
BO, 751 
discovered vertex( 被 发 现 的 结 点 ) 594, 603 
discovery time( 发 现时 间 ) ，in depth-first search( 深 
度 优先 搜索 )，605 
Discrete Fourier Transform (离散 傅 里 叶 变 换 )， 
9，909 
discrete logarithm( 离 散 对 数 ) 955 
discrete logarithm theorem( 离 散 对 数 定 理 ) 955 
discrete probability distribution (离散 概率 分 
布 )，1191 
discrete random variable( 离 散 随机 变量 ) 1196-1201 
disjoint-set data structure( 不 相交 集合 数据 结构 )， 
561-585 
analysis of (4}#T), 575-581, 581 ex. 
in connected components( 连 通 分 量 ) 562-564 
in depth determination( 深 度 确 定 ) 583 pr. 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 ) 568-572 
in Kruskal’s algorithm(Kruskal 算法 )，631 
linear-time special case of( 线 性 时 间 特 例 ) 585 
linked-list implementation of (链表 实现 ) 564-568 
in off-line least common ancestors( 脱 机 最 小 公共 
祖先 ) 584 pr. 
in off-line minimum( 脱 机 最 小 ) 582 pr. 
in task scheduling( 任 务 调度 ) 448 pr. 
disjoint-set forest( 不 相交 集合 森林 ) ，568-572 
analysis of( 分 析 ) 575-581, 581 ex. 
rank properties of( 秩 性 质 ) 575, 581 ex. 
参见 disjoint-set data structure 
disjoint sets( 不 相交 集合 ) 1161 
disjunctive normal form( 析 取 范 式 )，1083 
disk( 磁 盘 ) 1028 ex. 
参见 secondary storage 
DISK-READ, 487 
DISK-WRITE, 487 
distance( HE BS) 
edit( 444), 406 pr. 
euclidean( JL #7), 1039 
Lms 1044 ex. 
Manhattan ($t), 225 pr., 1044 ex. 
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of a shortest path( 最 短路 径 ) 597 
distributed memory( 分 布 式 存储 ) 772 
distribution( 分 布 ) 

binomial( 二 项 ) 1203-1206 

continuous uniform( 连 续 均 勾 ) 1192 

discrete( 离 散 )，1191 

geometric( 几 何 ) 1202-1203 

of inputs( 输 入 )，116，122 

of prime numbers( 素 数 ) 965 

probability( 概 率 ) ，1190 

sparse-hulled( 稀 疏 包 ) 1046 pr. 

uniform(#j4J), 1191 
distributive laws for sets( 集 合 的 分 配 律 ) 1160 
divergent series (RHO, 1146 
divide-and-conquer method( 分 治 法 ) 30-35, 65 


division theorem( 除 法 定理 ) 928 
divisor( 因 子 ) ，927-928 

common( 人 公共) 929 

参见 greatest common divisor 
DNA, 6-7, 390-391, 406 pr. 
DNF (disjunctive normal form)( 析 取 范 式 )，1083 
does-not-divide relation( 非 整除 关系 )(1)，927 
domain( 域 ) ，1166 
dominates relation( 支 配 关系 ) 1045 pr. 
double hashing( 双 散 列 ) 272-274, 277 ex. 
doubly linked list( 双 向 链表 ) ，236 

参见 linked list 

downto, in pseudocode( 伪 代码 中 )，21 
d-regular graph(d 正则 图 )，736 ex. 
duality( 对 偶 性 ) 879-886, 895 pr 


analysis of( 分 析 ) 34-35 
for binary search( 二 分 查找 ) 39 ex. 
for conversion of binary to decimal( 二 进 制 到 十 进 
制 的 转换 ) 933 ex. 
for Fast Fourier Transform (快速 傅 里 叶 变 换 )， 
909-912 
for finding the closest pair of points( 寻 找 最 近 点 
对 )，1040-1043 
for finding the convex hull( 寻 找 凸 包 ) 1030 
for matrix inversion(4iPEAIW), 829-831 
for matrix multiplication (i BE Fe HE), 76-83, 
792-797 
for maximum-subarray problem (最 大 子 数组 问 
题 ) ，68-75 
for merge sort( 归 并 排序 ) ，30-37，797-805 
for multiplication( 乘 法 ) 920 pr. 
for multithreaded matrix multiplication( 多 线程 矩 
阵 乘法 ) ，792-797 
for multithreaded merge sort( 多 线程 归并 排序 )， 
170-190 
for quicksort( 快 速 排序 )，145-164 
relation to dynamic programming (与 动态 规划 的 
关系 )，359 
for selection( 选 择 )，215-224 
solving recurrences for (求解 递归 式 )，83-106， 
112-113 
for Strassen’s algorithm(Strassen 算法 ) 79-83 
divide instruction( BREF), 23 
divides relation( 整 除 关系 )( |), 927 
division method( 除 法 ) 263, 268-269 ex. 


weak($§), 880-881, 886ex. 
dual linear program( 对 侦 线 性 规划 ) ，879 
dammy key( 伪 关键 字 ) 397 
dynamic graph( 动 态 图 )，562 n. 
all- pairs shortest Paths algorithm for( 所 有 结 点 对 的 
最 短路 径 算法 )，707 
data structures for( 数 据 结 构 )，483 
minimum-spanning-tree algorithm for( 最 小 生成 树 
算法 )，637 ex. 
transitive closure of( 传 递 闭 包 ) 705 pr. ，707 
dynamic multithreaded algorithm( 动 态 多 线程 算 
法 ) ， 参 见 mltithreaded algorithm 
dynamic multithreading( 动 态 多 线程 )，773 
dynamic order statistics( 动 态 顺序 统计 )，339-345 
dynamic-programming method (动态 规划 方法 )， 
359-413 
for activity selection( 活 动 选择 ) 421 ex. 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，686-697 
for bitonic euclidean traveling-salesman problem 
( 双 调 欧 几 里 得 旅行 商 问题 )，405 pr. 
bottom-up( 自 底 向 上 )，365 
for breaking a string( 分 解 字符 串 ) 410 pr. 
compared to greedy algorithms( 与 贪心 算法 比较 )， 
381, 390 ex , 418, 423-427 
for edit distance( 编 辑 距离 ) 406 pr. 
elements of( 基 础 )，378-390 
for Floyd-Warshall algorithm (Floyd-Warshall 算 
法 )，693-697 
for inventory planning( 库 存 规划 )，411 pr. 


for longest common subsequence( 最 长 公共 子 序 
列 )，390-397 
for longest palindrome subsequence( 最 长 回 文子 序 
Fil), 405 pr. 
for longest simple path in a weighted directed 
acyclic graph( 加 权 有 向 无 环 图 中 的 最 长 简单 
路 径 ) 404 pr. 
for matrix-chain multiplication (#3 PF # Fe HE), 
370-378 
and memoization( #45), 387-389 
for optimal binary search trees( 最 优 二 叉 搜 索 树 )， 
397-404 
optimal substructure in( 最 优 子 结构 ) 379-384 
overlapping subproblems in (4 Æ F [A] Mi), 
384-386 
for printing neatly( 整 齐 打印 ) 405 pr. 
reconstructing an optimal solution in( 重 新 构造 一 
个 最 优 解 )，387 
relation to divide-and-conquer (与 分 治 法 的 关系 )， 
359 
for rod-cutting( 钢 条 切割 )，360-370 
for seam carving (FESER BI), 409 pr. 
for signing free agents( 签 约 自 由 球员 )，411 pr. 
top-down with memoization ( 带 备 忘 的 自 项 向 
下 )，365. 
for transitive closure( 传 递 闭 包 ) 697-699 
for Viterbi algorithm( Viterbi 算法 ) 408 pr. 
for 0-1 knapsack problem(0-1 背包 问题 ) 427 ex 
dynamic set( 动 态 集合 ) 229-231 
参见 data structure 
dynamic table( 动 态 表 ) 463-471 
analyzed by accounting method (用 核算 法 分 析 )， 
465-466 
analyzed by aggregate analysis( 用 汇聚 分 析 做 分 
析 )，465 
analyzed by potential method (用 势能 法 分 析 )， 
466-471 
load factor of( 装 载 因子 )，463 
dynamic tree( 动 态 树 )，482 


E 


es 53 

E [](expected value) (期 望 值 ) 1197 
early-first form( 提 前 优先 形式 ) 444 
early task( 提 前 任务 ) 444 
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edge( 边 ) 1168 
admissible( 许 可 的 )，749 
antiparallel( 反 平行 )，711-712 
attributes of( 属 性 ) 592 
back( 反 向 的 )，609 
bridge( 桥 ) 621 pr. 
call( 调 用 ) 778 
capacity of (容量 ) 709 
classification in breadth-first search( 广 度 优先 搜索 
中 的 分 类 ) 621 pr. 
classification in depth-first search( 深 度 优 先 搜索 
中 的 分 类 )，609-610 
critical (#849), 729 
cross( 交 叉 的 ) 609 
forward( 正 向 的 ) 609 
inadmissible( 非 许可 的 )，749 
light( 轻 的 )，626 
negative-weight( 负 的 权重 )，645-646 
residual( 残 留 的 )，716 
safe( 安 全 的 )，626 
saturated( 饱 和 的 )，739 
tree( 树 ) 601, 603, 609 
weight of( 权 重 )，591 
edge connectivity( 边 的 连通 性 ) 731 ex. 
edge set( 边 集合 ) 1168 
edit distance( 编 辑 距离 )，406 pr. 
Edmonds-Karp algorithm(Edmonds-Karp IÆ), 727-730 
elementary event( 基 本 事件 ) ，1189 
elementary insertion( FEA HHA), 465 
element of a set( 集 合 的 元 素 )(E)，1158 
ellipsoid algorithm( 椭 球 算 法 ) 850, 897 
elliptic-curve factorization method (椭圆 曲线 因子 分 
解 方法 )，984 
else if, in pseudocode( 伪 代码 中 )，20 n. 
else(else 子 句 )，in pseudocode( 伪 代码 中 )，19 
empty language( 空 语言 )( 杀 ) 1058 
empty set(4348)(@), 1158 
empty set laws( 空 集 律 )，1159 
empty stack( 空 栈 ) ，233 
empty string( 空 串 )(e) 986, 1058 
empty tree( 空 树 ) 1178 
encoding of problem instances (问题 实例 的 编码 )， 
1055-1057 
endpoint( 端 点 ) 
of an interval( 区 间 )，348 
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of a line segment(4 Et), 1015 
ENQUEUE, 203 
entering a vertex( 进 入 一 个 顶点 )，1169 
entering variable( 替 入 变量 )，867 
entropy function($ P%O, 1187 
e-dense graph(e 稠密 图 ) 706 pr. 
e-universal hash function(e ZIRI BBO. 269 ex. 
equality Ai) 
of functions( HA), 1166 
linear( 线 性 ) 845 
of sets( 集 合 ) ，1158 
equality constraint( 等 式 约 束 ) 670 ex. ，852 
and inequality constraints( 与 不 等 式 约 束 ) 853 
tight( 紧 的 ) 865 
violation of( 违 反 ) 865 
equation( 方 程 ) 
and asymptotic notation( 与 渐 近 记号 ) 49-50 
normal( 正 态 ) ，837 
recurrence( 递 归 ) J recurrence 
equivalence class( 等 价 类 ) 1164 
modulo n( 模 n)([aj],)，928 
equivalence ( 等 ff), modular ( 模 ) (=), 54, 
1165 ex. 
equivalence relation( 等 价 关 系 )，1164 
and modular equivalence( 与 模 等 价 )，1165 ex. 
equivalent linear programs( 等 价 的 线性 规划 )，852 
error, in pseudocode( 伪 代码 中 )，22 
escape problem( 和 逃跑 问题 ) 760 pr. 
EUCLID，935 
Euclid’s algorithm( 欧 几 里 得 算法 )，933-939，981 
pr. 983 
euclidean distance( 欧 几 里 得 距离 )，1039 
euclidean norm( 欧 几 里 得 范 数 ) ，1222 
Euler's constant( 欧 拉 常 数 ) ，943 
Euler’s phi function( 欧 拉 phi BAO), 943 
Euler’s theorem( 欧 拉 定 理 ) 954, 975 ex. 
Euler tour( 欧 拉 回 路 )，623 pr. ，1048 
and hamiltonian cycles( 与 哈密 顿 环 ) ，1048 
evaluation of a polynomial( 多 项 式 的 求 值 )，41 pr., 
900, 905 ex. 
derivatives of (#0), 922 pr. 
at multiple points(# #4), 923 pr. 
event( 事 件 ) 1190 
event point( 事 件 点 ) 1023 
event-point schedule( 事 件 点 调度 ) 1023 


EXACT-SUBSET-SUM，1129 
excess flow( 超 额 流 )，736 
exchange property( 交 换 性 质 )，437 
exclusion and inclusion( 容 斥 ) 1163 ex. 
execute a subroutine( 执 行 子 过 程 )，25 n. 
expansion of a dynamic table (动态 表 的 扩张 )， 
464-467 
expectation( 期 望 ) ， 见 expected value 
expected running time( 期 望 运行 时 间 )，28，117 
expected value( 期 望 值 ) 1197-1199 
of a binomial distribution( 二 项 分 布 )，1204 
of a geometric distribution( 几 何 分 布 )，1202 
of an indicator random variable (指示 器 随机 变 
量 )，118 
explored vertex( 探 测 过 的 结 点 )，605 
exponential function( 指 数 函 数 ) 55-56 
exponential height( 指 数 高 度 ) 300 
exponential search tree( 指 数 搜索 树 ) 212, 483 
exponential series( 指 数 级 数 ) 1147 
exponentiation instruction (WEKA), 24 
exponentiation( WF), ，modular( 模 ) 956 
EXTENDED-BOTTOM-UP-CUYT-ROD，369 
EXTENDED-EUCLID，937 
EXTEND-SHORTEST-PATHS，688 
extension of a set( 集 合 的 扩张 ) 438 
exterior of a polygon( 多 边 形 的 外 边界 ) 1020 ex. 
external node( 外 部 结 点 ) 1176 
external path length( 外 部 路 径 长 度 ) 1180 ex. 
extracting the maximum key( 抽 取 最 大 关键 字 ) 
from d-ary heaps(d WHE), 167 pr. 
from max-heaps( 最 大 堆 ) 163 
extracting the minimum key( 抽 取 最 小 关键 字 ) 
from Fibonacci heaps (SE WARIH), 512-518 
from 2-3-4 heaps(2-3-4 Œ), 529 pr. 
from Young tableaus( Young 氏 和 矩阵 ) 167 pr. 
EXTRACT-MAX, 162-163 
EXTRACT-MIN, 162, 505 


F 


factor( 因 子 ) 928 
twiddle( 旋 转 ) 912 
factorial function( 阶 乘 函 数 )(!1) 57-58 
factorization( 因 子 分 解 )，975-980，984 
unique( 唯 一 的 ) 931 
failure( 失 败 )，in a Bernoulli trial ( 伯 努 利 试 


w), 1201 
fair coin( 均 匀 硬 币 )，1191 
fan-out( 肩 出 )，1071 
Farkas’s lemma(Farkas 5|##), 895 pr. 
farthest-pair problem( 4x10 Xt [a] A) , 1030 
FASTER-ALL-PAIRS-SHORTEST-PATHS, 691, 
692 ex. 
Fast Fourier Transform( FFT) (快速 傅 里 叶 变 换 )， 
898-925 
circuit for( 电 路 ) ，919-920 
iterative implementation of GRE), 915-918 
multidimensional( 多 维 的 )，921 pr. 
recursive implementation of( 递 归 实 现 ) 909-912 
using modular arithmetic( 利 用 取 模 运算 )，923 pr. 
feasibility problem( 可 行 性 问题 ) 665, 894 pr. 
feasible linear program( 可 行 线性 规划 )，851 
feasible region( 可 行 区 域 ) 847 
feasible solution( 可 行 解 )，665，846，851 
Fermat's theorem( 费 马 定理 ) 954 
FFT， 见 Fast Fourier Transform 
FFTW, 924 
FIB, 775 
FIB-HEAP-CHANGE-KEY, 529 pr. 
FIB-HEAP-DECREASE-KEY, 519 
FIB-HEAP-DELETE, 522 
FIB-HEAP-EXTRACT-MIN, 513 
FIB-HEAP-INSERT, 510 
FIB-HEAP-LINK, 516 
FIB-HEAP-PRUNE, 529 pr. 
FIB-HEAP-UNION, 512 
Fibonacci heap( SE 3K AB HE) , 505-530 
changing a key in( 改 变 一 个 关键 字 ) 529 pr. 
compared with binary heaps (与 二 叉 堆 比较 )， 
506-507 
creating( 构 造 )，510 
decreasing a key in( 对 其 中 一 个 关键 字 减 值 )， 
519-522 
deletion from( 删 除 )，522，526 pr. 
in Dijkstra’s algorithm(Dijkstra 算法 )，662 
extracting the minimum key from( 抽 取 最 小 关键 
字 )，512-518 
insertion into( 插 入 )，510-511 
in Johnson’s algorithm(Johnson 算法 )，704 
maximum degree of (最 大 度数 ) 509, 523-526 
minimum key of( 最 小 关键 字 ) 511 
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potential function for( 势 函数 ) 509 
in Prim's algorithm(Prim 算法 ) 636 
pruning( 前 枝 ) 529 pr. 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
uniting( 合 并 ) ，511-512 
Fibonacci numbers( 斐 波 那 契 数 )，59-60，108 pr. ，523 
computation of 计算) ，774-780，981 pr. 
FIFO (firstin，firstrout)( 先 进 先 出 ) 232 
参见 queue 
final-state function( 最 终 状态 函数 ) 996 
final strand( 最 后 链 ) ，779 
FIND-DEPTH, 583 pr. 
FIND-MAX-CROSSING-SUBARRAY, 71 
FIND-MAXIMUM-SUBARRAY, 72 
find path( 发 现 路 径 ) 569 
FIND-SET，562 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571，585 
linked-list implementation of (链表 实现 ) 564 
finished vertex( 完 成 结 点 ) 603 
finishing time( 完 成 时 间 ) ，in depth-first search( 深 
度 优先 搜索 )，605 
and strongly connected components (与 强 连通 分 
4), 618 
finish time( 完 成 时 间 ) ，in activity selection( 活 动 选 
择 )，415 
finite automaton( 有 限 自动 机 )，995 
for string matching( 字 符 串 匹配 ) 996-1002 
FINITE-AUTOMATON-MATCHER, 999 
finite group 4 BRHF), 940 
finite sequence( 有 限 序列 ) 1166 
finite set( 有 限 集 )，1161 
first-fit heuristic( 首 先 适 合 启发 式 )，1134 pr. 
first-in( 先 进 )，first-out( 先 出 )，232 
参见 queue 
fixed-length code( 固 定 长 度 编码 )，429 
floating-point data type( 浮 点 数据 类 型 )，23 
floor function( 下 取 整 函数 )(| |), 54 
in master theorem( 主 定理 ) 103-106 
floor instruction( 下 取 整 指令 )，23 
flow( 流 )，709-714 
aggregate( 聚 合 ) 863 
augmentation of( 扩 张 )，716 
blocking( 块 )，765 
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excess( 滋 出 )，736 
integer-valued( 整 数值 的 ) 733 
integer-valued (4 BUH), 733 
net( 净 的 ) across a cut( 横 跨 切 割 ) 720 
value of ({fi), 710 
flow conservation( Ñi sF tE), 709-710 
flow network( 流 网 络 ) 709-714 
corresponding to a bipartite graph( 相 应 于 二 分 
图 )，732 
cut of YJ), 720-724 
with multiple sources and sinks (多 源 点 和 汇 
Ru), 712 
FLOYD-WARSHALL, 695 
FLOYD-WARSHALL'’, 699 ex. 
Floyd-Warshall algorithm ( Floyd-Warshall 算法 )， 
693-697, 699-700 ex. 
multithreaded( 多 线程 的 ) 797 ex. 
FORD-FULKERSON，724 
Ford -Fulkerson method ( Ford-Fulkerson 方法 )， 
714-731, 765 
FORD-FULKERSON-METHOD, 715 
forest( #RAK), 1172-1173 
depth-first RREH), 603 
disjoint-set( 不 相交 集合 ) ，568-572 
formal power series( 形 式 寡 级 数 ) 108 pr. 
formula-satisfiability problem( 公 式 可 满足 性 问题 )， 
1079-1081，1105 
forward edge( 正 向 边 ) 609 
forward substitution( 正 向 替换 ) ，816-817 
fractional knapsack problem( 部 分 背包 问题 )，426， 
428 ex. 
free agent( 自 由 球员 )，411 pr. 
freeing of objects( 对 象 的 释放 )，210-212 
free list( 释 放 列 表 )，243 
FREE-OBJECT, 244 
free tree( 释 放 树 ) 1172-1176 
frequency domain( 频 率 域 ) ，898 
full binary tree( 满 二 叉 树 ) 1178, 1180 ex. 
relation to optimal code( 和 最 优 编码 的 关系 ) 430 
full node( 满 结 点 )，489 
full rank( 满 秩 )，1223 
full walk of a tree( 树 的 完全 遍历 )，1114 
fully parenthesized matrix-chain product( 完 全 括号 化 
矩阵 链 积 )，370 


fully polynomial-time approximation scheme( 完 全 多 


项 式 时 间 近 似 模 式 )，1107 

for subset-sum( 子 集 和 )，1128-1134，1139 
function( 3%), 1166-1168 

Ackermann’s, 585 

basis(HE), 835 

convex(fhf4J), 1199 

final-state( 最 终 状态 ) 996 

hash( 散 列 ) ， 见 hash function 

linear( 线 性 的 ) 26, 845 

objective( 目 标 )，664，847，851 

potential( 势 ) 459 

prefix( 前 级) ，1003-1004 

quadratic( 二 次 的 ) 27 

reduction( 归 约 )，1067 

suffix GA), 996 

transition( 变 换 ) 995, 1001-1002, 1012 ex. 
functional iteration( MGEN), 58 
fundamental theorem of linear programming (2R tE #l 

划 的 基本 定理 )，892 

fusion tree( 聚 合 树 ) 212, 483 
fuzzy sorting( 模 糊 排序 ) 189 pr. 


G 


Gabow’s scaling algorithm for single-source shortest 
paths( 单 源 最 短路 径 的 Gabow 定 标 算法 )， 
679 pr. 
gap character( 间 隔 符 ) 989 ex. , 1002 ex. 
gap heuristic( 跨 越 式 启发 )，760 ex, 766 
garbage collection( 垃 圾 收集 )，151，243 
gate( 门 )，1070 
Gaussian elimination( 高 斯 消 元 ) 819, 842 
gcd， 见 greatest common divisor 
general number-field sieve( 一 般 数 域 的 筛选 )，984 
generating function( 生 成 函数 ) 108 pr. 
generator( 生 成 元 ) 
of a subgroup FF), 944 
of Zr (Zr), 955 
GENERIC-MST, 626 
GENERIC-PUSH-RELABEL, 741 
generic push-relabel algorithm( 通 用 推送 - 重 贴标签 
算法 ) 740-748 
geometric distribution( 几 何 分 布 )，1202-1203 
and balls and bins( 与 球 和 盒子 ) 134 
geometric series( 几 何 级 数 ) ，1147 
GF(2), 1227 pr. 


gift wrapping (LH), 1037, 1047 
global variable( 全 局 变量 ) 21 
Goldberg’s algorithm (Goldberg 算法 )， 见 push- 
relabel algorithm 
golden ratio( 黄 金 分 割 率 )(g% 59, 108 pr. 
gossiping( 传 布 消息 ) ，478 
GRAFT，583 pr. 
Graham's scan(Graham 扫描 )，1030-1036，1047 
GRAHAM-SCAN，1031 
graph( 图 )，1168-1173 
adjacency-list representation of (邻接 链表 表示 法 )，590 
adjacency-matrix representation of (邻接 矩阵 表示 
法 )，591 
algorithms for( 算 法 ) 587-766 
and asymptotic notation( 渐 近 记 号 ) ，588 
attributes of( 属 性 )，588，592 
breadth-first search of (广度 优先 搜索 )，594- 
602，623 
coloring of( 着 色 ) 1103 pr. 
complement of( 补 》，1090 
component( 分 量 ) ，617 
constraint( 约 束 ) 666-668 
dense( 稠 密 )，589 
depth-first search of( 深 度 优 先 搜索 )，603-612，623 
dynamic( 动 态 的 ) 562 n. 
e-dense(e 稠密 的 ) 706 pr. 
hamiltonian( 哈 密 顿 ) 1061 
incidence matrix of (KERF), 448 pr., 539 ex. 
interval( 区 间 ) ，422 ex. 
nonhamiltonian( 非 哈密 顿 )，1061 
shortest path in( 最 短路 径 ) 597 
singly connected( 单 连通 的 ) 612 ex. 
sparse MLAJ), 589 
static( 静 态 的 ) 562 n. 
tour of( 回 路 ) 1096 
weighted( 带 权 的 ) 591 
参见 directed acyclic graph, directed graph, flow 
network, undirected graph, tree 
graphic matroid( FUE), 437-438, 642 
GRAPH-ISOMORPHISM, 1065 ex. 
gray vertex(JKf4 Ji 4G), 594, 603 
greatest common divisor (i KZ AF) (ged), 929- 
930, 933ex. 
binary gcd algorithm for (二 进 制 gcd 算法 )， 
981 pr. 
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Euclid's algorithm for( 欧 几 里 得 算法 )，933-939， 
98lpr. ，983 
with more than two arguments( 多 于 两 个 参数 )， 
939 ex. 
recursion theorem for( 递 归 定 理 ) 934 
greedoid( 广 义 拟 阵 )，450 
GREEDY，440 
GREEDY-ACTIVITY-SELECTOR, 421 
greedy algorithm( 贪 心算 法 ) 414-450 
for activity selection( 活 动 选 择 ) ，415-422 
for coin changing( 硬 币 找 零 ) 446 pr. 
compared with dynamic programming( 与 动态 规划 比 
较 )，381，390 ex ，418，423-427 
Dijkstra’s algorithm(Dijkstra 算法 ) 658-664 
elements of (A#), 423-428 
for fractional knapsack problem( 用 于 部 分 背包 问 


题 )，426 
greedy-choice property in (贪心 选择 性 质 )， 
424-425 


for Huffman code( 赫 夫 曼 编码 )，428-437 
Kruskal’s algorithm( Kruskal 算法 )，631-633 
and matroids( 与 拟 阵 ) 437-443 
for minimum spanning tree (最 小 生成 树 )， 
631-638 
for multithreaded scheduling (多 线程 调度 )， 
781-783 
for off-line caching( 脱 机 缓存 ) 449 pr. 
optimal substructure in( 最 优 子 结构 ) 425 
Prim’s algorithm( Prim 算法 ) 634-636 
for set cover( RAWX), 1117-1122, 1139 
for task scheduling (£ % W] RE), 443-446, 447- 
448 pr. 
on a weighted matroid( 在 带 权 拟 阵 上 ) ，439-442 
for weighted set cover( 用 于 带 权 集 合 覆 盖 ) 1135 
pr. 
greedy-choice property( 贪 心 选择 性 质 ) 424-425 
of activity selection( 活 动 选择 ) ，417-418 
of Huffman codes( 赫 夫 曼 编 码 ) 433-434 
of a weighted matroid( 加 权 拟 阵 ) 441 
greedy scheduler( 贪 心 调度 器 ) 782 
GREEDY-SET-COVER，1119 
grid( 网 格 ) 760 pr. 
group(##), 939-946 
cyclic( 循 环 的 ) 955 
operator(@®) (操作 符 ) 939 
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guessing the solution (猜想 的 解 )，in the substitution 
method( 替 换 方法 中 )，84-85 


H 


half 3-CNF satisfiability( 半 3-CNF 可 满足 性 )，1101 ex 

half-open interval( 半 开 区 间 )，348 

Hall’s theorem( Hall Æ), 735 ex. 

halting problem( 停 机 问题 )，1048 

halving lemma( 折 半 引 理 ) 908 

HAM-CYCLE, 1062 

hamiltonian cycle (M4 # 4), 1049, 1061, 1091- 
1096, 1105 

hamiltonian graph( 哈 密 顿 图 ) 1061 

hamiltonian path (哈密 顿 路 径 )，1066 ex., 
1101 ex. 


in a disk drive( 磁 盘 驱 动 器 ) 485 
of a linked list( 链 表 ) 236 
of a queue( 队 列 ) 234 


heap( 堆 ) 151-169 


analyzed by potential method (用 势能 法 分 析 )， 
462 ex. 

binomial( 二 项 的 ) 527 pr. 

building( 构 造 ) 156-159, 166 pr. 

d-ary(d X%), 167 pr., 706 pr. 

deletion from( 删 除 ) 166 ex. 

in Dijkstra’s algorithm(Dijkstra 算法 ) 662 

extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 

Fibonacci( 斐 波 那 契 ) W Fibonacci heap 

as garbage-collected storage (作为 垃圾 收集 存 


HAM-PATH, 1066 ex. 
handle( 句 柄 ) 163, 507 
handshaking lemma( 握 手 引 理 ) 1172 ex. 
harmonic number( 调 和 数 ) 1147, 1153-1154 
harmonic series( 调 和 级 数 ) 1147, 1153-1154 
HASH-DELETE, 277 ex. 
hash function (7) PRBO , 256, 262-269 
auxiliary( 辅 助 的 ) 272 
collision-resistant( 抗 冲突 )，964 
division method for( 除 法 方法 )，263，268-269 ex 
e-universal(e 全 域 ) 269 ex. 
multiplication method for( 乘 法 方法 ) 263-264 
universal( 全 域 ) ，265-268 
hashing( 散 列 ) 253-285 
with chaining( 链 接 ) 257-260, 283 pr. 
double( 双 )，272-274，277 ex. 
k-universal(k 全 域 )，284 pr. 
in memoization( 备 忘 )，365，387 
with open addressing( 用 开放 寻 址 )，269-277 
perfect( 完 全 的 )，277-282，285 
universal( 全 域 ) ，265-268 
HASH-INSERT, 270, 277 ex. 
HASH-SEARCH, 271, 277 ex. 
hash table( 散 列表 ) 256-261 
dynamic( 动 态 的 ) 471 ex. 
secondary( 二 次 )，278 
参见 hashing 
hash value( 散 列 值 ) ，256 
hat-check problem( 帽 子 核对 问题 ) 122 ex. 
head( 头 ) 


储 )，151 
height of( 高 度 )，153 
in Huffman’s algorithm( 在 赫 夫 曼 算 法 中 )，433 
to implement a mergeable heap( 实 现 可 合并 堆 )，506 
increasing a key in( 增 大 一 个 关键 字 )，163-164 
insertion into( 插 入 )，164 
in Johnson’s algorithm(Johnson 算法 ) ，704 
max-heap( 最 大 堆 )，152 
maximum key of( 最 大 关键 字 )，163 
mergeable( 可 合并 的 )， 见 mergeable heap 
min-heap( 最 小 堆 )，153 
in Prim’s algorithm(Prim 算法 )，636 
as a priority queue( 作 为 一 个 优先 队列 ) ，162-166 
relaxed( 松 弛 的 )，530 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
and treaps( 与 treap), 333 pr. 
2-3-4, 529 pr. 
HEAP-DECREASE-KEY, 165 ex. 
HEAP-DELETE, 166 ex. 
HEAP-EXTRACT-MAX, 163 
HEAP-EXTRACT-MIN, 165 ex. 
HEAP-INCREASE-KEY, 164 
HEAP-MAXIMUM, 163 
HEAP-MINIMUM, 165 ex. 
heap property( 堆 的 性 质 ) 152 
maintenance of( 维 护 ) ，154-156 
vs. binary-search-tree property( 与 二 又 搜索 树 的 性 
质 ) 289 ex. 
heapsort( 堆 排序 ) 151-169 


HEAPSORT, 160 
heel( 高 跟 鞋 ) 602 ex. 
height( 高 度 ) 
of a binomial tree( 二 项 树 )，527 
black( 黑 )，309 
of a B-tree(B 树 )，489-490 
of a d-ary heap(d ILI), 167 pr. 
of a decision tree( 决 策 树 )，193 
exponential( 指 数 )，300 
of a heap( 堆 )，153 
of a node in a heap( 堆 中 结 点 )，153，159 ex. 
of a node in a tree( 树 中 结 点 )，1177 
of a red-black tree( 红 黑 树 ) 309 
of a tree( 树 ) 1177 
height-balanced tree( 高 度 平衡 树 ) 333 pr. 
height function($} RE XO, in pushrrelabel algorithms 
(推送 - 重 贴标签 算法 )，738 
hereditary family of subsets( 子 集 的 遗传 族 ) 437 
Hermitian matrix( 埃 尔 米 特 矩 阵 ) 832 ex. 
high endpoint of an interval( 区 间 的 高 端点 )，348 
hing function( 高 函数 ) 573, 546 
HIRE-ASSISTANT, 115 
hiring problem( ÆA E), 114-115, 123-124, 145 
on-line( 在 线 ) 139-141 
probabilistic analysis of( 概 率 分 析 ) 120-121 
hit( 命 中 ) 
cache( 缓 存 ) 449 pr. 
spurious( 假 的 ) 991 
HOARE-PARTITION，185 pr. 
HOPCROFT-KARP, 764 pr. 
Hopcroft-Karp bipartite matching algorithm ( Hopcroft- 
Karp 二 分 匹配 算法 )，763 pr. 
horizontal ray( 水 平 射线 ) 1021 ex. 
Horner's rule( 和 赴 纳 法 则 ) 41 pr., 900 
in the Rabin-Karp algorithm(Rabin-Karp 算法 )， 
990 
HUFFMAN, 431 
Huffman code( 赫 夫 曼 编码 )，428-437，450 
hull( 包 ) convex(#4), 8, 1029-1039, 1046 pr. 
hyperedge( 超 边 ) 1172 
hypergraph( 超 图 )，1172 
and bipartite graphs( 与 二 分 图 ) 1173 ex. 


I 


ideal parallel compnuter( 理 想 并 行 计 算 机 ) 779 
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idempotency laws for sets (RA HRE), 1159 
identity( 单 位 元 ) 939 
identity matrix( 单 位 矩阵 )，1218 
if(if 子 句 ) in pseudocode( 伪 代码 中 ) 20 
image( 像 )，1167 
image compression( 图 像 压 缩 )，409 pr. , 413 
inadmissible edge( 非 许可 边 )，749 
incidence(A $f), 1169 
incidence matrix( XKE ME) 
and difference constraints( 与 差分 约束 ) 666 
of a directed graph( 有 向 图 ) 448 pr. ，593 ex. 
of an undirected graph( 无 向 图 )，448 pr. 
inclusion and exclusion( 容 斥 ) 1163 ex. 
incomplete step( 非 完全 步 )，782 
INCREASE-KEY, 162 
increasing a key( 对 一 个 关键 字 增 值 )，in a max 
heap( 在 最 大 堆 中 ) 163-164 
INCREMENT，454 
incremental design method( 增 量 设计 方法 ) 29 
for finding the convex hull( 寻 找 凸 包 ) 1030 
in-degree( AJE), 1169 
indentation in pseudocode( 伪 代码 中 的 缩 进 )，20 
independence( 独 立 ) 
of events( 事 件 )，1192-1193，1195 ex. 
of random variables( 随 机 变量 )，1197 
of subproblems in dynamic programming (动态 规 
划 中 子 问题 )，383-384 
independent family of subsets( 子 集 的 独立 族 )，437 
independent set( 独 立 集 )，1101 pr. 
of tasks( 任 务 ) 444 
independent strands( 独 立 链 ) ，789 
index function(4§ #7 P%O 537, 546 
index of an element of Z? (Z; 中 元 素 的 下 标 ) 955 
indicator random variable (指示 器 随机 变量 )， 
118-121 
in analysis of expected height of a randomly built 
binary search tree( 随 机 构造 的 二 叉 搜 索 树 的 
期 望 高 度 的 分 析 中 )，300-303 
in analysis of inserting into a treap( 向 treap 插入 
的 分 析 中 ) ，333 pr. 
in analysis of streaks( 在 序列 的 分 析 中 ) 138-139 
in analysis of the birthday paradox( 在 生日 悖 论 的 
分 析 中 ) 132-133 
in approximation algorithm for MAX-3-CNF 
satisfiability( 在 MAX-3-CNF 可 满足 性 的 近 
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似 算法 中 )，1124 
in bounding the right tail of the binomial distribution 
(二 项 分 布 的 右 尾 定 界 ) 1212-1213 
in bucket sort analysis( 在 桶 排序 分 析 中 )，202- 
204 
expected value of( 期 望 值 )，118 
in hashing analysis( 散 列 分 析 )，259-260 
in hiring-problem analysis( 雇 用 问题 分 析 ) ，120-121 
and linearity of expectation( 与 期 望 的 线性 性 )，119 
in quicksort analysis (快速 排序 分 析 )，182-184， 
187 pr. 
in randomized selection analysis( 随 机 选择 分 析 )， 
217-219, 226 ex. 
in universal-hashing analysis (全 域 散 列 分 析 )， 
265-266 


induced subgraph( 导 出 子 图 )，1171 
inequality constraint( 不 等 式 约束 )，852 


and equality constraints( 与 等 式 约束 )，853 


inequality( 不 等 式 )，linear( 线 性 的 )，846 
infeasible linear program( 不 可 行 的 线性 规划 )，851 
infeasible solution( 不 可 行 解 )，851 

infinite sequence( 无 限 序 列 ) 1166 

infinite set( 无 限 集 )，1161 

infinite sum( 无 限 和 )，1145 

infinity( 无 限 大 ) arithmetic with( 算 术 )，650 
INITIALIZE-PREFLOW，740 
INITIALIZE-SIMPLEX，871，887 
INITIALIZE-SINGLE-SOURCE，648 

initial strand( 初 始 链 ) ，779 

injective function( 单 射 函数 ) 1167 

inner product( 内 积 )，1222 

inorder tree walk( 中 序 遍 历 ) 287, 293 ex ，342 
INORDER-TREE-WALK, 288 

in-place sorting( 原 址 排序 ) 17, 148, 206 pr. 
input (4 A) 


to an algorithm( 算 法 )，5 

to a combinational circuit( 组 合 电 路 ) 1071 
distribution of (4}47), 116, 122 

to a logic gateGi#4##/J), 1070 

size of (规模 ) 25 


input alphabet (H A FX), 995 
INSERT, 162, 230, 463 ex., 505 
insertion(4#f A) 


into binary search trees( 二 叉 搜 索 树 ) 294-295 
into a bit vector with a superimposed binary tree 


CAA RI VHA), 534 
into a bit vector with a superimposed tree of 
constant height( 具 有 恒定 高 度 释 加 二 叉 树 的 
位 向 量 )，534 
into B-trees(B 树 )，493-497 
into chained hash tables( 链 接 散 列表 )，258 
into d-ary heaps(d 叉 堆 )，167 pr. 
into direct-address tables( 直 接地 址 表 ) 254 
into dynamic tables( 动 态 表 ) 464-467 
elementary( 基 础 )，465 
into Fibonacci heaps( 斐 波 那 契 堆 ) 510-511 
into heaps(HE), 164 
into interval trees( 区 间 树 ) 349 
into linked lists( 链 表 ) 237-238 
into open-address hash tables( 至 开放 寻 址 散 列 
表 )，270 
into order-statistic trees( 顺 序 统计 树 ) 343 
into proto van Emde Boas structures (原型 van 
Emde Boas 结构 ) 544 
into queues( BAF), 234 
into red-black trees( 红 黑 树 ) 315-323 
into stacks(#¥), 232 
into sweep-line statuses( 扫 除 线 状 态 ) 1024 
into 2-3-4 heaps(2-3-4 堆 ) 529 pr. 
into van Emde Boas trees (van Emde Boas $), 
552-554 
into Young tableaus( Young 氏 和 矩阵 ) 167 pr. 
insertion sort AHFFF), 12, 16-20, 25-27 
in bucket sort( 桶 排序 ) 201-204 
compared to merge sort( 与 归并 排序 比较 ) 14 ex 
compared to quicksort( 与 快速 排序 比较 )，178 ex 
decision tree for( 决 策 树 )，192 fig. 
in merge sort( 归 并 排序 )，39 pr. 
in quicksort( 快 速 排序 ) ，185 ex. 
using binary search( 用 二 分 查找 ) 39 ex. 
INSERTION-SORT, 18, 26, 208 pr. 
instance( 3k fi) 
of an abstract problem( 抽 象 问题 ) 1051, 1054 
of a problem( [AJ Ra), 5 
instructions of the RAM model (RAM 模型 的 指 
4), 23 
integer data type( 整 数 数据 类 型 )，23 
integer linear-programming (整数 线性 规划 )，850， 
895 pr. 1101 ex. 
integers(#$ 31) (Z), 1158 


integer-valued flow( 整 数值 的 流 ) ，733 
integrality theorem( 整 数 定 理 ) 734 
integral( 积 分 )，to approximate summations( 近 似 求 
Al), 1154-1156 
integration of series( 级 数 的 积分 )，1147 
interior of a polygon( 多 边 形 的 内 部 )，1020 ex. 
interior-point method( 内 点 法 )，850，897 
intermediate vertex( 中 间 结 点 )，693 
internal node( 内 部 结 点 ) 1176 
internal path length( 内 部 路 径 长 度 ) 1180 ex. 
interpolation by a cubic spline( 用 三 次 样 条 插值 )， 
840 pr. 
interpolation by a polynomial( 用 多 项 式 插值 )，901， 
906 ex. 
at complex roots of unity( 在 单位 复 根 处 )，912-913 
intersection( 交 叉 点 ) 
of chords( 弦 )，345 ex. 
determining( 确 定 )，for a set of line segments(— 
系列 线段 )，1021-1029，1047 
determining( 确 定 )，for two line segments (两 条 
线段 )，1017-1019 
of languages( 语 言 ) 1058 
of sets( 集 合 )( 门 )，1159 
interval( 区 间 )，348 
fuzzy sorting of( 模 糊 排序 ) 189 pr. 
INTERVAL-DELETE，349 
interval-graph( 区 间 图 ) 422 ex. 
INTERVAL-INSERT, 349 
INTERVAL-SEARCH, 349, 351 
INTERVAL-SEARCH-EXACTLY, 354 ex. 
interval tree( 区 间 树 ) 348-354 
interval trichotomy( 区 间 三 分 法 ) 348 
intractability( RF), 1048 
invalid shift( 无 效 偏 移 ) 985 
inverse( PIL) 
of a bijective function( 双 射 函 数 ) 1167 
in a group(##), 940 
of a matrix(4 RF), 827-831, 842, 1223, 
1225 ex. 
multiplicative( 乘 法 ) modulo n% n), 949 
inversion( 逆 序 ) 
in a self-organizing list( 自 组 织 表 中 ) 476 pr. 
in a sequence (序列 中 )，41 pr., 122 ex., 
345 ex. 
inverter% Æ Ze), 1070 
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invertible matrix( 可 逆 和 矩阵 ) 1223 

isolated vertex( 孤 立 顶 点 )，1169 

isomorphic graphs( 同 构图 )，1171 

iterated function( 多 重 函 数 ) 63 pr. 

iterated logarithm function (g EX HAO, 58-59 
ITERATIVE-FFT, 917 
ITERATIVE-TREE-SEARCH, 291 

iter function(Z&{U KO, 577 


J 


Jarvis’s march( Jarvis 步 进 法 ) 1037-1038, 1047 
Jensen's inequality(Jensen 不 等 式 ) 1199 
JOHNSON, 704 
Johnson’s algorithm( Johnson 算法 ) 700-706 
joining GH) 

of red-black trees( 红 黑 树 ) 332 pr. 

of 2-3-4 trees(2-3-4 树 ) 503 pr. 
joint probability density function (联合 概率 密度 函 

数 )，1197 

Josephus permutation(Josephus 排列 )，355 pr. 


K 


Karmarkar’s algorithm(Karmarkar 算法 )，897 
Karp’s minimum mean-weight cycle algorithm (Karp 
最 小 平均 权 回 路 算法 )，680 pr. 
k-ary tree(k 叉 树 )，1179 
k-CNF, 1049 
k-coloring(k 着 色 )，1103 pr., 1180 pr. 
k-combination(k 组 合 )，1185 
k-conjunctive normal form(k 合 取 范式 )，1049 
kernel of a polygon( 多 边 形 的 内 核 ) 1038 ex. 
key( 关 键 字 ) 16, 147, 162, 229 
dummy( 人 擅 ) 397 
interpreted as a natural number( 转 换 为 自然 数 )，263 
median (中 位 数 )，of a Btree node (B 树 结 
点 )，493 
public( 公 开 的 )，959，962 
secret( 秘 密 的 )，959，962 
static( 静 态 的 )，277 
keyowrds (关键 字 )，in pseudocode ( 伪 代 码 中 )， 
20-22 
multithreaded( 多 线程 )，774，776-777，785-786 
“killer adversary” for quicksort( 快 速 排序 的 “杀手 级 
对 手 ”)，190 
Kirchhoff’s current law (kirchhoff 电流 定律 )，708 
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Kleene star(Kleene 星 )(x*)，1058 
KMP algorithm(KMP 算法 )，1002-1013 
KMP-MATCHER, 1005 
knapsack problem( 背 包 问 题 ) 
fractional( 部 分 的 ) 426, 428 ex. 
0-1, 425, 427 ex., 1137 pr., 1139 
k-neighbor tree(k 邻居 树 ) 338 
knot(4§), of a spline( 样 条 ) 840 pr. 
Knuth-Morris-Pratt algorithm ( Knuth-Morris-Pratt 
PIE), 1002-1013 
k-permutation(k 排列 ) 126, 1184 
Kraft inequality(Kraft 不 等 式 )，1180 ex. 
Kruskal’s algorithm(Kruskal 算法 ) 631-633, 642 
with integer edge weights( 带 整数 边 权 重 ) 637 ex 
k-sorted(k 有 序 的 ) 207 pr. 
k-string(k FP), 1184 
k-subset(k FÆ), 1161 
k-substring(k FFP), 1184 
kth power(k WFE), 933 ex. 
# k-universal hashing(k 全 域 散 列 ) 284 pr. 


L 


Lagrange’s formula( 拉 格 朗 日 公式 )，902 
Lagrange's theorem( 拉 格 朗 日 定理 ) 944 
Lamé’s theorem(Lamé 定理 ) 936 
language( 语 言 )，1057 

completeness of( 完 全 性 ) 1077 ex. 

proving NP-completeness of (NP 完全 性 证 明 )， 

1078-1079 

verification of( 验 证 )，1063 
last-in( 后 进 )，first-out( 先 出 )，232 

参见 stack 
late task( 迟 任务 )，444 
layers( 层 ) 

convex(f4 AJ), 1044 pr. 

maximal( 最 大 的 ) 1045 pr. 
LCA, 584 pr. 
Ic m(least common mnultiple)( 最 小 公 倍 数 )，939 ex. 
LCS，7，390-397，413 
LCS-LENGTH, 394 
leading submatrix Ef), 833, 839 ex. 
leaf( 叶 子 )，1176 
least common ancestor( 最 小 公共 祖先 ) 584 pr. 
least common multiple( 最 小 公 倍 数 ) 939 ex. 
least-squares approximation ( f& /h — R i i). 


835-839 
leaving a vertex( 离 开 一 个 顶点 )，1169 
leaving variable( 蔡 出 变量 ) 867 
LEFT, 152 
left child( 左 孩子 ) 1178 
left -child(4 KF), right-sibling representation (# 
兄弟 表示 法 ) 246, 249 ex. 
LEFT-ROTATE, 313, 353 ex. 
left rotation( 左 旋 ) 312 
left spine( 左 背 柱 ) 333 pr. 
left subtree( 左 子 树 ) 1178 


Legendre symbol( =) ( 勒 让 德 符 号 )，982 pr. 


length( 长 度 ) 
of a path( 路 径 )，1170 
of a sequence( 序 列 )，1166 
of a spine(#¥#E), 333 pr. 
of a string( 字 符 串 )，986 ，1184 
level( 阶 ) 
of a function( MALAY BT), 573 
of a tree( 树 ) 1177 
lexicographically less than( 字 典 序 小 于 ) 304 pr. 
lexicographic sorting( 字 典 排序 ) 304 pr. 
Ig(binary logarithm) (2 为 底 的 对 数 ) 56 
lg* (iterated logarithm function) (4 Œ Xf #& BO), 
58-59 
lg (exponentiation of logarithms) (对 数 的 指数 ) 56 
lg lg(composition of logarithms) (对 数 复合 )，56 
LIFO(last-in, first-out) (后 进 先 出 )，232 
参见 stack 
light edge( 轻 量 级 边 )，626 
linear constraint( 线 性 约束 )，846 
linear dependence( 线 性 相关 )，1223 
linear equality( 线 性 等 式 )，845 
linear equations( 线 性 方程 ) 
solving modular( 求 解 模 ) ，946-950 
solving systems of( 组 的 求解 ) 813-827 
solving tridiagonal systems of (三 对 角 方 程 组 求 
解 )，840 pr. 
linear function( 线 性 函数 ) 26, 845 
linear independence( 线 性 独立 ) 1223 
linear inequality( 线 性 不 等 式 )，846 
linear-inequality feasibility problem( 线 性 不 等 式 可 行 
性 问题 ) 894 pr. 
linearity of expectation( 期 望 的 线性 性 ) ，1198 
and indicator random variables( 指 示 器 随机 变量 )， 


119 
linearity of summations( 和 的 线性 性 ) 1146 
linear order( 线 性 序 ) 1165 
linear permuation( 线 性 排列 ) 1229 pr. 
linear probing( 线 性 探测 ) ，272 
linear programming( 线 性 规划 )，7，843-897 
algorithms for( 算 法 ) ，850 
applications of( 应 用 ) 849 
duality in( 对 偶 性 )，879-886 
ellopsoid algorithm for (MERA), 850, 897 
finding an initial solution for( 寻 找 一 个 初始 解 )， 
886-891 
fundamental theorem of( 基 本 定理 ) 892 
interior-point methods for( 内 点 法 )，850，897 
Karmarkar’s algorithm for(Karmarkar 算法 )，897 
and maximum flow( 与 最 大 流 )，860-861 
and minimum-cost flow( 与 最 小 费用 流 )，861-862 
and minimum-cost multicommodity flow( 与 最 小 费 
用 多 商品 流 )，864 ex. 
and multicommodity flow( 与 多 商品 流 )，862-863 
simplex algorithm for( 单 纯 形 法 )，864-879，896 
and single-pair shortest path( 与 单 对 结 点 最 短路 
径 )，859-860 
and single-source shortest paths (与 单 源 最 短路 
径 )，664-670，863 ex. 
slack form for( 松 弛 型 )，854-857 
standard form for( 标 准 型 )，850-854 
参见 integer linear-programming problem, 0-1 
integer-programming problem 
linear-programming relaxation( 线 性 规划 松弛 )，1125 
linear search( 线 性 查找 ) 22 ex. 
linear speedup( 线 性 加 速 ) ，780 
line segment( 线 段 ) 1015 
determining turn of (确定 它 的 转向 )，1017 
determining whether any intersect( 确 定 任 意 线段 
是 否 相交 )，1021-1029，1047 
determining whether two intersect( 确 定 两 条 线段 
是 否 相 交 )，1017-1019 
link( 链 接 ) 
of binomial trees( 二 项 树 )，527 pr. 
of Fibonacci-heap roots( SERFS HEA AR). 513 
LINK, 571 
linked list( 链 表 ) 236-241 
compact RÁJ), 245 ex., 250 pr. 
deletion from( 删 除 ) 238 
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to implement disjoint sets (实现 不 相交 集合 )， 
564-568 
insertion into( 插 和 人)，237-238 
neighbor list( 邻 居 列 表 )，750 
searching( 查 找 )，237，268 ex. 
list( 列 表 ) J linked list 
LIST-DELETE, 238 
LIST-DELETE’, 238 
LIST-INSERT, 238 
LIST-INSERT’, 240 
LIST-SEARCH, 237 
LIST-SEARCH’, 239 
literal CFA), 1082 
little-oh notation(/J\ o 记号 ) 50-51, 64 
little omega notation(K Q 记号) 51 
L,,-distance(L,, FEBS), 1044 ex. 
In(natural logarithm) (自然 对 数 ) 56 
load factor( 装 载 因子 ) 
of a dynamic table( 动 态 表 ) 463 
of a hash table( 散 列表 ) ，258 
load instruction( 装 载 指令 )，23 
local variable( 局 部 变量 )，21 
logarithm function( 对 数 函 数 ) (log)，56-57 
logical parallelism (G2 4377 HE), 777 
discrete RRI), 955 
iterated( 4 HAY) (lg* ), 58-59 
logic gate #t/]), 1070 
longest common subsequence( 最 长 公共 子 序 列 ) 7, 
390-397，413 
longest palindrome subsequence( 最 长 回 文子 序列 )， 
405 pr. 
LONGEST-PATH, 1060 ex. 
LONGEST-PATH-LENGTH, 1060 ex. 
longest-simple cycle( 最 长 简单 环 ) 1101 ex. 
longest simple path( 最 常 简单 路 径 ) 1048 
in an unweighted graph( 在 一 个 无 权 图 中 ) 382 
in a weighted directed acyclic graph( 在 带 权 有 向 无 
环 图 中 ) 404 pr. 
LOOKUP-CHAIN，388 
loop( 循 环 ) in pseudocode(4E FARES #), 20 
parallel(3#47), 785-787 
loop invariant( 循 环 不 变 式 )，18-19 
for breadth-first search ERAIK), 595 
for building a heap( 构 造 堆 ) 157 
for consolidating the root list of a Fibonacci heap 
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(合并 斐 波 那 契 堆 的 根 列 表 ) ，517 
for determining the rank of an element in an order- 
statistic tree( 确 定 顺序 统计 树 中 一 个 元 素 的 
FR), 342 
for Dijkstra’s algorithm( Dijkstra 算法 ) 660 
for the generic minimum-spanning-tree algorithm 
(用 于 通用 最 小 生成 树 算法 )，625 
for the generic push-relabel algorithm( 用 于 通用 推 
送 - 重 贴 标签 算法 )，743 
for heapsort( 堆 排序 )，160 ex. 
for Horner’s rule( 霍 纳 法 则 ) 41 pr. 
for increasing a key in a heap( 增 大 堆 中 一 个 关键 
字 )，166 ex. 
initialization of( 初 始 化 ) 19 
for insertion sort( 择 人 排序 ) 18 
maintenance of( 维 护 ) ，19 
for merging( 归 并 ) ，32 
for modular exponentiation ARE), 957 
origin of GEW), 42 
for partitioning( 划 分 )，171 
for Prim’s algorithm(Prim 算法 ) 636 
for the Rabin-Karp algorithm ( Rabin-Karp 算 
Æ), 993 
for randomly permuting an array( 随 机 排列 一 个 数 
组 )，127 
for red-black tree insertion( 红 黑 树 插入 )，318 
for the relabel-to-front algorithm( 前 置 重 贴标签 算 
法 )，755 
for searching an interval tree( 搜 索 区 间 树 ) 352 
for simplex algorithm( 单 纯 形 算法 ) ，872 
for string-matching automata (字符 串 匹 配 自 动 
机 )，998，1000 
and termination( 与 终止 )，19 
low endpoint of an interval( 区 间 的 低 端 点 ) 348 
lower bounds( 下 界 ) 
for average sorting( 平 均 排 序 ) 207 pr. 
on binomial coefficients( 二 项 系数 ) 1186 
for comparting water jugs( 区 分 水 壶 ) 206 pr. 
for convex hull( 凸 包 ) 1038 ex. ，1047 
for disjoint-set data structures( 不 相交 集合 数据 
结构 )，585 
for finding the minimun( 找 最 小 值 ) ，214 
for finding the predecessor( 找 前 驱 )，560 
for length of an optimal traveling-salesman tour 
(最 优 旅行 商 回 路 的 长 度 )，1112-1115 


for median finding( 中 位 数 寻 找 )，227 
for merging( 归 并 )，208 pr. 
for minimum-weight vertex cover( 最 小 权 顶 点 覆 
盖 )，1124-1126 
for multithreaded computations( 多 线程 计算 )，780 
and potential functions( 与 势 函 数 )，478 
for priority-queue operations (优先 队列 操 
作 )，531 
and recurrences，( 与 递归 式 )67 
for simultaneous minimum and maximum, (同时 
找到 最 小 值 和 最 大 值 )215 ex. 
for size of optimal vertex cover( 最 优 顶 点 覆盖 的 
规模 ) 1110, 1135 pr. 
for sorting(HEFF), 191-194, 205 pr., 211, 531 
for streaks( 序 列 ) 136-138, 142 ex. 
on summations GR#I), 1152, 1154 
lower median( 低 中 位 数 ) 213 


lower square root()( 下 平方 根 )，546 
lower-triangular matrix ( F = ff % ME), 1219, 
1222ex. , 1225ex. 
low function, (low 函数 )537，546 
LU decomposition(LU 44), 806 pr. , 819-822 
LU-DECOMPOSITION, 821 
LUP decomposition(LUP 4}f#), 806 pr. 815 
computation of (计算 ) ，823-825 
of a diagonal matrix( 对 角 和 矩阵 ) 827 ex. 
in matrix inversion Ai RERI), 828 
and matrix multiplication( 与 矩阵 乘法 ) 832 ex. 
of a permutation matrix (EHER, HEIER), 
827 ex. 
use of FAY), 815-819 
LUP-DECOMPOSITION, 824 
LUP-SOLVE, 817 


M 


main memory( 主 存 ) 484 
MAKE-HEAP, 505 
MAKE-SET, 561 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571 
linked-list implementation of( 链 表 实 现 ) ，564 
makespan( 跨 度 )，1136 pr. 
MAKE-TREE, 583 pr. 
Manhattan distance (曼哈顿 距离 )，225 pr., 
1044 ex. 


marked node( 带 标记 的 结 点 ) 508, 519-520 
Markov's inequality( 马 尔 可 夫 不 等 式 )，1201 ex. 
master method for solving a recurrence( 解 递归 式 的 
主 方法 ) ，93-97 
master theorem( 主 定理 ) 94 
proof of( 证 明 )，97-106 
matched vertex( 匹 配 的 结 点 )，732 
matching( 匹 配 ) 
bipartite(—4}), 732, 763 pr. 
maximal(#&K), 1110, 1135 pr. 
maximum( 最 大 )，1135 pr. 
and maximum flow( 与 最 大 流 )，732-736，747 ex 
perfect( 完 全 ) 735 ex. 
of strings( 字 符 串 ) 985-1013 
weighted bipartite( 加 权 二 分 )，530 
matric matroid( iF 4 hE), 437 
matrix( 和 矩阵 ) 1217-1229 
addition of( 加 法 )，1220 
adjacency( 邻 接 ) 591 
conjugate transpose of (St4eF4 Ft), 832 ex. 
determinant of (行列 式 )，1224-1225 
diagonal( 对 角 )，1218 
Hermitian( 埃 尔 米 特 ) 832 ex. 
identity( 单 位 ) 1218 
incidence( 关 联 )，448 pr. , 593 ex. 
inversion of (jt ,)806 pr. , 827-831, 842 
lower-triangular( F =f), 1219, 1222 ex , 1225ex. 
multiplication of( 乘 法 ) ， 见 matrix multiplication 
negative of( 负 ) ，1220 
permutation( 排 列 ， 置 换 ) 1220, 1222 ex. 
predecessor( 前 驱 )，685 
product of ( 积 ) with a vector( 与 向 量 ) 785-787, 
789-790, 792 ex. 
pseudoinverse of (fyi), 837 
scalar multiple f RER), 1220 
subtraction of( 减 法 ) 1221 
symmetric( 对 称 )，1220 
symmetric positive-definite (对 称 正 定 )，832- 
835，842 
Toeplitz( 特 普 利 蒋 ) 921 pr. 
transpose of (4), 797 ex., 1217 
transpose of( 转 置 ) multithreaded( 4A), 792 ex 
tridiagonal( = Xt #4), 1219 
unit lower-triangular( 单 位 下 三 角 )，1219 
unit upper-triangular( 单 位 上 三 角 )，1219 
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upper-triangular( 上 三 角 )，1219，1225 ex. 
Vandermonde( 范 德 蒙 德 ) 902, 1226 pr. 
matrix-chain multiplication( 和 矩阵 链 乘法 ) 370-378 
MATRIX-CHAIN-MULTIPLY 
MATRIX-CHAIN-ORDER, 336 
matrix inversion 4 PER), 75-83, 1221 
matrix multiplication iF FV), 75-83, 1221 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 686-693, 706-707 
boolean( 布 尔 ) 832 ex. 
and computing the determinant( 与 计算 行列 式 )， 
832 ex. 
divide-and-conquer method for( 分 治 法 ) 76-83 
and LUP decomposition( 与 LUP 分 解 ) 832 ex. 
and matrix inversion( 与 矩阵 求 道 )，828-831，842 
multithreaded algorithm for( 多 线程 算法 )，792- 
797, 806 pr. 
Pan’s method for(Pan 方法 ) 82 ex. 
Strassen’s algorithm for(Strassen 算法 ) 79-83, 
111-112 
MATRIX-MULTIPLY, 371 
matrix-vector multiplication ( i PE [a] Ht FE HE), 
multithreaded (RFE), 785-787, 792 ex. 
with race( #4), 789-790 
matroid( 拟 阵 ) 437-443, 448 pr, 450-647. 
for task scheduling (£4 AE), 443-446 
MAT-VEC, 785 
MAT-VEC-MAIN-LOOP, 786 
MAT-VEC-WRONG, 790 
MAX-CNF satisfiability (MAX-CNF 可 满足 性 )， 
1127 ex. 
MAX-CUT problem( MAX-CUT 问题 ) 1127 ex. 
MAX-FLOW-BY-SCALING, 763 pr. 
max-flow min-cut theorem( 最 大 流 最 小 切割 定理 )， 
723 
max-heap( 最 大 堆 )，152 
building( 构 造 ) 156-159 
d-ary(d XL), 167 pr. 
deletion from( HBR), 142 ex. 
extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 
in heapsort( 堆 排序 ) 159-162 
increasing a key in( 增 大 一 个 关键 字 )，163-164 
insertion into( 插 入 )，164 
maximum key of( 最 大 关键 字 )，163 
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as a max-priority queue( 作 为 一 个 最 大 优先 队列 )， 
162-166 
mergeable( 可 合并 的 )，250 n. ，481 n., 505 n. 
MAX-HEAPIFY, 154 
MAX-HEAP-INSERT, 164 
building a heap with( 构 造 堆 )，166 pr. 
max-heap property( 最 大 堆 的 性 质 ) 152 
maintenance of( 维 护 ) ，154-156 
maximal element( 最 大 元 ) ，of a partially ordered set 
( 偏 序 集 )，1165 
maximal layers( 最 大 层 )，1045 pr. 
maximal matching( 极 大 匹配 ) 1110, 1135 pr. 
maximal point( 极 大 点 ) 1045 pr. 
maximal subset (最 大 子 集 )，in a matroid ( 拟 阵 
中 )，438 
maximization linear program( 最 大 化 线性 规划 )， 
846 
and minimization linear programs( 与 最 小 化 线性 
规划 )，852 
maximum( 最 大 值 )，213 
in binary search trees( 二 又 搜索 树 ) 291 
of a binomial distribution( 二 项 分 布 )，1207 ex. 
in a bit vector with a superimposed binary tree( 具 
有 登 加 二 又 树 的 位 向 量 )，533 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 倒 加 树 的 位 向 量 )，535 
finding( 寻 找 )，214-215 
in heaps( 堆 )，163 
in order-statistic trees( 顺 序 统 计 树 )，347 ex. 
in proto van Emde Boas strctures( 原 型 van Emde 
Boas 结构 ) 544 ex. 
in red-black trees( 红 黑 树 ) 311 
in van Emde Boas trees( Van Emde Boas 树 ) 550 
MAXIMUM, 162-163, 230 
maximum bipartite matching( 最 大 二 分 匹配 ) 732- 
736, 747 ex., 766 
Hopcroft-Karp algorithm for ( Hopcroft-Karp 算 
法 )，763 pr. 
maximum degree (最 大 度数 )，in a Fibonacci heap 
(SERABHE), 509, 523-526 
maximum flow( 最 大 流 )，708-766 
Edmonds-Karp algorithm for (Edmonds-Karp 算 
法 )，727-730 
Ford -Fulkerson method for (Ford-Fulkerson 方 
法 )，714-731，765 


as a linear program( 作 为 一 个 线性 规划 ) ，860-861 
and maximum bipartite matching (与 最 大 二 分 匹 
配 )，732-736 ，747 ex. 
push-relabel algorithms for (推送 - 重 贴标签 算 
法 )，736-760，765 
relabel-to-front algorithm for( 前 量 重 贴标签 算 
Y=), 748-760 
scaling algorithm for( 伸 缩 算法 ) 762 pr., 765 
updating CE), 762 pr. 
maximum matching (4% APC), 1135 pr. 
maximum spanning tree( 最 大 生成 树 ) 1137 pr. 
maximum-subarray problem( 最 大 子 数组 问题 )，68- 
75, 111 
max-priority queue( 最 大 优先 队列 ) 162 
MAX-3-CNF satisfiability(MAX-3-CNF 可 满足 性 )， 
1123-1124, 1139 
MAYBE-MST-A, 641 pr. 
MAYBE-MST-B, 641 pr. 
MAYBE-MST-C, 641 pr. 
mean( 均 值 )， 见 expected value 
mean weight of a cycle( 环 的 平均 权重 )，680 pr. 
median( 中 位 数 )，213-227 
multithreaded algorithm for( 多 线程 算法 )，805 ex. 
of sorted lists( 排 序 表 )，223 ex. 
of two sorted lists( 两 个 有 序列 表 ) 804 ex. 
weighted( 带 权 的 )，225 pr. 
median key( 中 位 数 关键 字 )，of a B-tree node(B 树 
结 点 )，493 
median-of-3 method( 三 数 取 中 方法 )，188 pr. 
member of a set( 集 合 的 成 员 )(€)，1158 
membership( 成 员 ) 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 540-541 
in van Emde Boas tress(van Emdle Boas 树 ) 550 
memoization( 44s), 365, 387-389 
MEMOIZED-CUT-ROD, 365 
MEMOIZED-CUT-ROD-AUX, 366 
MEMOIZED-MATRIX-CHAIN, 388 
memory( 内 存 ， 存 储 器 ) 484 
memory hierarchy( 存 储 器 分 层 体系 ) 24 
MERGE, 31 
mergeable heap( FJ GFF HE), 481, 505 
binomial heaps( 二 项 堆 ) 527 pr. 
linked-list implementation of( 链 表 实 现 ) 250 pr. 
relaxed heaps( 松 弛 堆 )，530 


running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
2-3-4 heaps(2-3-4 HE), 529 pr. 
参见 Fibonacci heap 
mergeable max-heap (可 合并 的 最 大 堆 )，250 n., 
481 n. ，505 n. 
mergeable min-heap (可 合并 的 最 小 堆 )，250 n., 
481 n., 505 
MERGE-LISTS, 1129 
merge sort( 归 并 排序 ) 12, 30-37 
compared with insertion sort( 与 插入 排序 比较 ) ,14 ex 
multithreaded algorithm for( 多 线程 算法 )，797- 
805, 812 
use of insertion sort in( 用 插入 排序 ) 39 pr. 
MERGE-SORT, 34 
MERGE-SORT’, 797 
merging( 归 并 ) 
of k sorted lists(k 有 序列 表 ) 166 ex. 
lower bounds for( 下 界 ) 208 pr. 
mult ithreaded algorithm for (多 线程 算法 )， 
798-901 
of two sorted arrays( 两 个 有 序数 组 ) 30 
MILLER-RABIN, 970 
Miller-Rabin primality test(Miller-Rabin 素数 测试 ) ， 
968-975，983 
MIN-GAP, 354 ex. 
min-heap( 最 小 堆 )，153 
analyzed by potential method (用 势能 法 分 析 )， 
462 ex. 
building( 构 造 )，156-159 
d-ary(d 叉 ) 706 pr. 
in Dijkstra’s algorithm(Dijkstra 算法 ) 662 
in Huffman’s algorithm( 赫 夫 曼 算法 ) 433 
in Johnson's algorithm(Johnson 算法 ) 704 
mergeable( 可 合并 的 )，250 n. ，481 n. 505 
as a min-priority queue( 作 为 最 小 优先 队列 )，165 ex 
in Prim’s algorithm(Prim 算法 )，636 
MIN-HEAPIFY, 156 ex. 
MIN-HEAP-INSERT, 165 ex. 
min-heap-ordering( 最 小 堆 顺 序 的 )，507 
min-heap property( 最 小 堆 性 质 )，153，507 
maintenance of( 维 护 )，156 ex. 
in treaps(treap 中 ) 333 pr. 
vs. binary-search-tree property( 与 二 叉 搜索 树 性 
质 ) 289 ex. 
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minimization linear program( 最 小 化 线性 规划 )，846 
and maximization linear programs( 与 最 大 化 线性 
规划 )，852 
minimum( 最 小 值 ) 213 
in binary search trees( 二 叉 搜 索 树 ) 291 
in a bit vector with a superimposed binary tree( 具 
有 登 加 二 叉 树 的 位 向 量 )，533 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 全 加 树 的 位 向 量 )，535 
in B-trees(B 树 )，497 ex. 
in Fibonacci heaps (GEAR HE), 511 
finding( 44%), 214-215 
off-line( 脱 机 )，582 pr. 
in order-statistic trees( 顺 序 统 计 树 )，347 ex. 
in proto van Emde Boas structurs( 原 型 Van Emde 
Boas 结构 )，541-542 
in red-black trees( 红 黑 树 )，311 
MINIMUM, 162, 214, 230, 505 
minimum-cost circulation( 最 小 代价 电路 ) 896 pr. 
minimum-cost flow( 最 小 代价 流 )，861-862 
minimum-cost multicommodity flow (最 小 代价 多 商 
品 流 ) 864 ex. 
minimum-cost spanning tree( 最 小 代价 生成 树 ) ， 见 
minimum spanning tree 
minimum cut( 最 小 切割 )，721，731 ex. 
minimum degree (最 小 度数 )，of a Btree (B 树 
的 )，489 
minimum mean-weight cycle( 最 小 平均 权重 环 路 ) 680 
pr. 
minimum node of a Fibonacci heap( 3E y Hf 32 HE AY Be 
小 结 点 )，508 
minimum path cover( 最 小 路 径 覆 盖 ) 761 pr. 
minimum spanning tree( 最 小 生成 树 ) 624-642 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 )，1112 
Boruvka's algorithm for(Boravka 算法 )，641 
on dynamic graphs( 动 态 图 ) 637 ex. 
generic method for( 一 般 方法 ) ，625-630 
Kruskal's algorithm for(Kruskal 算法 ) ，631-633 
Prim’s algorithm for(Prim 算法 ) 634, 636 
relation to matroids( 与 拟 阵 的 关系 )，437，439-440 
second-best( 次 优 ) ，638 pr. 
minimum weight spanning tree( 最 小 权 生 成 树 )， 见 
minimum spanning tree 
minimum-weight vertex cover( 最 小 权 顶 点 覆盖 )， 
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1124-1127，1139 
minor of a matrix( 矩 阵 的 子 式 )，1224 
min-priority queue( 最 小 优先 队列 ) 162 
in constructing Huffman codes (#4 i tk K & Fa 
#3), 431 
in Dijkstra’s algorithm( Dijkstra 算法 ) 661 
in Prim’s algorithm(Prim 算法 ) 634-636 
miss(#R4), 449 pr. 
missing child( RAF), 1178 
mod(#i), 54, 928 
modifying operation( 修 改 操作 )，230 
modular arithmetic ( 模 运 算 )，54，923 pr., 
939-946 
modular equivalence( 模 等 价 ) 54, 1165 ex. 
modular exponentiation E), 956 
MODULAR-EXPONENTIATION，957 
modular linear equations( 模 线性 方程 ) 946-950 
MODULAR-LINEAR-EQUATION-SOLVER, 949 
modulo(#a), 54, 928 
Monge array( Monge 数组 ) 110 pr. 
monotone sequence( 单 调 序列 ) 168 
monotonically decreasing( 单 调 递减 )，53 
monotonically increasing( 单 调 递 增 ) 53 
Monty Hall problem(Monty Hall 问题 ) 1195 ex. 
move-to-front heuristic( 移 至 前 端 启发 式 策 略 )，476 
pr., 478 
MST-KRUSKAL, 631 
MST-PRIM, 634 
MST-REDUCE, 639 pr. 
much-greater-than(>) G@KF), 574 
much-less-than(<)( 远 小 于 ) 783 
multicommodity flow( 多 商品 流 )，862-863 
minimum-cost( 最 小 代价 ) 864 ex. 
multicore computer( 多 核 计算 机 )，772 
multidimensional Fast Fourier Transform( 多 维 快 速 
傅 里 叶 变 换 )，921 pr. 
multigraph( 多 重 图 )，1172 
converting to equivalent undirected graph( 转 换 成 
等 价 的 无 向 图 ) 593 ex. 
multiple( 倍 数 ) 927 
of an element modulo zx( 元 素 模 n), 946-950 
least common( 最 小 公共 ) 939 ex. 
scalar( 标 量 ) 1220 
multiple assignment( 多 重 赋 值 )，21 
multiple sources and sinks( 多 个 源 点 和 汇 点 ) 647 


mnultiplication( 乘 法 ) 
of complex numbers( 复 数 ) 83 ex. 
divide-and-conquer method for( 分 治 法 ) 920 pr. 
of matrices( 和 矩阵 ) JL matrix multiplication 
of a matrix chain( 和 矩阵 链 ) 370-378 
matrix-vector (矩阵 向 量 )，multithreaded (多 线 
程 )，785-787，789-790，792 ex. 
modulo n$ n)( +), 940 
of polynomials( 43st), 899 
multiplication method( 乘 法 方法 ) 263-264 
multiplicative group modulo n$ n 的 乘法 群 )，941 
multiplicative inverse( RIJG), modulo n( 模 n)，949 
multiply instruction( 乘 法 指令 )，23 
MULTIPOP，453 
multiprocessor( 多 处 理 器 ) 772 
MULTIPUSH, 456 ex. 
multiset (LERA), 1158 n. 
multithreaded algorithm (多 线程 算法 )，10， 
772-812 
for computing Fibonacci numbers( 计 算 斐 波 那 契 
数 ) 774-780 
for fast Fourier transform( 快 速 傅 里 叶 变 换 )，804 ex. 
Floyd-Warshall algorithm ( Floyd-Warshall 算 法 )， 
797 ex. 
for LU decomposition(LU 分 解 )，806 pr. 
for LUP decomposition( LUP 分 解 )，806 pr. 
for matrix inversion (E RFR), 806 pr. 
for matrix multiplication (4f BE Fæ HE), 792-797, 
806 pr. 
for matrix transpose( 和 矩阵 转 置 )，792 ex. , 797 ex 
for matrix-vector product (和 矩阵- 向量 积 )，785- 
787, 789-790, 792 ex. 
for median( 中 位 数 ) 805 ex. 
for merge sorting( 归 并 排序 ) 797-805, 812 
for merging( 归 并 ) ，798-801 
for order statistis( 顺 序 统计 量 ) 805 ex. 
for partitioning( 划 分 )，804 ex. 
for prefix computation( 前 缀 计算 )，807 pr. 
for quicksort( 快 速 排序 ) ，811 pr. 
for reduction( 归 约 ) 807 pr. 
for a simple stencil calculation( 简 单 的 模板 计算 )， 
809 pr. 
for solving systems of linear equations( 求 解 线性 
方程 组 ) 806 pr. 
Strassen’s algorithm(Strassen 算法 ) 795-796 


multithreaded composition( 多 线程 混合 计算 )，784 fig. 
multithreaded computation( 多 线程 计算 ) ，777 
multithreaded scheduling( 多 线程 调度 ) ，781-783 
mutually exclusive events( 互 斥 事件 )，1190 
mutually independent events( 相 互 独立 事件 )，1193 


N 


N(set of natural numbers) (自然 数 的 集合 )，1158 
naive algorithm( 朴 素 算法 ) for string matching ($ 
匹配 ) 988-990 
NAIVE-STRING-MATCHER，988 
natural cubic spline( 自 然 三 次 样 条 )，840 pr. 
natural numbers( 自 然 数 )(N)，1158 
keys interpreted as( 关 键 字 解释 为 )，263 
negative of a matrix( 和 矩阵 的 负 ) ，1220 
negative-weight cycle( 负 权重 环 路 ) 
and difference constraints( 与 差分 约束 ) 667 
and relaxation( 与 松弛 ) ，677 ex. 
and shortest paths( 与 最 短路 径 ) 645, 653-654, 
692 ex. ，700 ex. 
negative-weight edges( 负 权重 的 边 ) 645-646 
neighbor( 邻 居 )，1172 
neighborhood( 邻 近 )，735 ex. 
neighbor list( 邻 居 列表 ) 750 
nested parallelism #47), 776, 805 pr. 
nesting boxes (EKAT), 678 pr. 
net flow across a cut( 横 跨 切 割 的 净 流 量 ) 720 
network( 网 络 ) 
admissible( 许 可 的 ) 749-750 
flow( 流 )， 见 flow network 
residual( 残 留 ) 715-719 
for sorting( 排 序 ) 811 
NEXT-TO-TOP，1031 
NIL, 21 
node( 454%), 1176 
参见 vertex 
nonbasic variable( 非 基本 变量 ) 855 
nondeterministic multithreaded algorithm( 非 确定 多 
线程 算法 ) ，787 
nondeterministic polynomial time( 非 确定 多 项 式 时 
间 )，1064 n. 
参见 NP 
nonhamiltonian graph( 非 哈密 顿 图 ) 1061 
noninstance( 非 实例 ) ，1056 n. 
noninvertible matrix (RR MERE), 1223 
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nonnegativity constraint(qEM#tEA R), 851, 853 
nonoverlappable string pattern RI HAF BL 
xR), 1002 ex. 
nonsaturating push( 非 饱和 推送 ) 739, 745 
nonsingular matrix( 非 奇异 矩阵 )，1223 
nontrivial power( 非 平凡 寡 ) 933 ex. 
nontrivial square root of 1(1 的 非 平凡 平方 根 )，modulo 
n( 模 n)，956 
no-path property( 无 路 径 性 质 ) ，650，672 
normal equation( 正 态 方 程 )，837 
norm of a vector( 向 量 的 范 数 ) 1222 
NOT function(4E RO )，1071 
not a set member( ¢ ) (不 属于 ) 1158 
not equivalent() (AHP), 54 
NOT gate( 非 门 )，1070 
NP( complexity class) (复杂 类 )，1049，1064，1066 
ex , 1105 
NPC(complexity class) (42482), 1050, 1069 
NP-complete( NP 完全 的 )，1050，1069 
NP-completeness(NP 完全 )，9-10，1048-1105 
of the circuit-satisfiability problem( 电 路 可 满足 性 
问题 ) 1070-1077 
of the clique problem( 团 问题 )，1086-1089，1105 
of determining whether a boolean formula is a tautology 
(确定 一 个 布尔 公式 是 否 为 重 言 式 )，1086 ex. 
of the formula-satisfiability problem (公式 可 满足 
性 问题 ) 1079-1081, 1105 
of the graph-coloring problem( 图 着 色 问 题 )，1103 pr. 
of the half 3-CNF satisfiability problem( 半 3-CNF 
可 满足 性 问题 )，1101 ex. 
of the hamiltonian-cycle problem (哈密 顿 回路 问 
题 )，1091-1096，1105 
of the hamiltonian-path problem( 哈 密 顿 路 径 问题 )， 
1101 ex 
of the independent-set problem (独立 集 问 题 )， 
1101 pr. 
of the integer linear-programming (整数 线性 规 
Xj), 1101 ex. 
of the longest-simple-cycle problem( 最 长 简单 回路 
问题 ) 1101 ex. 
proving( 证 明 ) of a language( 语 言 ) 1078-1079 
of scheduling with profits and deadlines( 带 有 收益 
和 完工 期 限 的 调度 ) ，1104 pr. 
of the set-covering problem( 集 合 覆 盖 问 题 )，1122 ex 
of the set-partition problem (集合 划分 问题 )， 
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1101 ex 
of the subgraph-isomorphism problem ( 子 图 同 构 
问题 ) 1100 ex. 
of the subset-sum problem( 子 集 和 问题 )，1097-1100 
of the 3-CNF-satisfiability problem(3-CNF- 可 满足 
性 问题 )，1082-1085，1105 
of the traveling-salesman problem( 旅 行商 问题 )， 
1096-1097 
of the vertex-cover problem( 顶 点 覆盖 问题 )，1089- 
1091，1105 
of the 0-1 integer-programming problem(0-1 整数 
规划 问题 )，1100 ex. 
NP-hard(NP 难度 )，1069 
n-set(n 集 )，1161 
n-tuple(n 元 组 )，1162 
null event( 零 事件 )，1190 
null tree( 空 树 ) 1178 
null vector( 空 向 量 ) ，1224 
number-field sieve( 数 域 的 筛选 ) 984 
numerical stability( 数 值 稳定 性 )，813，815，842 
n-vector(n [a] Ht), 1218 


o 


o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
O'-notation(O' i$), 62 pr. 
O-notation(O 记号 ) 62 pr. 
Object( 对 象 ) 21 
allocation and freeing of (分 配 与 释放 ) 243-244 
array implementation of( 数 组 实现 ) 241-246 
passing as parameter( 作 为 参数 传递 ) 21 
objective function( 目 标 函 数 ) 664, 847, 851 
objective value( 目 标 值 )，847，851 
optimal( 最 优 的 ) 778 
oblivious compare-exchange algorithm (遗忘 比较 交 
换算 法 ) ，208 pr. 
occurrence of a pattern( 模 式 的 出 现 )，985 
OFF-LINE-MINIMUM，583 pr. 
off-line problem( 脱 机 问题 ) 
caching( 缓 存 ) 449 pr. 
least common ancestors( 最 小 公共 祖先 ) 584 pr. 
minimum( 最 小 的 ) 582 pr. 
Omega-notation(Q 记号 ) 45 fig. 48-49, 64 
l-approximation algorithm(1 近似 算法 ) 1107 
one-pass method( 一 趟 扫描 法 ) 585 


one-to-one correspondence( 一 一 对 应 ) 1167 
one-to-one function( 一 对 一 函数 ) 1167 
orrline convex-hull problem( 联 机 凸 包 问 题 ) 1039 ex 
on-line hiring problem( 在 线 雇 用 问题 ) 139-141 
ON-LINE-MAXIMUM, 140 
on-line multithreaded scheduler (在 线 多 线程 调度 
器 )，781 
ON-SEGMENT, 1018 
onto function( 上 映 上 函数 )，1167 
open-address hash table( 开 放 寻 址 散 列 表 )，269-277 
with double hashing( 双 散 列 ) 272-274, 277 ex. 
with linear probing( 线 性 探测 ) ，272 
with quadratic probing( 二 次 探测 )，272，283 pr. 
open interval( 开 区 间 )，348 
OpenMP, 774 
optimal binary search tree( 最 优 二 叉 搜 索 树 ) 397- 
404，413 
OPTIMAL-BST，402 
optimal objective value( 最 优 目标 值 ) 851 
optimal solution( 最 优 解 )，851 
optimal subset (最 优 子 集 )，of a matroid ( #1 
PE), 439 
optimal substructure( 最 优 子 结构 ) 
of activity selection( 活 动 选择 ) 416 
of binary search trees( 二 叉 搜 索 树 ) 399-400 
in dynamic programming( 动 态 规划 ) , 379-384 
of the fractional knapsack problem (部 分 背包 问 
题 )，426 
in greedy algorithms( 贪 心算 法 )，425 
of Huffman codes( 赫 夫 曙 编码 )，435 
of longest common subsequences (最 长 公共 子 序 
列 )，392-393 
of matrix-chain multiplication( 和 矩阵 链 乘 法 ) 373 
of rod-cutting( 钢 条 切割 )，362 
of shortest paths( 最 短路 径 ) 644-645, 687, 693-694 
of unweighted shortest paths( 无 权重 最 短路 径 ) ，382 
of weighted matroids( 加 权 拟 阵 ) 442 
of the 0-1 knapsack problem(0-1 背包 问题 )，426 
optimal vertex cover( 最 优 顶 点 覆盖 )，1108 
optimization problem( 最 优化 问题 )，359，1050，1054 
approximation algorithms for( 近 似 算法 )，10， 
1106-1140 
and decision problems( 与 判定 问题 )，1051 
OR function( 或 函数 )(V )，697，1071 
order( 序 ) 


of a group( 群 的 )，945 
linear( 线 性 ) ，1165 
partial( 偏 )，1165 
total( 全 )，1165 
ordered pair( 有 序 对 )，1161 
ordered tree( 有 序 树 ) 1177 
order of growth( 增 长 的 量 级 ) 28 
order statistics( 顺 序 统计 )，213-227 
dynamic( 动 态 的 )，339-345 
multithreaded algorithm for (多 线程 算法 )， 
805 ex. 
order-statistic tree( 顺 序 统 计 树 )，339-345 
querying( 查 询 )，347 ex. 
OR gate( 或 门 )，1070 
origin( 源 )，1015 
or( 或 ) in pseudocode( 伪 代码 中 )，22 
orthonormal( 正 交 的 )，842 
OS-KEY-RANK, 344 ex. 
OS-RANK, 342 
OS-SELECT, 341 
out-degree( Hi fF), 1169 
outer product( 外 积 )，1222 
output( 输 出 ) 
of an algorithm( 算 法 )，5 
of a combinational circuit( 组 合 电 路 ) ，1071 
of a logic gate #7 J), 1070 
overdetermined system of linear equations( 超 定 线性 
方程 组 ) 814 
overflow (ii tH) 
of a queue( 队 列 )，235 
of a stack( 栈 )，233 
overflowing vertex( 滋 出 顶点 ) 736 
discharge of( 释 放 )，751 
overlapping intervals( 重 合 区 间 )，348 
finding all( 找 出 所 有 的 )，354 ex. 
point of maximum overlap (MAB HM A), 
354 pr. 
overlapping rectangles( H#4G}Z), 354 ex. 
overlapping subproblems( 4% F [A] i), 384-386 
overlapping-suffix lemma( 重 至 后 组 引 理 ) 987 


P 


P(complexity class) (424%), 1049, 1055, 1059, 
1061 ex , 1105 
package wrapping(4]#), 1037, 1047 
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page on a disk (磁盘 上 的 页 )，486，499 ex., 
502 pr. 
pair( 对 ) ordered FFA), 1161 
pairwise disjoint sets( 两 两 不 相交 集合 ) 1161 
pairwise independence( 两 两 独立 )，1193 
pairwise relatively prime( 两 两 互 质 的 数 )，931 
palindrome( 回 文 )，405 pr. 
Pan’s method for matrix multiplication( Pan 的 矩阵 
乘法 方法 ) 82 ex. 
parallel algorithm( 并 行 算法 ) 10, 772 
参见 multithreaded algorithm 
parallel computer( 并 行 计算 机 ) 772 
ideal( 理 想 的 ) 779 
parallel for，inpseudocode( 伪 代码 中 ) 785-786 
parallelism( 并 行 ， 并 行 性 ， 并 行 度 ) 
logica 32 $), 777 
of a multithreaded computation (多 线程 计 
W), 780 
nested (Æ), 776 
of a randomized multithreaded algorithm( 随 机 多 
线程 算法 ) 811 pr. 
parallel loop( 并 行 循环 ) 785-787, 805 pr. 
parallel-machine-scheduling problem( 并 行 机 调度 问 
题 )，1136 pr. 
parallel prefix(3#47 72%). 807 pr. 
parallel random-access machine( 并 行 随机 存 取 机 )， 
811 
parallel slackness( 并 行 松弛 )，781 
rule of thumb( 经 验 法 则 )，783 
parallel( 并 行 )，strands being logically in( 人 逻辑 上 的 
链 )，778 
parameter( 参 数 )，21 
costs of passing( 传 递 的 代价 ) ，107 pr. 
parent( 双 亲 ) 
in a breadth-first tree( 广 度 优 先 树 ) ，594 
in a multithreaded computation( 多 线程 计算 )，776 
in a rooted tree( 有 根 树 ) 1176 
PARENT，152 
parenthesis structure of depth-first search( 深 度 优先 
搜索 的 括号 化 结构 ) 606 
parenthesis theorem( 括 号 化 定理 ) 606 
parenthesization of a matrix-chain product( 和 矩阵 链 乘 
积 的 括号 化 )，370 
parse tree( 语 法 分 析 树 ) 1082 
partially ordered set( 偏 序 集 )，1165 
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partial order( 偏 序 ) 1165 
PARTITION，171 
PARTITION’, 186 pr. 
partition function( 划 分 函数 ) 361 n. 
partitioning( 划 分 )，171-173 
around median of 3 elements (在 3 个 元 素 的 中 位 数 
附近 ) 185 ex. 
Hoare’s method for( Hoare 方法 ) 185 pr. 
multithreaded algorithm for( 多 线程 算法 ) 804 ex. 
randomized( 随 机 的 )，179 
partition of a set( 集 合 的 划分 )，1161，1164 
Pascal’s triangle(Pascal 三 角 )，1188 ex. 
path( 路 径 )，1170 
augmenting( 增 广 )，719-720，763 pr. 
critical( 关 键 )，657 
find( 找 出 )，569 
Hamiltonian (A Æ ii), 1066 ex. 
longest( 最 长 的 ) 382, 1048 
shortest( 最 短 的 ) WL shortest paths 
simple( 简 单 的 )，1170 
weight of( 权 重 ) 643 
PATH, 1051, 1058 
path compression( P72 HE 4A), 569 
path cover (HZR iz), 761 pr. 
path length ( #4 KE), of a tree(#}), 304 pr., 
1180 ex. 
path-relaxation property( 路 径 松 弛 性 质 ) 650, 673 
pattern (模式 )，in string matching (字符 串 匹 
配 )，985 
nonoverlappable( A H#A), 1002 ex. 
pattern matching( 模 式 匹配 ) HL string matching 
penalty(#&fi]), 444 
perfect hashing( 完 全 散 列 ) ，277-282，285 
perfect linear speedup( 完 美 线性 加 速 )，780 
perfect matching( 完 全 匹配 ) ，735 ex. 
permutation( 排 列 ) 1167 
bit-reversal( 位 逆序 )，472 pr. 918 
Josephus, 355 pr. 
k-permutation(k 排列 )，126，1184 
linear( 线 性 )，1229 pr. 
in place( 原 址 )，126 
random( 随 机 )，124-128 
of a set( 集 合 ) 1184 
uniform random( 均 匀 随 机 ) 116, 125 
permutation matrix (Hf 9] 4E MF), 1220, 1222 ex. ， 


1226 ex. 

LUP decomposition of (LUP 分 解 )，827 ex. 
PERMUTE-BY-CYCLIC, 129 ex. 
PERMUTE-BY-SORTING, 125 
PERMUTE-WITH-ALL, 125 ex. 
PERMUTE-WITHOUT-IDENTITY, 128 ex. 
persistent data structure (持久 的 数据 结构 )，331 

pr.， 482 
PERSISTENT-TREE-INSERT, 331 pr. 
PERT chart(PERT #2), 657, 657 ex. 
P-FIB, 776 
phase( 区 段 ) of the relabel-40-front algorithm( 前 置 
重 贴标签 算法 ) 758 
phi function(¢(7)) (phi RRO, 943 
PISANO-DELETE, 526 pr. 
pivot( 主 元 ) 
in linear programming (线性 规划 )，867，869- 
870, 878 ex. 

in LU decomposition(LU 4}/#), 821 

in quicksort( 快 速 排序 ) 171 
PIVOT，869 
platter( 碟 )，485 
P-MATRIX-MULTIPLY-RECURSIVE, 794 
P-MERGE, 800 
P-MERGE-SORT, 803 
pointer( 指 针 )，21 

array implementation of( 数 组 实现 ) 241-246 

trailing( 尾 ) 295 
point-value representation( 点 值 表 示 法 ) 901 
polar angle( 极 角 ) ，1020 ex. 

Pollard's rho heuristic(Pollard 的 rho 启发 式 ) 976- 
980, 980 ex. , 984 

POLLARD-RHO, 976 

polygon( 多 边 形 )，1020 ex. 

kernel of( 核 ) 1038 ex. 

star-shaped( 星 形 )，1038 ex. 
polylogarithmically bounded( 多 项 对 数 界 的 )，57 
polynomial( 多 项 式 )，55，898 

addition of( 加 法 )，898 

asymptotic behavior of( 渐 近 行 为 )，61 pr. 

coefficient representation of( 系 数 表 示 法 )，900 

evaluation of ( 求 值 )，41 pr., 900, 905 ex.， 
923 pr. 

interpolation by( 插 值 )，901，906 ex. 

multiplication of( 乘 法) 899, 903-905, 920 pr. 


point-value representation of( 点 值 表示 法 ) 901 
polynomial-growth condition (多 项 式 增 长 条 
件 )，113 
polynomially bounded( 多 项 式 界 的 )，55 
polynomially related( 多 项 式 相 关 的 )，1056 
polynomial-time acceptance( 多 项 式 时 间接 受 )，1058 
polynomial-time algorithm (多 项 式 时 间 算 法 )， 
927，1048 
polynomial-time approximation scheme( 多 项 式 时 间 
近似 模式 )，1107 
for maximum clique( 最 大 团 ) 1134 pr. 
polynomial-time computability( 多 项 式 时 间 可 计算 
性 )，1056 
polynomial-time decision( 多 项 式 时 间 判 定 ) 1059 
polynomial-time reducibility( 多 项 式 时 间 可 归 约 性 ) 
(<P), 1067, 1077 ex. 
polynomial-time solvability (多 项 式 时 间 可 求解 
性 )，1055 
polynomial-time verification (多 项 式 时 间 验 证 )， 
1061-1066 
POP 
pop from a run-time stack( 从 运行 时 间 栈 弹出 )， 
188 pr. 
positional tree( 位 置 树 ) 1178 
positive-definite matrix( 正 定 矩 阵 ) 1225 
post-office location problem (邮局 选 址 问题 )， 
225 pr. 
postorder tree walk( 后 序 遍 历 )，287 
potential function( 势 函数 )，459 
for lower bounds( 下 界 )，478 
potential method( 势 能 法 ) ，459-463 
for binary counters( 二 进 制 计数 器 ) ，461-462 
for disjoint-set data structures( 不 相交 集合 数据 结 
构 )，575-581，582 ex. 
for dynamic tables( 动 态 表 ) 466-471 
for Fibonacci heaps( 斐 波 那 契 堆 ) 509-512, 517- 
518，520-522 
for the generic push-relabel algorithm( 通 用 推送 - 
重 贴标签 算法 ) ，746 
for min-heaps( 最 小 堆 ) 462 ex. 
for restructuring red-black trees ( 重 构 红 黑 树 )， 
474 pr. 
for self-organizing lists with move-to-front( 移 至 前 
端 自 组 织 列表 ) ，476 pr. 
for stack operations( 栈 操作 ) 460-461 
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potential(#), of a data structure( 数 据 结构 ) 459 
power( fẹ) 
of an element( 元 素 ) modulo n(#i n), 954-958 
kth(k XK), 933 ex. 
nontrivial( 非 平凡 的 ) 933 ex. 
power series( ##RRO , 108 pr. 
power set CHS), 1161 
Pr {} (probability distribution) (概率 分 布 )，1190 
PRAM, 811 
predecessor (Ñf 5K) 
in binary search trees( 二 叉 搜 索 树 ) 291-292 
in a bit vector with a superimposed binary tree( 具 
有 登 加 二 又 树 的 位 向 量 )，534 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 合 加 树 的 位 向 量 )，535 
in breadth-first trees( 广 度 优 先 树 )，594 
in B-trees(B #f), 497 ex. 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统计 树 ) 347 ex. 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 544 ex. 
in red-black trees( 红 黑 树 ) 311 
in shortest-paths trees( 最 短路 径 树 ) 647 
in Van Emde Boas trees (van Emde Boas 树 )， 
551-552 
PREDECESSOR, 230 
predecessor matrix( 前 驱 矩 阵 ) 685 
predecessor subgraph( 前 驱 子 图 ) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
1%), 685 
in breadth-first search( 广 度 优先 搜索 ) 600 
in depth-first search( 深 度 优 先 搜 索 ) 603 
in single-source shortest paths ( 单 源 最 短路 
径 )，647 
predecessor-subgraph property (前驱 子 图 的 性 质 )， 
650, 676 
preemption (Ê 4), 447 pr. 
prefix( Ai) 
of a sequence( 序 列 的 ) 392 
of a string(C) CZAR), 986 
prefix code( 前 组 码 ) 429 
prefix computation( 前 缀 计算 ) 807 pr. 
prefix function (RPO, 1003-1004 
prefix-function iteration lemma ( fil 4% BH Br ik 40 5| 
8), 1007 
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preflow( 预 流 )，736，765 
preimage of a matrix( 和 矩阵 的 ) 1228 pr. 
preorder( 先 序 ) ，tota( 总 ) 1165 
preorder tree walk( 先 序 遍 历 ) 287 
presorting( 预 排序 ) 1043 
Prim’s algorithm(Prim 算法 ) 634-636, 642 
with an adjacency matrix( 邻 接 矩 阵 ) 637 ex. 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 ) 1112 
implemented with a Fibonacci heap (H 3E WAR RHE 
实现 ) 636 
implemented with a min-heap (用 最 小 堆 实 
现 )，636 
with integer edge weights( 带 整数 边 权 重 )，637 ex. 
similarity to Dijkstra’s algorithm( 与 Dijkstra 算法 
的 相似 之 处 )，634，662 
for sparse graphs( 稀 朴 图 ) 638 pr. 
primality testing( 素 数 测试 )，965-975，983 
Miller-Rabin test ( Miller-Rabin 测试 )，968- 
975, 983 
pseudoprimality testing (HRK AWA), 966-968 
primal linear program( 原 始 线性 规划 )，880 
primary clustering( 一 次 群集 )，272 
primary memory( 主 存 ) ，484 
prime distribution function’ KAX4} 46 RO, 965 
prime number( 素 数 ) 928 
density of( 密 度 ) 965-966 
prime number theorem( 素 数 定理 ) 965 
primitive root of Z; (Z; 的 原 根 )，955 
principal root of unity( 单 位 主根 ) 907 
principle of inclusion and exclusion ( 容 斥 原理 )， 
1163 ex. 
PRINT-ALL-PAIRS-SHORTEST-PATH, 685 
PRINT-CUT-ROD-SOLUTION, 369 
PRINT-INTERSECTING-SEGMENTS, 1028 ex. 
PRINT-LCS, 395 
PRINT-OPTIMAL-PARENS, 377 
PRINT-PATH, 601 
PRINT-SET, 572 
priority queue( 优 先 队列 )，162-166 
in constructing Huffman codes (构造 赫 夫 曼 编 
码 )，431 
in Dijkstra’s algorithm(Dijkstra 算法 ) 661 
heap implementation of( 堆 实现 ) 162-166 
lower bounds for( 下 界 )，531 


max-priority queue( 最 大 优先 队列 )，162 
min-priority queue( 最 小 优先 队列 )，162，165 ex 
with monotone extractions( 用 单调 抽取 )，168 
in Prim’s algorithm(Prim 算法 )，634，636 
proto van Emde Boas structure (JA 4 van Emde 
Boas 结 #9), implementation of (实现 )， 
538-545 
van Emde Boas tree implementation of (van Emde 
Boas 树 实现 ) 531-560 
参见 binary search tree, binomial heap, Fibonacci 
heap 
probabilistically checkable proof( 概 率 意义 下 可 检验 
的 证 明 )，1105，1140 
probabilistic analysis( 概 率 分 析 )，115-116，130-142 
of approximation algorithm for MAX-3-CNF satisfiability 
(MAX-3-CNF 可 满足 性 的 近似 算法 )，1124 
of average node depth in a randomly built binary 
search tree( 随 机 构造 的 二 叉 搜 索 树 中 结 点 的 
平均 深度 )，304 pr. 
of balls and bins( 球 与 盒子 ) 133-134 
of birthday paradox( 生 日 悖 论 ) 130-133 
of bucket sort( 桶 排序 ) 201-204, 204 ex. 
of collisions( 冲 突 ) 261 ex. , 282 ex. 
of convex hull over a sparse-hulled 
distribution fii #12) 46 EAE), 1046 pr. 
of file comparison( 文 件 比 较 ) 995 ex. 
of fuzzy sorting of intervals( 区 间 的 模糊 排序 ) 
of hashing with chaining( 链 接 散 列 ) 258-260 
of the height of a randomly built binary search tree 
(随机 构造 的 二 叉 搜 索 树 的 高 度 )，299-303 
of the hiring problem (雇用 问题 的 )，120-121， 
139-141 
of insertion into a binary search tree with equal keys 
(把 相等 关键 字 插 人 二 叉 搜 索 树 ) 303 pr. 
of longest-probe bound for hashing( 散 列 的 最 长 探 
测 界 ) 282 pr. 
of lower bound for sorting( 排 序 的 下 界 ) 205 pr. 
of the Miller-Rabin primality test(Miller-Rabin % 
数 测试 ) 971-975 
and multithreaded algorithms( 多 线程 算法 ) 811 pr. 
of orrline hiring problem( 在 线 雇用 问题 )，139-141 
of open-address hashing (开放 寻 址 散 列 )，274- 
276, 277 ex. 
of partitioning (4+), 179 ex., 185 ex., 187- 
188 pr. 


of perfect hashing( 完 全 散 列 ) ，279-282 
of Pollard's rho heuristic(Pollard 的 rho 启发 式 )， 
977-980 
of probabilistic counting( 概 率 计 数 ) 143 pr. 
of quicksort( 快 速 排序 )，181-184，187-188 pr. ， 
303 ex. 
of the Rabin-Karp algorithm(Rabin-Karp 算法 ) 994 
and randomized algorithms( 随 机 算法 ) 123-124 
of randomized selection( 随 机 选择 )，217-219，226 pr. 
of searching a compact list( 搜 索 紧凑 表 )，250 pr. 
of slot-size bound for chaining (Ei KA WF). 
283 pr. 
of sorting points by distance from origin( 按 距 源 点 
距离 对 点 排序 ) 204 ex. 
of streaks( 序 列 ) 135-139 
of universal hashing( 全 域 散 列 ) 265-268 
probabilistic counting( 概 率 计 数 ) 143 pr. 
probability( 概 率 ) 1189-1196 
probability density function( 概 率 密度 函数 )，1196 
probability distribution( 概 率 分 布 )，1190 
probability distribution function (H 3 4} 4i PA HO), 
204 ex. 
probe sequence( 探 测序 列 ) 270 
probing( 探 测 )，270，882 pr. 
参见 linear probing, quadratic probing, double 
hashing 
problem ( [a] i) 
abstract( 抽 象 的 ) 1054 
computational (HK), 5-6 
concrete( 具 体 的 ) 1055 
decision( #]%), 1051, 1054 
intractable( 难 处 理 的 ) 1048 
optimization( 最 优化 ) 359, 1050, 1054 
solution to( 解 )，6，1054-1055 
tractable( 易 处 理 的 ) 1048 
procedure( 过 程 )，6，16-17 
product(x)( 积 )，1148 
Cartesian( 笛 卡 儿 )，1162 
cross( 义 )，1016 
inner( 内 部 )，1222 
of matrices( 和 矩阵 ) 1221, 1226 ex. 
outer( 外 部 )，1222 
of polynomials( 多 项 式 )，899 
rule of( 规 则 )，1184 
scalar flow( 标 量 流 )，714 ex. 
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professional wrestler( 职 业 摔跤 选手 ) 602 ex. 
program counter( 程 序 计 数 器 ) 1073 
programming (规划 )， 见 dynamic programming, 
linear programming 
proper ancestor( 真 祖先 )，1176 
proper descendant( 真 子孙 )，1176 
proper subgroup( 真 子 群 ) 944 
proper subset( 真 子 集 )(C)，1159 
proto van Emde Boas structure( 原 型 van Emde Boas 
结构 ) 538-545 
cluster in(#), 538 
compared with van Emde Boas trees( 与 van Emde 
Boas 树 比 较 )，547 
deletion from( 删 除 )，544 
insertion into( 择 入 )，544 
maximum in( 最 大 元 素 ) 544 ex. 
membership in( 成 员 ) 540-541 
minimum in( 最 小 元 素 )，541-542 
predecessor in( 前 驱 )，544 ex. 
successor in( 后 继 )，543-544 
summary in, 540 
PROTO-vEB-INSERT, 544 
PROTO-vEB-MEMBER, 541 
PROTO-vEB-MINIMUM, 542 
proto-vEB structure( proto-vEB 结构 ) JL proto van 
Emde Boas structure 
PROTO-vEB-SUCCESSOR, 543 
prune-and-search method( 前 枝 -搜索 方法 ) 1030 
pruning a Fibonacci heap( 斐 波 那 契 堆 剪 枝 ) 529 pr. 
P-SCAN-1，808 pr. 
P-SCAN-2，808 pr. 
P-SCAN-3，809 pr 
P-SCAN-DOWN, 809 pr. 
P-SCAN-UP, 809 pr. 
pseudocode( 伪 代码 )，16，20-22 
pseudoinverse({4i) , 837 
pseudoprime( fy %0 , 966-968 
PSEUDOPRIME, 867 
pseudorandom- number generator( 伪 随机 数 生成 器 )，117 
P-SQUARE-MATRIX-MULTIPLY, 793 
P-TRANSPOSE, 792 ex. 
public key( 公 和 钥 )，959，962 
public-key cryptosystem( 公 和 钥 加 密 系统 )，958- 
965, 983 
PUSH 
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push -relabel operation( 推 送 - 重 贴标签 操作 )，739 
stack operation( 栈 操作 ) 233, 452 
push onto a run-time stack ( 压 人 运行 时 间 栈 )， 
188 pr. 
push operation (He A ## 4) (in push-relabel algorithms) 
(推送 - 重 贴标签 算法 )，738-739 
nonsaturating( 非 饱和 )，739，745 
saturating( 饱 和 )，739，745 
push-relabel algorithm( 推 送 - 重 贴标签 算法 ) 736- 
760，765 
basic operations in( 基 本 操作 ) 738-740 
by discharging an overflowing vertex of maximum 
height( 通 过 释放 一 个 最 大 高 度 的 溢出 顶点 )， 
760 ex. 
to find a maximum bipartite matching( 来 找 出 最 大 
二 分 匹配 ) 747 ex. 
gap heuristic for( 跨 越 式 启发 )，760 ex. ，766 
generic algorithm( 通 用 算法 )，740-748 
with a queue of overflowing vertices( 带 有 溢出 顶 
点 的 队列 )，759 ex. 
relabel-to-front algorithm( 前 置 重 贴标签 算法 )， 
748-760 
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quadratic function( 二 次 函数 )，27 

quadratic probing( 二 次 探测 )，272，283 pr. 

quadratic residue( 二 次 余数 )，982 pr. 

quantile( 分 位 数 )，223 ex. 

query( 查 询 )，230 

queue( 队 列 )，232，234-235 
in breadth-first search( 广 度 优先 搜索 )，595 
implemented by stacks( 用 栈 实 现 ) ，236 ex. 
linked-list implementation of( 链 表 实 现 ) 240 ex. 
priority( 优 先 级 ) ， 见 priority queue 

in pushrrelabel algorithms (推送 - 重 贴 标签 算法 )， 

759 ex. 

quicksort( 快 速 排序 ) 170-190 
analysis of( 分 析 ) 174-185 
average-case analysis of (平均 情况 分 析 ) 181-184 
compared to insertion sort (与 插 人 排序 比较 )， 

178 ex. 
compared to radix sort( 与 基数 排序 比较 ) 199 
with equal element valuse( 有 相同 元 素 值 ) 186 pr. 
good worst-case implementation of( 好 的 最 坏 情 况 
实现 ) 192 ex. 


“killer adversary”for( 杀 手 级 对 手 )，190 
with median-of-3 method (用 三 数 取 中 方法 )， 
188 pr. 
randomized version of (随机 化 版 本 )，179-180， 
187 pr. 
stack depth of( 栈 深度 ) 188 pr. 
tail-recursive version of( 尾 递归 版 本 ) 188 pr. 
use of insertion sort in( 用 插入 排序 ) 185 ex. 
worst-case analysis of( 最 坏 情 况 分 析 ) 180-181 
QUICKSORT, 171 
QUICKSORT’, 186 pr. 
quotient( H), 928 
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R(set of real numbers) (实数 集 )，1158 
Rabin-Karp algorithm ( Rabin-Karp 算 法 )，990- 
995, 1013 
RABIN-KARP-MATCHER, 993 
race( 竞 争 ) 787-790 
RACE-EXAMPLE，788 
radix sort( 基 数 排序 ) ，197-200 
compared to quicksort( 与 快速 排序 比较 ) 199 
RADIX-SORT，198 
radix tree( 基 数 树 ) 304 pr. 
RAM，23-24 
RANDOM，117 
random-access machine( 随 机 访问 机 ) 23-24 
parallel( 并 行 )，811 
randomized algorithm (随机 算法 )， 
122-130 
and average inputs( 与 平均 输入 ) 28 
comparison sort( 比 较 排序 ) 205 pr. 
for fuzzy sorting of intervals( 区 间 的 模糊 排序 )， 
189 pr. 
for the hiring problem( 雇 用 问题 ) 123-124 
for insertion into a binary search tree with equal 
keys( 把 相等 关键 字 插 入 二 又 搜索 树 )， 
303 pr. 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
足 性 )，1123-1124，1139 
Miller-Rabin primality test (Miller-Rabin 素数 测 
ih), 968-975, 983 
mnultithreaded( 多 线程 ) 811 pr. 
for partitioning ( 划 分 )，179，185 ex., 187- 
188 pr. 


116-117, 


for permuting an array( 排 列 数组 ) 124-128 
Pollard's rho heuristic (Pollard 的 rho 启发 式 )， 
976-980，980 ex ，984 
and probabilistic analysis( 与 概率 分 析 ) ，123-124 
quicksort (快速 排序 )，179-180，185 ex., 187- 
188 pr. 
randomized rounding( 随 机 舍 人 )，1139 
for searching a compact list (搜索 紧凑 表 )， 
250 pr. 
for selection( 选 择 ) 215-220 
universal hashing( 全 域 散 列 ) 265-268 
worst-case performance of (最 坏 情 况 性 能 )， 
180 ex. 
RANDOMIZED-HIRE-ASSISTANT, 124 
RANDOMIZED-PARTITION, 179 
RANDOMIZED-QUICKSORT, 179, 303 ex. 
relation to randomly built binary search trees(-5 fifi 
机 构造 的 二 叉 搜索 树 的 关系 )，304 pr. 
randomized rounding( 随 机 舍 人 )，1139 
RANDOMIZED-SELECT, 216 
RANDOMIZE-IN-PLACE, 126 
randomly built binary search tree( 随 机 构造 的 二 叉 搜 
索 树 ) 299-303, 304 pr. 
random-number generator( 随 机 数 生 成 器 ) ，117 
random permutation( 随 机 排列 ) 124-128 
uniform(#j4J), 116, 125 
RANDOM-SAMPLE, 130 ex. 
random sampling( 随 机 取样 ) 129 ex., 179 
RANDOM-SEARCH, 143 pr. 
random variable( 随 机 变量 ) 1196-1201 
indicator( 指 示 器 )， 见 indicator random variable 
range( 范 围 ) ，1167 
of a matrix( 和 矩阵 ) 1228 pr. 
rank( 秩 ， 排 序 ) 
column( 列 ) ，1223 
full( 满 ) 1223 
of a matrix( 和 矩阵 ) 1223, 1226 ex. 
of a node in a disjoint-set forest( 不 相交 集合 森林 
gs), 569, 575, 581 ex. 
of a number in an ordered set( 有 序 集 合 中 的 
数 )，300，339 
in order-statistic trees (顺序 统计 树 )，341-343， 
344-345 ex. 
row( 行 )，1223 
rate of growth( 增 长 率 )，28 
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ray( 射 线 ) 1021 ex. 
RB-DELETE，324 
RB-DELETE-FIXUP, 326 
RB-ENUMERATE, 348 ex. 
RB-INSERT, 315 
RB-INSERT-FIXUP, 316 
RB JOIN, 332 pr. 
RB-TRANSPLANT, 323 
reachability in a graph( 图 中 的 可 达 性 )(~>)，1170 
real numbers( 实 数 )(R) 1158 
reconstructing an optimal solution( 重 构 最 优 解 )，in 
dynamic programming( 动 态 规划 )，387 
record( 记 录 )，147 
rectangle( 和 矩形 ) 354 ex. 
recurrence( 递 归 式 )，34，65-67，83-113 
solution by Akra-Bazzi method( 用 Akra-Bazzi 方法 
求解 )，112-113 
solution by master method (用 主 方 法 求解 )， 
93-97 
solution by recursion-tree method (用 递归 树 方法 
求解 )，83-88 
solution by substitution method (用 替换 方法 求 
解 )，83-88 
recurrence equation( 递 归 方 程 ) ， 见 recurrence 
recursion( 递 归 )，30 
recursion tree( 递 归 树 ) 37, 88-93 
in proof of master theorem( 主 定理 的 证 明 ) 98-100 
and the substitution method( 与 替换 方法 ) 91-92 
RECURSIVE-ACTIVITY-SELECTOR, 419 
recursive case( 递 归 情 况 )，65 
RECURSIVE-FFT, 911 
RECURSIVE-MATRIX-CHAIN, 385 
red-black tree( 红 黑 树 ) 308-338 
compared to B-trees(45 B 树 比较 ) 484, 490 
deletion from( 删 除 ) 323-330 
in determining whether any line segments intersect 
(确定 任意 线段 是 否 相交 ) 1024 
for enumerating keys in a range( 列 举 一 个 范围 内 
的 关键 字 ) 348 ex. 
height of( 高 度 )，309 
insertion into( 插 入 )，315-323 
joining of( 连 接 )，332 pr. 
maximum key of( 最 大 关键 字 ) ，311 
minimum key of( 最 小 关键 字 ) 311 
predecessor in( 前 驱 )，311 
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properties of( 性 质 ) 308-312 
relaxed( 松 弛 的 ) 311 ex. 
restructuring( 重 构 ) 474 pr. 
rotation in( 旋 转 ) 312-314 
searching in( 搜 索 )，311 
successor in( 后 继 ) 311 
参见 interval tree，order-statistic tree 
REDUCE, 807 pr. 
reduced-space van Emde boas tree( 缩 减 空间 的 van 
Emde Boas 树 ) 557 pr. 
reducibility( FJ XIE) , 1067-1068 
reduction algorithm( 归 约 算法 ) 1052, 1067 
reduction function( 归 约 函 数 )，1067 
reduction( 归 约 )，of an array( 数 组 )，807 pr. 
reflexive relation( 自 反 关系 )，1163 
reflexivity of asymptotic notation( 渐 近 记 号 的 自 反 
性 )，51 
region( 区 域 ) ，feasible( 可 行 的 )，847 
rejection( 拒 绝 ) 
by an algorithm( 被 算法 ) 1058 
by a finite automaton( 被 有 限 自动 机 )，996 
RELABEL, 740 
relabeled vertex( 重 新 标记 的 结 点 )，740 
relabel operation( 重 新 标记 操作 )，(in push-relabel 
algorithms) (推送 - 重 贴标签 算法 )，740，745 
RELABEL-TO-FRONT, 755 
relabel-to-front algorithm (前 置 重 贴标签 算法 )， 
748-760 
phase of( 区 段 )，758 
relation( 关 系 )，1163-1166 
relatively prime( 互 质 ) 931 
RELAX，649 
relaxation( 松 弛 ) 
of an edge( 边 ) 648-650 
linear programming( 线 性 规划 )，1125 
relaxed heap( 松 弛 堆 ) 530 
relaxed red-black tree( 松 弛 红 黑 树 ) 311 ex. 
release time( 释 放 时 间 )，447 pr. 
remainder( 余 数 ) ，54，928 
remainder instruction( 余 数 指令 )，23 
repeated squaring( 重 复 平方 ) 
for all-pairs shortest paths( 所 有 顶点 对 的 最 短路 
径 )，689-691 
for raising a number to a power( 求 数 的 宕 )，956 
repeat, in pseudocode( 人 的 代码 中 ) 20 


repetition factor (重复 因子 )，of a string (字符 串 
中 )，1012 pr. 
REPETITION-MATCHER, 1013 pr. 
representative of a set( 集 合 的 代表 ) 561 
RESET, 459 ex. 
residual capacity FRAF AM), 716, 719 
residual edge( 残 存 边 ) 716 
residual network HRR), 715-719 
residue(#IJ4z), 54, 928, 982 pr. 
respecting a set of edges( 尊 重 边 集 合 ) 626 
return edge( 返 回 边 ) 779 
repeat, in pseudocode( 伪 代码 中 )，22 
return instruction( 返 回 指 令 )，23 
reweighting ( i #7 RAD) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 ) 700-702 
in single-source shortest paths ( 单 源 最 短路 径 )， 
679 pr. 
tho heuristic( rho JA RFX), 976-980, 980 ex. , 984 
p(n) -approximation algorithm (p(n) 近似 算 法 )， 
1106, 1123 
RIGHT, 152 
right child AF), 1178 
right-conversion( 右 变换 ) 314 ex. 
right horizontal ray( 右 水 平 射线 ) 1021 ex. 
RIGHT-ROTATE，313 
right rotation( 右 旋转 ) 312 
right spine( 右 背 柱 ) 333 pr. 
right subtree( 右 子 树 ) 1178 
root( 根 ) 
of a tree( 树 ) 1176 
of unity( 单 位 ) ，906-907 
of ZF (Zr), 955 
rooted tree( 有 根 树 ) ，1176 
representation of (表示 法 ) 246-249 
root list( 根 列表 )，of a Fibonacci heap( 斐 波 那 契 
HE), 509 
rotation( 旋 转 ) 
cyclic( 循 环 ) 1012 ex. 
in a red-black tree( 红 黑 树 ) 312-314 
rotational sweep( 旋 转 扫 除 ) 1030-1038 
rounding(® A), 1126 
randomized( 随 机 的 ) 1139 
row-major order( 行 主 次 序 ) 394 
row rank( 行 秩 ) 1223 


row vector( 行 向 量 ) 1218 
RSA public-key cryptosystem(RSA 公 钥 加 密 系统 )， 
958-965，983 

RS-vEB tree(RS-vEB 树 ) 557 pr. 

rule of product( 求 积 准 则 ) 1184 

rule of sum( 求 和 准则 ) 1183 

running time( 运 行 时 间 )，25 
average-case( 平 均 情况 )，28，116 
best-case( 最 好 情况 )，29 ex., 49 
of a graph algorithm( 图 算法 )，588 
and multithreaded computation( 与 多 线程 计算 )， 

779-780 

order of growth( 增 长 的 量 级 )，28 
rate of growth( 增 长 率 )，28 
worst-case( 最 坏 情况 )，27，49 
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sabermetrics( 评 价 指标 )，412 n. 
safe edge( 安 全 边 )，626 
SAME-COMPONENT, 563 
sample space( 样 本 空间 )，1189 
sampling( 取 样 )，129 ex., 179 
SAT, 1079 
satellite data( 卫 星 数据 ) 147, 229 
satisfiability( 可 满足 性 )，1072，1079-1081，1105， 
1123-1124, 1127 ex., 1139 
satisfiable formula( 可 满足 公式 )，1049，1079 
satisfying assignment( 满 足 赋 值 )，1072，1079 
saturated edge( 人 饱和 边 ) 739 
saturating push( 饱 和 推 )，739，745 
scalar flow product( 标 量 流 积 ) 714 ex. 
scalar multiple( 标 量 倍数 ) 1220 
scaling( 定 标 ) 
in maximum flow( 最 大 流 )，762 pr., 765 
in single-source shortest paths( 单 源 最 短路 径 )， 
679 pr. 
scan( 扫 描 )，807 pr. 
SCAN, 807 pr. 
scapegoat tree(scapegoat 树 )，338 
schedule( 调 度 )，444，1136 pr. 
event-point( 事 件 点 )，1023 
scheduler( 调 度 器 ) ，for multithreaded computations( 多 线 
程 计算 )，777，781-783，812 
centralized( 集 中 式 )，782 
greedy( 贪 心 )，782 
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work-stealing algorithm for( 工 作 窃取 算法 ) 812 
scheduling( 调 度 ) 443-446, 447 pr., 450, 1104 
pr. , 1136 pr. 
Schur complement(#¥/K¥#h), 820, 834 
Schur complement lemma( 舒 尔 补 引 理 ) 834 
SCRAMBLE-SEARCH, 143 pr. 
seam carving (FE2E RII), 409 pr. , 413 
SEARCH, 230 
searching G@#, FEF), 22 ex. 
binary search( 二 分 查找 ) 39 ex. , 799-800 
in binary search trees( 二 叉 搜 索 树 ) 289-291 
in Br-trees(B 树 ) 491-492 
in chained hash tables( 链 接 散 列表 ) 258 
in compact lists( 紧 凑 列 表 ) 250 pr. 
in direct-address tables( 直 接地 址 表 ) 254 
for an exact interval( 正 合 区 间 ) ，354 ex. 
in interval trees( 区 间 树 ) 350-353 
linear search( 线 性 查找 ) ，22 ex. 
in linked lists( 链 表 ) 237 
in open-address hash tables (开放 寻 址 散 列表 )， 
270-271 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 )，540-541 
in red-black trees( 红 黑 树 )，311 
an unsorted array( 无 顺序 数组 )，143 pr. 
in van Emde Boas tress(van Emde Boas 树 )，550 
search tree( 搜 索 树 )， 见 balanced search tree，binary 
search tree, B-tree, exponential search 
tree, interval tree, optimal binary search 
tree, order-statistic tree, red-black tree, 
splay tree, 2-3 tree, 2-3-4 tree 
secondary clustering( 二 次 群集 )，272 
secondary hash table( 辅 助 散 列表 ) 278 
secondary storage( 辅 助 存 储 器 ) 
search tree for( 搜 索 树 ) ，484-504 
stacks on( 栈 ) 502 pr. 
second-best minimum spanning tree( 次 优 的 最 小 生 
成 树 )，638 pr. 
secret key( 密 钥 )，959，962 
segment( 段 )， 见 directed segment, line segment 
SEGMENTS-INTERSECT, 1018 
SELECT, 220 
selection( 选 择 )，213 
of activities( 活 动 )，415-422，450 
and comparison sorts( 与 比较 排序 )，222 
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in expected linear time( 期 望 线性 时 间 ) ，215-220 
multithreaded( 多 线程 )，805 ex. 
in order-statistic trees( 顺 序 统计 树 )，340-341 
in worst-case linear time( 最 坏 情况 线性 时 间 )， 
220-224 
selection sort( 选 择 排 序 )，29 ex. 
selector vertex( 选 择 器 顶点 )，1093 
self-loop( 自 循环 ) 1168 
self-organizing list( 自 组 织 列 表 ) 476 pr , 478 
semiconnected graph( 半 连接 图 ) 621 ex. 
sentinel( 哨 兵 ) 31, 238-240, 309 
sequence( 序 列 )(( >) 
bitonic( 双 调 ) 682 pr. 
finite( 有 限 )，1166 
infinite( 无 限 )，1166 
inversion in(j¥), 41 pr. , 122 ex., 345 ex. 
probe( 探 测 )，270 
sequential consistency( 串 行 一 致 ): 779, 812 
serial algorithm versus parallel algorithm( 串 行 算法 
与 并 行 算法 ) 772 
serialization( 串 行 化 )，of a multithreaded algorithm( 多 线 
程 算法 )，774，776 
series( 级 数 ) 108 pr. , 1146-1148 
strands being logically in( 逻 辑 上 的 链 ) 778 
set( 集 合 )({})，1158-1163 
cardinality( | | )(#), 1161 
convex(4), 714 ex. 
difference(— ) (#2), 1159 
independent(4#37), 1101 pr. 
intersection( ()) (28), 1159 
member(€ ) (JF), 1158 
not a member( ¢) (AJM), 1158 
union( U) ($F), 1159 
set-covering problem (集合 覆盖 问题 )，1117- 
1122，1139 
weighted( 加 权 的 )，1135 pr. 
set-partition problem( 集 合 划分 问题 )，110]1 ex 
shadow of a point( 点 的 影子 )，1038 ex. 
shared memory( 共 享 存储 )，772 
Shell’s sort(Shell 排序 )，42 
shift( 偏 移 ) ，in string matching( 字 符 串 匹配 )，985 
shift instruction( 偏 移 指令 )，24 
short-circuiting operator( 短 路 运算 符 )，22 
SHORTEST-PATH, 1050 
shortest paths( 最 短路 径 )，7，643-707 


all-pairs( 所 有 结 点 对 )，644，684-707 
Bellman-Ford algorithm for( Bellman-Ford 算法 )， 
651-655 
with bitonic paths( 双 调 路 径 ) ，682 pr. 
and breadth-first search (与 广度 优先 搜索 )，597- 
600，644 
convergence property of (收敛 性 ) 650, 672-673 
and difference constraints( 与 差分 约束 ) 664-670 
Dijkstra’s algorithm for(Dijkstra 算法 ) 658-664 
in a directed acyclic graph( 有 向 无 环 图 ) 655-658 
in e-dense graphs(e 稠密 图 ) 641 pr. 
in e-dense graphs(e 稠密 图 ) 706 pr. 
estimate of( 估 计 )，648 
Floyd-Warshall algorithm for(Floyd-Warshall 算法 )， 
693-697, 700 ex ，706 
Gabow’s scaling algorithm for(Gabow 伸缩 算法 )， 
679 pr. 
Johnson's algorithm for(Johnson 算法 ) 700-706 
as a linear program( 作 为 线性 规划 ) , 859-860 
and longest paths( 与 最 长 路 径 ) 1048 
by matrix multiplication( 用 和 矩阵 乘法 ) 686-693, 
706-707 
and negative-weight cycles( 与 负 权重 环 路 )，645， 
653-654, 692 ex., 700 ex. 
with negative-weight edges( 负 权重 边 ) 645-646 
no-path property of( 无 路 径 性 质 ) 650, 672 
optimal substructure of (最 优 子 结构 )，644-645， 
687, 693-694 
path -relaxation property of (路 径 松 弛 性质 )， 
650，673 
predecessor-subgraph property of (前 驱 子 图 性 
质 )，650，673 
problem variants( 问 题 变 体 )，644 
and relaxation( 与 松弛 )，648-650 
by repeated squaring( 用 重复 平方 )，689-691 
single-destination( 单 目的 地 ) 644 
single-pair(%X}), 381, 644 
single-source( 单 源 ) 643-683 
tree of( 树 ) 647-648, 673-676 
triangle inequality of( 三 角 不 等 式 )，600，671 
in an unweighted graph( 无 权重 图 )，381，597 
upper-bound property of (上 界 性 质 )，650， 
671-672 
in a weighted graph( 加 权 图 )，643 
sibling( 543%), 1176 


side of a polygon( 多 边 形 的 边 ) 1020 ex. 
signature( 签 名 ) 960 
simple cycle( 简 单 回 路 ) ，1170 
simple graph( 简 单 图 ) 1170 
simple path( 简 单 路 径 ) 1170 
longest( 最 长 的 ) 382, 1048 
simple polygon( 简 单 多 边 形 )，1020 ex. 
simple uniform hashing( 简 单 均匀 散 列 ) 259 
simplex( 单 纯 形 )，848 
SIMPLEX, 871 
simplex algorithm (单纯 形 算 法 )，848，864-879， 
896-897 
single-destination shortest paths( 单 目的 地 最 短路 
径 )，644 
single-pair shortest path( 单 对 最 短路 径 ) 381, 644 
as a linear program( 作 为 线性 规划 ) ，859-860 
single-source shortest paths( 单 源 最 短路 径 ) 643-683 
Bellman-Ford algorithm for(Bellman-Ford 算法 )， 
651-655 
with bitonic paths( 带 有 双 调 路 径 ) 682 pr. 
and difference constraints( 与 差分 约束 ) 664-670 
Dijkstra’s algorithm for(Dijkstra 算法 ) 658-664 
in a directed acyclic graph( 有 向 无 环 图 ) 655-658 
in e-dense graphs(e 稠密 图 ) 706 pr. 
Gabow's scaling algorithm for(Gabow 伸缩 算法 )， 
679 pr. 
and longest paths( 与 最 长 路 径 ) 1048 
singleton( 单 元 集 )，1161 
singly connected graph( 单 连通 图 ) 612 ex. 
singly linked list( 单 链表 ) ，236 
参见 linked list 
singular matrix( A HiME), 1223 
singular value decomposition( 4} FAME), 842 
sink vertex( 汇 点 ) 593 ex., 709, 712 
size( 规 模 ) 
of an algorithm's input( 算 法 输入 )，25，926-927， 
1055-1057 
of a binomial tree( 二 项 树 ) 572 pr. 
of a boolean combinational circuit (布尔 组 合 电 
路 ) 1072 
of a clique( 团 ) 1086 
of a set( 集 合 ) 1161 
of a subtree in a Fibonacci heap (3E 3K Ap 32 HE PA F 
BY), 524 
of a vertex cover( 顶 点 覆盖 ) 1089, 1108 
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skip list( 跳 表 ) 338 
slack( 松 弛 )，855 
slack form( 松 弛 型 )，846 ，854-857 
uniqueness of( 唯 一 性 ) 876 
slackness( 松 弛 ) 
complementary( 补 ) 894 pr. 
parallel( 并 行 )，781 
slack variable( 松 弛 变量 )，855 
slot) 
of a direct-access table( 直 接 寻 址 表 ) 254 
of a hash table( 散 列表 ) 256 
SLOW-ALL-PAIRS-SHORTEST-PATHS 689 
smoothed amalysis( 平 滑 分 析 ) 897 
* Socrates, 790 
solution ( ff) 
to an abstract problem( 抽 象 问题 ) 1054 
basic( 基 本 ) ，866 
to a computational problem( 计 算 问 题 )，6 
to a concrete problem( 具 体 问题 )，1055 
feasible( 可 行 的 )，665，846，851 
infeasible( 不 可 行 的 )，851 
optimal( 最 优 的 )，851 
to a system of linear equations( 线 性 方程 组 )，814 
sorted linked list( 有 序 链 表 ) 236 
参见 linked list 
sorting ( HE FF), 5, 16-20, 30-37, 147-212, 
797-805 
bubblesort( 冒 泡 排 序 ) 40 pr. 
bucket sort( 桶 排序 ) 200-204 
comparison sort( 比 较 排 序 ) ，191 
counting sort( 计 数 排序 ) 194-197 
fuzzy( 模 糊 )，189 pr. 
heapsort( 堆 排序 )，151-169 
insertion sort( 插 入 排序 )，12，16-20 
k-sorting(k 排序 )，207 pr. 
lexicographic( 字 上 典 的 )，304 pr. 
in linear time( 线 性 时 间 )，194-204，206 pr. 
lower bounds for( 下 界 )，191-194，211，531 
merge sort( 归 并 排序 ) 12, 30-37, 797-805 
by oblivious compare-exchange algorithms( 遗 忘 比 
较 交 换算 法 ) 208 pr. 
in place( 原 址 )，17，148，206 pr. 
of points by polar angle( 用 极 角 的 点 )，1020 ex 
probabilistic lower bound for( 概 率 下 界 )，205 pr. 
quicksort( 快 速 排 序 )，170-190 
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radix sort( 基 数 排序 ) 197-200 
selection sort( 选 择 排 序 ) 29 ex. 
Shell’s sort( 秀 尔 排序 ) 42 
stable( 稳 定 的 )，196 
table of running times( 运 行 时 间 表 ) 149 
topological( 拓 扑 的 ) 8, 612-615, 623 
using a binary search tree( 用 二 叉 搜 索 树 )，299 ex 
with variable-length items (可 变 长 度 的 项 )， 
299 pr. 
0-1sorting lemma(0-1 排序 引 理 ) 208 pr. 
sorting network( 排 序 网 络 ) 811 
source vertex( 源 顶点 ) 594, 644, 709, 712 
span law( 持 续 时 间 定 律 )，780 
spanning tree( 生 成 树 ) 439, 624 
bottleneck), 640 pr. 
maximum( 最 大 ) 1137 pr. 
verification of( 验 证 ) 642 
参见 minimum spanning tree 
span (持续 时 间 )，of a multithreaded computation( 多 
线程 计算 )，779 
sparse graph( 稀 疏 图 )，589 
all-pairs shortest paths for( 所 有 结 点 对 的 最 短路 
4%), 700-705 
and Prim’s algorithm(Prim 算法 ) 638 pr. 
sparse-hulled distribution( 稀 朴 包 分 布 )，1046 pr. 
spawn, in pseudocode( 伪 代码 中 )，776-777 
spawn edge( 派 生 边 ) ，778 
speedup( 加 速 )，780 
of a randomized multithreded algorithm( 随 机 多 线 
程 算法 ) 811 pr. 
spindle( 轴 ) ，485 
spine(###£) 
of a string-matching automaton( 字 符 串 匹配 自动 
机 )，997 fig. 
of a treap(treap), 333 pr. 
splay tree( 伸 展 树 ) 338, 482 
spline( 样 条 )，840 pr. 
splitting( 分 裂 ) 
of B-tree nodes(B 树 结 点 ) 493-495 
of 2-3-4 trees(2-3-4 树 ) 503 pr. 
splitting summations( 分 割 求 和 )，1152-1154 
spurious hit( 假 的 命中 )，991 
square matrix( 方 阵 )，1218 
SQUARE-MATRIX-MULTIPLY, 75, 689 
SQUARE-MATRIX-MULTIPLY-RECURSIVE, 77 


square of a directed graph( 有 向 图 的 平方 )，593 ex. 
square root (平方 根 )，modulo a prime( 模 素数 )， 
982 pr. 
squaring 77), repeated( Hi ) 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 689-691 
for raising a number to a power( 求 数 的 乘客 ) 956 
stability( 稳 定性 ) 
numerical( 数 值 )，813，815，842 
of sorting algorithms( 排 序 算法 ) 196, 200 ex 
stack( 栈 ) 232-233 
in Graham's scan(Graham 扫描 ) 1030 
implemented by queues( 用 队列 实现 )，236 ex. 
linked-list implementation of( 链 表 实 现 ) 240 ex. 
operations analyzed by accounting method( 用 记 账 
方法 分 析 的 操作 ) 457-458 
operations analyzed by aggregate analysis( 用 聚合 
方法 分 析 的 操作 ) » 452-454 
operations analyzed by potential method( 用 势能 法 
分 析 的 操作 ) , 460-461 
for procedure execution( 过 程 执行 )，188 pr. 
on secondary storage( 辅 助 存 储 ) 502 pr. 
STACK-EMPTY, 233 
standard deviation( 标 准 差 )，1200 
standard encoding(《))( 标 准 编码 )，1057 
standard form( 标 准 型 )，846，850-854 
star-shaped polygon( 星 形 多 边 形 )，1038 ex. 
start state( 开 始 状态 )，995 
start time( 开 始 时 间 )，415 
state of a finite automaton( 有 限 自 动机 的 状态 )，995 
static graph( 静 态 图 ) 562 n. 
static set of keys( 关 键 字 的 静态 集合 ) ，277 
static threading( 静 态 线程 )，773 
stencil( 模 板 ) ，809 pr. 
stencil calculation( 模 板 计 算 ) 809 pr. 
Stirling's approximation( 斯 特 林 近似 )，57 
storage management (存储 管理 )，151，243-244， 
245 ex. , 261 ex. 
store instruction( 存 储 指令 ) 23 
straddle( 横 跨 ) ，1017 
strand( 链 ) 777 
final( 结 束 ) 779 
independent( 独 立 ) 789 
initial( 初 始 )，779 
logically in parallel( 人 逻辑 上 并 联 )，778 


logically in series( 逻 辑 上 串联 ) 778 
Strassen’ s algorithm (Strassen 算 法 )，79-83， 
111-112 
multithreaded (ZRF), 795-796 
streaks( 序 列 ) 135-139 
strictly decreasing (严格 递减 )，53 
strictly increasing( 严 格 递增 ) 53 
string( 串 )，985，1184 
string matching( 串 匹配 ) 985-1013 
based on repetition factors( 基 于 重复 因子 )，1012 pr. 
by finite automata( 用 有 限 自动 机 ) 995-1002 
with gap characters( 带 分 隔 符 ) 989 ex ，1002 ex 
Knuth-Morris-Pratt algorithm for(Knuth-Morris-Pratt 
算法 )，1002-1013 
naive algorithm for( 朴 素 算 法 ) 988-990 
Rabin-Karp algorithm for (Rabin-Karp 算法 )， 
990-995，1013 
string-matching automaton (字符 串 匹 配 自 动机 )， 
996-1002, 1002 ex. 
strongly connected component( 强 连通 分 量 ) 1171 
decomposition into( 分 解 成 )，615-621，623 
STRONGLY-CONNECTED-COMPONENTS, 617 
strongly connected graph( 强 连通 图 )，1171 
subgraph( 子 图 )，1171 
predecessor( 前 驱 ) ， 见 predecessor subgraph 
subgraph-isomorphism problem ( 子 图 同 构 问 题 )， 
1100 ex. 
subgroup F #¥), 943-946 
subpath( 子 路 径 ) 1170 
subroutine( 子 过 程 ) 
calling( 调 用 ) 21, 23, 25 n. 
executing( 执 行 )，25 n. 
subsequence( 子 序列 ) ，391 
subset(C)( 子 集 )，1159，1161 
hereditary family of( 遗 传 族 ) 437 
independent family of( 独 立 族 ) 437 
SUBSET-SUM, 1097 
subset-sum problem( 子 集 和 问题 ) 
approximation algorithm for( 近 似 算法 )，1128- 
1134，1139 
NP-completeness of (NP 完全 性 )，1097-1100 
with unary target( 带 一 元 目标 ) 1101 ex. 
substitution method( 替 换 方法 ) 83-88 
and recursion trees( 与 递归 树 ) 91-92 
substring( 子 串 ) 1184 
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subtract instruction( 减 指令 )，23 
subtraction of matrices( 和 矩阵 的 减法 ) 1221 
subtree( 子 树 ) 1176 
maintaining sizes of( 维 护 规模 ) in order-statistic 
trees( 顺 序 统计 树 ) 343-344 
success( 成 功 )，in a Bernoulli trial( 伯 努 利 试验 
中 )，1201 
successor( 后 继 ) 
in binary search trees( 二 叉 搜 索 树 ) 291-292 
finding ith( 找 出 第 i 4S), of a node in an order 
statistic tree( 顺 序 统计 树 的 结 点 )，344 ex 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统计 树 )，347 ex. 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 )，543-544 
in red-black trees( 红 黑 树 )，311 
in van Emde Boas trees(van Emde Boas 树 )，550- 
551 
SUCCESSOR, 230 
such that(:)( 使 得 ) 1159 
suffix A) O), 986 
suffix function GARR, 996 
suffix-function inequality (JAR AARE), 999 
suffix-function recursion lemma( 后 缀 递归 引 理 )，1000 
sum(2)( 和 )，1145 
Cartesian( 销 卡 儿 )，906 ex. 
infinite( 无 限 的 )，1145 
of matrices( 和 矩阵 ) 1220 
of polynomials( 多 项 式 )，898 
rule of( 准 则 )，1183 
telescoping( 裂 项 相 消 )，1148 
SUM-ARRAYS, 805 pr. 
SUM-ARRAYS', 805 pr. 
summary 
in a bit vector with a superimposed tree of 
comstant height( 具 有 恒定 高 度 全 加 树 的 位 
向 量 )，534 
in proto van Emde Boas structurse( 原 型 van Emde 
Boas 结构 )，540 
in van Emde Boas trees(van Emde Boas 树 )，546 
summation(3R Al), 1145-1157 
in asymptotic notation( 渐 近 记 号 ) 49-50, 1146 
bounding( 界 ) ，1149-1156 
formulas and properties of (公式 和 性质 )， 
1145-1149 
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linearity of( 线 性 ) 1146 
summation lemma( 求 和 引 理 ) 908 
superpolynomial time( 超 多 项 式 时 间 )，1048 
supersink( 超 级 汇 点 )，712 
supersource( 超 级 源 点 )，712 
surjection( 满 射 )，1167 
SVD, 842 
sweeping( 扫 除 )，1021-1029，1045 pr. 
rotational( 旋 转 )，1030-1038 
sweep line( 扫 除 线 )，1022 
sweep-line status( 扫 除 线 状 态 )，1023-1024 
symbol table( 符 号 表 )，253，262，265 
symmetric difference( 对 称 差 )，763 pr. 
symmetric matrix ( Xt #f Hi PE), 1220, 1222 ex., 
1226 ex. 
symmetric positive-definite matrix( 对 称 正定 矩阵 )， 
832-835, 842 
symmetric relation( 对 称 关 系 )，1163 
symmetry of @-notation(®@ 记号 的 对 称 性 )，52 
sync, in pseudocode( 伪 代码 中 )，776-777 
systems of difference constraints (差分 约束 系统 )， 
664-670 
systems of linear equations( 线 性 方程 组 )，806 pr. , 
813-827, 840 


TABLE-DELETE, 468 
TABLE-INSERT, 464 
tail FB) 
of a binomial distribution —914}4i), 1208-1215 
of a linked list(###2), 236 
of a queue( 队 列 ) 234 
tail recursion( 尾 递归 ) 188 pr. , 419 
target( 目 标 ) 1097 
Tarjan’s off-line least-common-ancestors algorithm 
(Tarjan 的 脱 机 最 小 公共 祖先 算法 ) 584 pr. 
task {E 4), 443 
Task Parallel Library( 任 务 并 行 库 )，774 
task scheduling( 任 务 调度 ) 443-446, 448 pr. ，450 
tautology( 重 言 式 )，1066 ex., 1086 ex. 
Taylor series( 泰 勒 级 数 )，306 pr. 
telescoping series( 裂 项 级 数 )，1148 
telescoping sum( 裂 项 相 消 和 )，1148 
testing( 测 试 ) 
of primality( 素 数 ) ，965-975，983 


of pseudoprimality( 伪 素数 ) 966-968 
text( 文 本 ) in string matching( 字 符 串 匹配 ) 906 
then(then 子 句 ) 20 n. 

Theta-notation(theta 记号 ) 44-47, 64 

thread( 线 程 )，773 

Threading Building Blocks( 线 程 构建 块 )，774 

3-CNF, 1082 

3-CNF-SAT, 1082 

3-CNF satisfiability(3-CNF FI} /E HE), 1082-1085, 1105 

approximation algorithm for( 近 似 算 法 )，1123- 

1124, 1139 

and 2-CNF satisfiability( 与 2-CNF 可 满足 性 ) 1049 
3-COLOR, 1103 pr. 
3-conjunctive normal form(3 合 取 范 式 )，1082 
tight constraint( 紧 约束 ) 865 
time( 时 间 ) ， 见 running time 
time domain( 时 间 域 ) 898 
time-memory trade-off( 时 空 权 衡 )，365 
timestamp( 时 间 惟 )，603，611 ex. 

Toeplitz matrix( 特 普 利 茨 矩阵 )，921 pr. 
to, in pseudocode( 伪 代码 中 )，20 
TOP, 1031 
top-down method( 自 顶 向 下 方法 )，for dynamic 
programming( 动 态 规划 )，365 
top of a stack( 栈 顶 ) 232 
topological sort( 拓 扑 排序 ) 8, 612-615, 623 
in computing single-source shortest paths in a dag 
(计算 有 向 无 环 图 内 单 源 最 短路 径 ) 655 
TOPOLOGICAL-SORT，613 
total order( 全 序 ) 1165 
total path length( 总 路 径 长 度 ) 304 pr. 
total preorder( 全 程序 ) 1165 
total relation( 全 关系 ) 1165 
tour( 回 路 ) 

bitonic( 双 调 ) 405 pr. 

Euler( 欧 拉 )，623 pr. ，1048 

of a graph( 图 )，1096 
track( 磁 道 ) 486 
tractability( 易 处 理 ) 1048 
trailing pointer( 尾 指针 ) 295 
transition function (变换 函数 )，995，1001-1002， 

1012 ex. 
transitive closure( 传 递 闭 包 ) 697-699 
and boolean matrix multiplication (与 布尔 抢 阵 乘 
法 )，832 ex. 


of dynamic graphs( 动 态 图 ) 705 pr. , 707 
TRANSITIVE-CLOSURE, 698 
transitive relation (f¥iBX A), 1163 
transitivity of asymptotic notation( 渐 近 记 号 的 传递 
性 )，51 
TRANSPLANT，296，323 
transpose( 转 置 ) 
conjugate(Jt#~), 832 ex. 
of a directed graph( 有 向 图 ) 592 ex. 
of a matrix( 4), 1217 
of a matrix( 和 矩阵 ) ，multithreaded( 多 线程 )，792 ex 
transpose symmetry of asymptotic notation ( 渐 近 记 
号 的 转 置 对 称 性 )，52 
traveling-salesman problem( 旅 行商 问题 ) 
approximation algorithm for( 近 似 算法 )，1111- 
1117，1139 
bitonic euclidean( 双 调 欧 几 里 得 )，405 pr. 
bottleneck(#HSM), 1117 ex. 
NP-completeness of( NP 完全 性 ) 1096-1097 
with the triangle inequality (#7 = #4 A FR), 
1112-1115 
without the triangle inequality( 不 带 三 角 不 等 式 )， 
1115-1116 
traversal of a tree ( 树 的 遍历 )，287，293 ex., 
342, 1114 
treap, 333 pr., 338 
TREAP-INSERT, 333 pr. 
tree( 树 ) 1173-1180 
AA-trees(AA 树 ) 338 
AVL, 333 pr 337 
binary(— SX), J binary tree 
binomial( 二 项 ) 527 pr. 
bisection of( 二 分 )，1181 pr. 
breadth-first( 广 度 优 先 ) ，594，600 
Br-trees(B 树 ) 484-504 
decision( 决 策 ) 192-193 
depth-first( 深 度 优 先 ) 603 
diameter of( 直 径 ) 602 ex. 
dynamic( 动 态 的 ) 482 
free( 释 放 )，1172-1176 
full walk of( 完 全 遍历 ) 1114 
fusion RA), 212, 483 
heap( 堆 ) 151-169 
height-balanced( 高 度 平衡 的 ) 333 pr. 
height of (HE), 1177 
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interval( X/#]), 348-354 
k-neighbor(k 邻居 ) 338 
minimum spanning (最 小 生成 )， 见 minimum 
spanning tree 
optimal binary search (最 优 二 叉 搜 索 )，397- 
404, 413 
order-statistic( 顺 序 统 计量 ) 339-345 
parse( 语 法 分 析 ) 1082 
recursion( 递 归 ) 37, 88-93 
red-black( 红 黑 ) ， 见 red-black tree 
rooted( 有 根 的 ) 246-249, 1176 
scapegoat( 替 罪 羊 ) 338 
search( 搜 索 )， 见 search tree 
shortest-paths( 最 短路 径 )，647-648，673-676 
spanning (生成 )， 见 minimum spanning tree, 
spanning tree 
splay( 伸 展 ) 338, 482 
treap, 333 pr. ，338 
2-3, 337, 504 
2-3-4, 489, 503 pr. 
van Emde Boas, 531-560 
walk of( 遍 历 ) 287, 293 ex., 342, 1114 
weight-balanced trees( 带 权 平 衡 树 ) 338 
TREE-DELETE, 298, 299 ex. , 323-324 
tree edge( 树 的 边 ) 601, 603, 609 
TREE-INSERT，294，315 
TREE-MAXIMUM，291 
TREE-MINIMUM, 291 
TREE-PREDECESSOR, 292 
TREE-SEARCH, 290 
TREE-SUCCESSOR, 292 
tree walk( 树 的 遍历 ) ，287，293 ex., 342, 1114 
trial( 试 验 ) ，Bernoulli( 伯 努 利 )，1201 
trial division( 试 除 ) 966 
triangle inequality( 三 角 不 等 式 )，1112 
for shortest paths( 最 短路 径 ) 650, 671 
triangular matrix (三 角 矩 阵 )，1219，1222 ex., 
1225 ex. 
trichotomy( 三 分 法 ) interval( KX /a]), 348 
trichotomy property of real numbers( 实 数 的 三 分 性 
质 )，52 
tridiagonal linear systems( 三 对 角 线 性 系统 )，840 pr. 
tridiagonal matrix( = Xt fA ERE), 1219 
trie( 检 索 树 ) Wl radix tree, 304 pr. 
y-fast, 558 pr. 
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TRIM, 1130 
trimming of a list( 列 表 的 削减 )，1130 
trivial divisor( 平 凡 因 子 ) 928 
truth assignment( 真 值 赋值 ) 1072, 1079 
truth table( 真 值 表 ) 1070 
TSP，1096 
tuple( 元 组 )，1162 
twiddle factor( 旋 转 因 子 ) ，912 
2-CNF-SAT, 1086 ex. 
2-CNF satisfiability(2-CNF 可 满足 性 ) 1086 ex. 
and 3-CNF satisfiability( 与 3-CNF 可 满足 性 )，1049 
two-pass method( 两 趟 方法 ) 571 
2-3-4 heap(2-3-4 HE), 529 pr. 
2-3-4 tree(2-3-4 fH), 489 
joining (44%), 503 pr. 
splitting( 分 裂 ) 503 pr. 
2-3 tree(2-3 $f), 337, 504 


U 


unary( 一 元 的 ) 1056 
unbounded linear program( 无 界线 性 规划 )，851 
unconditional branch instruction( 无 条 件 分 支 指令 )，23 
uncountable set( 不 可 数 集 )，1161 
underdetermined system of linear equations( 欠 定 线 
性 方程 组 )，814 
underflow( 下 滋 ) 
of a queue( 队 列 ) 234 
of a stack( 栈 )，233 
undirected graph( 无 向 图 ) 1168 
articulation point of (衔接 点 )，621 pr. 
biconnected component of( 双 连通 分 量 ) 621 pr. 
bridge of( 桥 ) 621 pr. 
clique in( 团 ) 1086 
coloring of( 着 色 ) 1103 pr. ，1180 pr. 
computing a minimum spanning tree in( 计 算 最 小 
生成 树 ) 624-642 
converting to( 转 换 成 )，from a multigraph( 从 多 
图 )，593 ex. 
d-regular(d 正则 ) 736 ex. 
grid( 网 格 ) 760 pr. 
hamiltonian( 哈 密 顿 ) 1061 
independent set of (73748), 1101 pr. 
matching of (匹配 ) 732 
nonhamiltonian( 非 哈密 顿 )，1061 
vertex cover of( 顶 点 覆盖 ) 1089, 1108 


参见 graph 
undirected version of a directed graph( 有 向 图 的 无 向 
版 本 )，1172 
uniform hashing( 均 匀 散 列 ) 271 
uniform probability distribution (均匀 概率 分 布 )， 
1191-1192 
uniform random permutation (均匀 随机 排列 )， 
116，125 
union( 并 ) 
of dynamic sets( 动 态 集合 )， 见 uniting 
of languages( 语 言 )，1058 
of sets( 集 合 )(U)，1159 
UNION，505，562 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571 
linked-list implementation of (链表 实现 )，565- 
567, 568 ex. 
union by rank( 按 秩 合 并 ) 569 
unique factorization of integers (整数 唯一 因数 分 
解 )，931 
unit( 单 位 )(1) ，928 
uniting( 联 合 ) 
of Fibonacci heaps( 斐 波 那 契 堆 ) ，511-512 
of heaps( 堆 )，506 
of linked lists( 链 表 ) 241 ex. 
of 2-3-4 heaps(2-3-4 HE), 529 pr. 
unit lower-triangular matrix( 单 位 下 三 角 和 矩阵 ) 1219 
unit-time task( 单 位 时 间 任 务 ) 443 
unit uppertriangular matrix( 单 位 上 三 角 和 矩阵 )，1219 
unit vector( 单 位 向 量 ) 1218 
universal collection of hash functions ( 散 列 函 数 的 全 
域 )，265 
universal hashing( 全 域 散 列 )，265-268 
universal sink( 通 用 汇 点 )，593 ex. 
universe( 全 域 )，1160 
of keys in van Emde Boas trees(van Emde Boas 树 中 
的 关键 字 )，532 
universe size，532 
unmatched vertex( 不 匹配 的 顶点 )，732 
unsorted linked list( 无 序 链表 ) 236 
参见 linked list 
until, in pseudocode( 伪 代码 中 ) 20 
unweighted longest simple paths (无 权 最 长 简单 路 
径 )，382 
unweighted shortest paths( 无 权 最 短路 径 )，381 


upper bound( 上 界 ) 47 

upper-bound property( 上 界 性 质 ) 650, 671-672 
upper median( 上 中 位 数 ) 213 

upper square root( V ”)( 上 平方 根 )，546 
upper-triangular matrix( 上 三 角 和 矩阵 )，1219，1225 ex 


y 


valid shift( 合 法 偏 移 ) 985 
value( 值 ) 
of a flow( 流 )，710 
of a function( 0), 1166 
objective HR), 847, 851 
value over replacement player (球员 替换 价值 )， 
411 pr. 
Vandermonde matrix {i #852 RERE), 902, 1226 pr. 
van Emde Boas tree(van Emde Boas #ł), 531-560 
cluster in(#®), 546 
compared with proto van Emde Boas structures( 4 
原型 van Emde Boas 结构 比较 ) 547 
deletion from( AH BR), 554-556 
insertion into(#A), 552-554 
maximum in( 最 大 )，550 
membership in( 成 员 ) 550 
minimum in( 最 小 ) 550 
predecessor in( 前 驱 ) 551-552 
with reduced space( 缩 减 空间 ) 557 pr. 
successor in( 后 继 ) 550-551 
summary in, 546 
Var [ ](variance) (77 #), 1199 
variable 45 fit) 
basic( SEAS AY), 855 
entering(4# A), 867 
leaving (##H4), 867 
nonbasic( 非 基本 的 )，855 
in pseudocode( 人 的 代码 中 ) 21 
random( 随 机 ) ，1196-1201 
slack( 松 弛 )，855 
参见 indicator random variable 
variable-length code( 可 变 长 度 编码 ) 429 
variance( Jy #), 1199 
of a binomial distribution( 二 项 分 布 )，1205 
of a geometric distribution( 几 何 分 布 )，1203 
VEB-EMPTY-TREE-INSERT，553 
VEB tree(VEB 树 ) J van Emde Boas tree 
VEB-TREE-DELETE, 554 


索 引 。 779 


VEB-TREE-INSERT，553 
VEB-TREE-MAXIMUM, 550 
VEB-TREE-MEMBER, 550 
VEB-TREE-MINIMUM, 550 
VEB-TREE-PREDECESSOR, 552 
VEB-TREE-SUCCESSOR, 551 
vector([aj#it), 1218, 1222-1224 

convolution of ( 卷 积 ) 901 

cross product of( XÆ), 1016 

orthonormal( 正 交 的 )，842 

in the plane( 平 面 上 )，1015 
Venn diagram( 维 恩 图 )，1160 
verification( 验 证 )，1061-1066 

of spanning trees( 生 成 树 )，642 

verification algorithm( 验 证 算法 )，1063 
vertex( 顶 点 ) 

articulation point( 衔 接点 ) 621 pr. 

attributes of JRTE), 592 

capacity of( 容 量 ) 714 ex. 

in a graph( 图 )，1168 

intermediate( 中 间 的 )，693 

isolated( 孤 立 的 )，1169 

overflowing(_ EX), 736 

of a polygon( 多 边 形 的 ) 1020 ex. 
relabeled( 重 贴标签 )，740 

selector( 选 择 器 ) 1093 
vertex cover( 顶 点 覆盖 )，1089，1108，1124-1127，1139 
VERTEX-COVER，1090 
vertex-cover problem( 顶 点 覆盖 问题 ) 

approximation algorithm for( 近 似 算法 )，1108- 

1111，1139 

NP-completeness of (NP 完全 性 )，1089-1091，1105 
vertex set( 顶 点 集合 ) 1168 
violation( 违 反 )，of an equality constraint( 等 式 约束 )，865 
virtual memory( 虚 拟 内存 ) 24 
Viterbi algorithm( Viterbi 算法 ) 408 pr. 
VORP, 411 pr. 


Ww 


walk of a tree( 树 的 遍历 ) 287, 293 ex , 342, 1114 
weak duality( 弱 对 偶 性 ) 880-881, 886 ex, 895 pr. 
weight( 权 重 ) 

of a cut( 切 割 )，1127 ex. 

of an edge( 边 )，591 

mean( 平 均 ) 680 pr. 
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of a path( 路 径 ) 643 
weight-balanced tree( 带 权 平衡 树 ) 338, 473 pr. 
weighted bipartite matching( 带 权 二 分 匹配 ) 530 
weighted matroid( 带 权 拟 阵 ) 439-442 
weighted median( 带 权 中 位 数 ) 225 pr. 
weighted set-covering problem( 带 权 集 合 覆 盖 问 题 )， 
1135 pr. 
weighted-union heuristic( 带 权 合并 启发 式 )，566 
weighted vertex cover ( 带 权 顶点 覆盖 )，1124- 
1127，1139 
weight function( 权 重 函 数 ) 
for a graph( 图 的 ) 591 
in a weighted matroid( 在 带 权 拟 阵 中 ) ，439 
while, in pseudocode( 伪 代码 中 )，20 
white-path theorem( 白 路 径 定理 )，608 
white vertex( 白 结 点 ) 594, 603 
widget( 附 件 图 ) ，1092 
wire( 线 路 ) ，1071 
WITNESS，969 
witness( 目 击 者 ) to the compositeness of a number 
(一 个 数 可 分 解 )，968 
work law( 工 作 定律 )，780 
work (工作 ) of a multithreaded computation( #4 
ith), 779 
work -stealing scheduling algorithm (T. /¢ $5 BX va BE 


算法 ) 812 
worst-case running time( 最 坏 情 况 运行 时 间 )，27，49 


Y 


Yen’s improvement to the Bellman-Ford algorithm 
(Yen 对 Bellman-Ford 算法 的 改进 )，678 pr. 

y-fast trie(y-fast 试验 )，558 pr. 

Young tableau( Young RRE), 167 pr. 


Z 


Z(set of integers) (整数 集合 ) 1158 

Z,, (equivalence classes modulo n) (H n 等 价 类 )，928 

Z; (elements of multiplicative group modulo n)( 模 nn 

FER MICH), 941 

Zr (nonzero elements of Z; )(Z} 的 非 零 元 素 )，967 

zero matrix( 零 矩阵 ) 1218 

zero of a polynomial modulo a prime( 模 素数 多 项 式 零 
点 )，950 ex. 

0-1 integer-programming problem(0-1 整数 规划 问题 )， 
1100 ex., 1125 

0-1 knapsack problem(0-1 背包 问题 )，425，427 ex, 
1137 pr , 1139 

0-1 sorting lemma(0-1 排序 引 理 ) 208 pr. 

zonk( 击 中 ) 1195 ex. 
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“鉴于 数据 量 的 爆炸 性 增长 ， 和 计算 应 用 的 多 样 性 ， 现 在 比 
以 往 更 需要 有 效 算法 。 这 本 书 条 理 清 晰 ， 是 一 本 非常 好 的 算法 
设计 与 分 析 方面 的 导论 性 书籍 。 每 章 前 半 部 分 介绍 了 讲授 和 学 
习 算法 的 有 效 方法 ， 后 半 部 分 为 更 专业 的 读者 和 求知 欲 强 的 学 
生 提 供 了 更 引人入胜 的 资料 来 讨论 这 个 迷人 领域 的 各 种 可 能 性 
和 挑战 。” 


一 一 Shang-Hua Teng 
南 加 州 大 学 计算 机 科学 系 教授 


“作为 一 个 在 算法 领域 有 着 近 30 年 教育 和 研究 经 验 的 教育 者 

和 研究 人 员 ， 我 可 以 清楚 明白 地 说 这 本 书 是 我 所 见 到 的 该 领域 

最 好 的 教材 。 它 对 算法 给 出 了 清晰 透彻 、 百 科 全 书 式 的 阐述 。 

我 们 将 继续 使 用 这 本 书 的 新 版 作为 研究 生 和 本 科 生 的 教材 及 参 
eH.” 

——— Gabriel Robins 


弗吉尼亚 大 学 计算 机 科学 系 教 授 


算法 导论 ( 原 书 第 3 版 ) 

作者 : Thomas H. Cormen, Charles E. Leiserson, 
Ronald L. Rivest, Clifford Stein 

译 者 ; MBE HA 王刚 刘晓光 苏 明 邹 恒 明 ERS 

定价 : 128.00 元 


TCP/IP 详 解 卷 1; 协议 ( 第 2 版 ) 深入 理解 计算 机 系统 ( 第 2 版 ) 数据 挖掘: 概念 与 技术 ( 第 3 版 ) 云 计算 与 分 布 式 系 统 : 

作者 ; Kevin R. Fall, W. Richard Stevens 。 作者 : Randal E. Bryant 等 作者 : Jiawei Han 等 从 并 行 处 理 到 物 联 网 

BH: 张 建 忠 等 译 者 : RUA BOHR 译 者 : 范 明 孟 小 峰 作者 : Kai Hwang 等 

英文 版 : 978-7-111-38228-7 英文 版 : 978-7 -111-32631-1 英文 版 : 978-7-111-37431-2 译 者 : 武 永 卫 SF 

定价 : 129.00 元 定价 : 128.00 元 定价 : 118.00 元 英文 版 : 978-7-111-38227-0 
中 文 版 ; 预计 2013 年 5 月 出 版 中 文 版 ; 978-7-111-32133-0 中 文 版 ; 978-7-111-39140-1 定价 ; 99.00 元 
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